Exabits a démontré sa capacité à former de grands modèles de langage (LLM), en s'associant à MyShell pour réduire considérablement les coûts de formation de plusieurs milliards à moins de 100 000 $.
Le JetMoE-8B coûte moins de 0,1 million de dollars, mais dépasse le LLaMA2-7B de Meta AI (coût de traitement de plusieurs milliards de dollars)
MyShell : « Atteindre les performances de LlaMA2 avec le modèle JetMoE à 100 000 $, inspiré de l'architecture d'activation clairsemée de ModuleFormer, représente une étape notable dans l'apprentissage automatique. LeJetMoE-8B , avec ses 8 milliards de paramètres et sa structure sophistiquée de 24 blocs, dont chacun héberge deux couches MoE (Attention Head Mixture et MLP Experts Mixture), affiche une efficacité et une intelligence informatique avancées.
L'activation sélective de chaque couche de 2 experts sur 8 par jeton d'entrée démontre une utilisation raffinée du cadre Sparse Mixture of Experts (SMoE), améliorant la réactivité du modèle et la gestion des ressources.
L'efficacité du JetMoE-8B, avec ses 2,2 milliards de paramètres d'activation, a considérablement réduit les coûts de formation tout en offrant des performances robustes. L'efficacité du modèle est illustrée dans la figure suivante : JetMoE-8B a obtenu des résultats de pointe dans cinq catégories sur huit critères d'évaluation, surpassant ses concurrents tels que LLaMA-13B, LLaMA2-7B et DeepseekMoE-16B.
Dans le MT-Bench, le JetMoE-8B a obtenu un score de 6 681, surpassant les modèles dotés de plus grandes capacités, tels que LLaMA2 et Vicuna, qui disposent de 13 milliards de paramètres.
Mais ce qui renforce cette sophistication architecturale, c'est la contribution d'Exabits d'un cluster accéléré et stabilisé de 12 nœuds GPU H100 (96 GPU). La plateforme d'Exabits a joué un rôle essentiel dans le fonctionnement du modèle JetMoE, garantissant des performances stables, ultra-disponibles et robustes à une fraction du coût du « big computing ».
Cette synergie entre la conception innovante de JetMoE et la technologie GPU de pointe d'Exabits illustre non seulement un bond en avant dans les capacités d'apprentissage automatique, mais met également en évidence l'efficacité de la combinaison d'architectures de modèles avancées avec l'infrastructure de cloud computing d'Exabits.
Briser le mythe : plate-forme GPU décentralisée pour la formation LLM
Exabits a démystifié le scepticisme selon lequel les plates-formes GPU décentralisées ne sont pas adaptées à la formation LLM. Avec une pile technique sophistiquée, un middleware efficace et une chaîne d'approvisionnement robuste en ressources informatiques, Exabits a démontré que la formation et l'inférence LLM sont non seulement possibles, mais également efficaces et profondément rentables sur une telle plateforme.
Exabits, une plate-forme de cloud computing décentralisée, surmonte les limites des plates-formes décentralisées standards en servant de couche de base à l'infrastructure informatique de l'IA et en offrant une solution full-stack. Pour ce faire, il agrège, accélère et stabilise les GPU grand public pour amener les performances des GPU de niveau entreprise à une parité proche. Cette approche exploite une réserve importante, mais largement inexploitée, de GPU grand public, atténuant ainsi la crise de pénurie de GPU.
De plus, la vaste expérience d'Exabits dans le secteur des centres de données offre un accès unique aux très convoités GPU d'entreprise H100 et A100, et bientôt au B200, favorisant ainsi la démocratisation du développement de l'IA. Des partenariats avec des projets tels que io.net, Render Network, Akash, Aethir, EMC et Solana ont aidé Exabits à démarrer et à établir un réseau informatique décentralisé étendu et interconnecté.
Ce superréseau a le potentiel de contrarier des sociétés comme AWS, Google et Microsoft, rendant l'IA accessible à tous ceux qui souhaitent construire dans cet espace.
L’avenir de la formation LLM avec Exabits
Exabits n'est pas seulement une plateforme technologique ; incarne la commodité, l’accessibilité et la conscience environnementale. Le succès de JetMoE-8B met en évidence la viabilité de cette plate-forme dans la gestion de modèles de formation haut de gamme, ouvrant la voie à des avancées plus durables et inclusives dans la recherche et le développement de l'IA.
En conclusion, Exabits peut certainement être considéré comme un acteur visible dans le domaine de l'IA, défiant le big computing et démontrant que les plates-formes de cloud computing dans l'espace web3 peuvent effectivement prendre en charge une véritable formation LLM de manière efficace et rentable. Cela ouvre non seulement de nouvelles voies pour la recherche et les applications de l’IA, mais établit également une nouvelle norme dans l’économie informatique, annonçant une nouvelle ère d’innovation et de collaboration dans le domaine du web3 et de l’intelligence artificielle.
L'article Exabits et la percée de MyShell : des milliards à 100 000 $ en coûts de formation LLM apparaissent en premier sur BeInCrypto .