D'après l'analyse de l'Université La Sapienza, le grand modèle linguistique d'iGenius, Model Italy, est plus pauvre que les autres LLM formés sur des données italiennes. Voici ce que l'entreprise qui est récemment devenue la première licorne made in Italy en IA a répondu
Model Italy est le grand modèle linguistique (LLM) développé par la société informatique iGenius, fondée par Uljan Sharka , et formé sur le supercalculateur Leonardo, géré par le Consortium interuniversitaire Cineca, sur un ensemble de données composé à 90 % d'informations en italien.
Il y a seulement deux jours, iGenius est devenue la première licorne italienne de l'IA, selon la même société qui, après une nouvelle augmentation de capital, a vu l'entrée du fonds d'Angelo Moratti et d'Eurizon du groupe Intesa Sanpaolo.
Mais Model Italy n'est pas le seul LLM à avoir été formé sur des données italiennes. Dans le secteur privé, il existe également Fastweb, tandis qu'au niveau universitaire, il existe divers projets, parmi lesquels LLaMAntino à l'Université de Bari, Cerberus à l'Université de Pise et Faun, Camoscio, Dante et Minerva à La Sapienza de Rome.
Et l'université romaine elle-même a converti, en une version non officielle , le point de contrôle Model Italia et l'a rendu disponible sur la plateforme Hugging Face où il est possible de comparer différents LLM .
L'ANALYSE DU MODÈLE ITALIE PAR SAPIENZA
Le groupe de recherche Sapienza a donc mené une analyse préliminaire des capacités du modèle Italie (Italie-9B) sur 6 benchmarks standards pour les LLM traduits en italien, qui font partie d'une nouvelle suite d'évaluation qui sera bientôt publiée de manière open source. favoriser la reproductibilité et la transparence des expérimentations.
« Dans notre analyse – expliquent les chercheurs -, nous avons comparé Model Italia avec 4 autres modèles de taille similaire (de 7B à 8B) formés ou adaptés à la langue italienne ».
En particulier, les modèles comparés à Italia 9B sont Anita 8B , Maestrale 7B , Qwen2-7B , Occiglot 7B.
Comme l'a précisé le groupe, les modèles formés de toutes pièces à la langue italienne sont Italia 9B et Qwen2. Tandis qu'Anita de LLama3, Maestrale de Mistral et Occiglot de Mistral sont des modèles adaptés à la langue italienne grâce à une mise au point.
L'ÉVALUATION
Bien qu'en supposant que l'analyse ne reflète pas les performances du modèle original, puisque la conversion non officielle du modèle publié par iGenius a été utilisée, selon les chercheurs, les performances de Model Italia par rapport aux 6 benchmarks pris en compte sont inférieures à toutes les autres. , avec Anita 9B qui bat tout le monde à la place.
Même dans le classement des LLM parlant italien, établi par Hugging Face , il est loin derrière beaucoup d'autres.
RÉPONSE D'IGÉNIUS
Nicolas Pantaleo, responsable de la gestion des produits chez iGenius, a répondu au post sur LinkedIn publié par Sapienza avec les résultats de l'analyse. En plus de le remercier d'avoir introduit Italia 9B dans la communauté Hugging Face, il a tenu à souligner qu'en convertissant le. modèle "ils ont remarqué de nombreuses différences qui affectent négativement la performance finale".
Pantaleo a donc garanti que "l'Italie sera bientôt également disponible sur le profil officiel Hugging Face d'iGenius", où de plus amples détails techniques sur le modèle seront fournis.
Cet article est une traduction automatique de la langue italienne d’un article publié sur le magazine Début Magazine à l’URL https://www.startmag.it/innovazione/ia-che-voto-da-la-sapienza-a-modello-italia-di-igenius/ le Fri, 14 Jun 2024 20:14:30 +0000.