Faisant un pas important vers l'introduction de l'intelligence artificielle générative sur les iPhones, les chercheurs d'Apple ont introduit une méthode révolutionnaire pour contourner les limitations de RAM sur les appareils mobiles. Les grands modèles de langage (LLM), tels que ChatGPT 4 d'OpenAI, sont connus pour leurs immenses exigences informatiques, nécessitant généralement des serveurs puissants pour gérer leur traitement. Cependant, la récente Gemini AI de Google, conçue pour rivaliser avec GPT-4, propose une variante « Nano » adaptée aux smartphones. Cette adaptation utilise des techniques de quantification pour réduire les paramètres du modèle à 1,8 milliard ou 3,6 milliards. Actuellement, l'une de ces variantes Nano alimente les smartphones Pixel 8 Pro de Google, désormais disponibles au prix réduit de 799 $ sur Amazon.
Alors que les efforts de Google avec Gemini Nano marquent un développement significatif, Qualcomm affirme que son nouveau SoC Snapdragon 8 Gen 3 peut prendre en charge les LLM d'IA génératives avec jusqu'à 10 milliards de paramètres. Bien que cela dépasse les capacités de Google, il reste encore bien en deçà des 1 700 milliards de paramètres requis pour que GPT-4 fonctionne de manière optimale. La quantification, bien que facilitant le traitement sur les SoC mobiles, sacrifie inévitablement la précision et l'efficacité. Par conséquent, la possibilité d’héberger des LLM plus volumineux sur des appareils mobiles devient essentielle pour améliorer leurs performances.
La solution ingénieuse d'Apple
L’un des principaux obstacles à l’activation de l’IA générative sur les smartphones est l’important besoin de RAM. Par exemple, un modèle LLM épuré de 8 bits par paramètre avec 7 milliards de paramètres, comme le Llama 2 de Meta pris en charge par le Snapdragon 8 Gen 3, nécessiterait un smartphone avec au moins 7 Go de RAM. La série iPhone 15 Pro d'Apple dispose de 8 Go de RAM, ce qui indique qu'un LLM développé par Apple, comme le Llama 2, approcherait les limites supérieures des capacités actuelles de l'iPhone. Pour surmonter cette limitation de RAM, les chercheurs Apple ont mis au point une nouvelle approche.
Mémoire flash accrue
Dans un document de recherche intitulé « LLM in a flash: Efficient Large Language Model Inference with Limited Memory », les chercheurs en IA générative d'Apple présentent une méthode qui exploite la mémoire flash d'un iPhone pour compléter la RAM système intégrée de l'appareil. Bien que la bande passante de la mémoire flash ne corresponde pas à celle de la RAM mobile LDDR5/X, les chercheurs Apple ont ingénieusement surmonté cette limitation inhérente. Leur méthode combine le « fenêtrage », qui permet au modèle d'IA de réutiliser des données précédemment traitées et stockées dans la mémoire flash, avec le « regroupement ligne-colonne », une technique qui organise de manière optimale les données LLM pour des vitesses de lecture plus rapides.
Perspectives d'avenir pour l'intelligence artificielle générative sur iPhone
Bien qu'Apple n'ait pas encore dévoilé de produit basé sur LLM, des rumeurs suggèrent l'arrivée imminente d'un Siri plus intelligent basé sur LLM, qui devrait faire ses débuts avec iOS 18 et fonctionner sur les modèles iPhone 16 Pro de nouvelle génération. Lorsque cela se concrétisera, Apple sera bien placé pour utiliser sa méthode innovante d'extension de RAM pour fournir un modèle LLM avec le nombre maximum de paramètres pouvant être exécuté sur l'appareil.
Le paysage de l’IA générative en 2024
Alors que l’industrie technologique poursuit sa quête incessante pour faire progresser les capacités de l’IA générative, 2024 semble être l’année où l’IA générative deviendra une fonctionnalité courante sur les smartphones. Samsung, un acteur redoutable dans ce domaine, s'apprête à dévoiler ses offres améliorées d'IA générative avec le lancement de la série Galaxy S24 le mois prochain. Grâce à la méthode innovante d'augmentation de la RAM d'Apple et aux développements à venir de Samsung, les consommateurs peuvent s'attendre à une transformation substantielle des capacités et des performances des fonctionnalités basées sur l'IA sur leurs appareils mobiles.
L'approche pionnière d'Apple pour surmonter les limitations de la RAM et faciliter l'exécution de grands modèles de langage sur l'appareil marque une étape importante vers la réalisation de l'intelligence artificielle générative sur les iPhones. Alors que le paysage concurrentiel se réchauffe, avec les progrès du Gemini Nano de Google et du Snapdragon 8 Gen 3 de Qualcomm, l'année 2024 promet d'être un tournant pour l'intégration de l'IA générative dans les expériences quotidiennes des smartphones.