Geoffrey Hinton, l'un des pères de l'intelligence artificielle (dont, pourtant, est un grand critique) a démissionné de Google. Voici les faits, les curiosités et les conséquences
Ces derniers jours, la nouvelle qui a retenu l'attention des médias, également parce qu'elle ajoute beaucoup d'huile sur le feu pour ceux qui pensent que l'IA est plus dangereuse qu'utile, a été la démission de Geoffrey Hinton de Google .
Qui est Geoffrey Hinton
Geoffrey Everest Hinton, souvent qualifié de "parrain de l'apprentissage en profondeur", est une figure pionnière dans le domaine de l'intelligence artificielle. Il est né à Londres en 1947 dans une famille de scientifiques et de chercheurs : son deuxième prénom est en l'honneur d'un parent éloigné, George Everest, qui a donné son nom à la plus haute montagne du monde. L'arrière-grand-père était George Boole, le fondateur de la logique mathématique et de l'algèbre booléenne. Hinton a eu une longue carrière dans le développement de techniques d'intelligence artificielle de pointe. En tant que psychologue cognitif et informaticien, son travail a contribué à façonner le paysage moderne de l'intelligence artificielle, en particulier dans les domaines des réseaux de neurones et de l'apprentissage en profondeur.
L'impact de Hinton sur l'intelligence artificielle est en grande partie dû à ses travaux sur la rétropropagation , ou rétropropagation, une technique d'apprentissage qui aide les réseaux de neurones à améliorer leurs prédictions en ajustant de manière itérative les connexions entre les neurones en fonction des erreurs commises. Ce processus permet au réseau "d'apprendre" de ses erreurs et de devenir plus précis dans ses prédictions. Co-développée avec David Rumelhart et Ronald J. Williams dans les années 1980, la rétropropagation est devenue une pierre angulaire de l'apprentissage automatique moderne, tout en jetant les bases de l'apprentissage en profondeur , une innovation qui a porté les capacités de l'IA à des niveaux jamais atteints auparavant. L'apprentissage en profondeur implique la formation de réseaux de neurones artificiels avec de nombreuses couches, permettant aux machines de reconnaître des modèles complexes et de prendre des décisions "intelligentes" basées sur de grandes quantités de données.
Le travail novateur de Hinton en matière d'apprentissage en profondeur a encore été validé lorsque son équipe de l'Université de Toronto a remporté avec une marge significative le ImageNet Large Scale Visual Recognition Challenge (ILSVRC) 2012. Ce concours annuel, qui consiste à classer des millions d'images dans des milliers de catégories, a historiquement été une tâche difficile pour les systèmes de vision par ordinateur. L'équipe de Hinton, cependant, a utilisé un réseau de neurones à convolution profonde appelé AlexNet , qui a considérablement amélioré la précision de la reconnaissance d'image et surpassé les autres méthodes concurrentes. Cette réalisation capitale a accéléré l'intérêt et l'investissement dans l'apprentissage en profondeur, cimentant l'héritage de Hinton en tant que titan de l'IA.
En reconnaissance de ses contributions monumentales dans le domaine de l'intelligence artificielle, Geoffrey Hinton a reçu le prestigieux prix Turing en 2018, aux côtés de ses collègues pionniers de l'apprentissage en profondeur Yann LeCun et Yoshua Bengio. Souvent appelé « prix Nobel de l'informatique », le prix Turing est décerné par l'Association for Computing Machinery (ACM) à des personnes qui ont apporté une contribution significative et durable au domaine de l'informatique. Hinton, LeCun et Bengio ont été honorés conjointement pour leur travail sur l'apprentissage en profondeur, partie intégrante de l'avancement de la perception artificielle et de la compréhension du langage naturel. Le prix a non seulement souligné l'impact transformateur de la recherche de Hinton, mais a également été en reconnaissance du rôle de plus en plus important que l'IA joue dans le façonnement du monde moderne.
Pourquoi Hinton était-il chez Google ?
L'histoire est bien racontée par Cade Metz dans son livre Building Intelligence. Google, Facebook, Musk et le défi du futur ( ici en anglais ). Comme déjà écrit, en 2012, une équipe de l'Université de Toronto composée d'Alex Krizhevsky, Ilya Sutskever et Geoffrey Hinton a remporté le concours ImageNet 2012 grâce à leur réseau de neurones convolutifs . C'est l'événement qui a ramené les méthodes de réseau neuronal, largement ignorées (sinon carrément ridiculisées) jusqu'à récemment, à l'attention de la communauté de recherche au sens large.
Hinton et sa petite équipe ont immédiatement commencé à être courtisés par les grandes entreprises, mais au lieu de succomber à l'attrait d'un emploi bien rémunéré, les trois ont réalisé que la meilleure façon de maximiser les fruits de leur travail serait de créer une entreprise qui contenait en son sein, outre évidemment les trois chercheurs, également la propriété intellectuelle de la recherche. Ainsi est née DNNresearch , une start-up composée de trois personnes et une révolution technologique.
Cela a été suivi d'une vente aux enchères par e-mail en quelques jours, à laquelle, selon l'histoire, Baidu, Google, Microsoft et DeepMind (qui ne fait pas encore partie de Google) ont participé. Après une série de randonnées et de rebondissements racontés dans le livre, Google l'a finalement emporté avec 44 millions de dollars. Les offres auraient pu encore augmenter, mais Hinton a surpris tout le monde en décidant de clôturer l'enchère à 44 millions et de donner la victoire à Google. Les raisons du geste étaient nombreuses, tout d'abord parce que les trois pensaient que Google était le bon endroit pour continuer la recherche, mais en plus de cela, on pense que Hinton aurait été mécontent de déménager en Chine si Baidu avait gagné, étant donné la chronique problèmes de dos qui l'empêchent de s'asseoir (rendant les voyages en avion pratiquement impossibles).
En mars 2013, Hinton, Krizhevsky et Sutskever se sont donc retrouvés chez Google, où Sutskever est resté jusqu'en 2015 pour ensuite démissionner et fonder OpenAI (où il est toujours responsable de la recherche aujourd'hui), Krizhevsky est resté jusqu'en 2017 et Hinton jusqu'à il y a quelques jours.
Ce que Hinton a dit au fil des ans
L'une des déclarations les plus controversées, et qui obligea par la suite le chercheur à faire marche arrière partielle, fut prononcée en 2016 lors de la Machine Learning and Market for Intelligence Conference à Toronto et disponible sur YouTube : « Je voudrais commencer par dire certaines choses qui semblent évidentes tome. Je pense que si vous êtes radiologue, faites comme le coyote qui a déjà enjambé le bord de la falaise mais n'a pas encore baissé les yeux, donc il ne sait pas qu'il n'est pas là. Il faut arrêter de former des radiologues. Il est bien évident que d'ici 5 ans le deep learning fera mieux que les radiologues, car il pourra acquérir beaucoup plus d'expérience. Cela prendra peut-être 10 ans, mais nous avons déjà beaucoup de radiologues.
Hinton s'est partiellement corrigé l'année suivantedans une interview avec The New Yorker : "Le rôle des radiologues évoluera de faire des choses perceptives, qui pourraient être faites par un pigeon hautement entraîné, à faire des choses beaucoup plus cognitives." Puis dans un échange de courriels avec Politico, en 2022, une autre correction partielle est arrivée, où Hinton a déclaré qu'il n'avait jamais suggéré de remplacer les radiologues, mais plutôt de laisser l'IA lire les radiographies à leur place, et dans une interview avec CBS en mars En 2023, il a encore ajusté le tir, déclarant que nous aurons peut-être simplement besoin de moins de radiologues, ou du même nombre de radiologues mais avec une nette augmentation de leur productivité.
Mais pour mieux comprendre la pensée Hinton, nette du sarcasme qui fait toujours partie de ses sorties, il est utile de lire une interview d'il y a douze ans , alors qu'il n'était pas encore devenu célèbre pour son apprentissage en profondeur, qui montre comment il a toujours ont été conscients que ce n'est pas la technologie qui est intrinsèquement bonne ou mauvaise, mais la politique sous-jacente qui l'utilise : « Les guichets automatiques valent mieux que les guichets si vous voulez effectuer une transaction simple. Ils sont plus rapides, causent moins de problèmes et sont plus fiables. Maintenant, que ce soit bon ou mauvais dépend de ce qui se passe ensuite. Potentiellement, cela devrait être une bonne chose dans une société qui se soucie des gens. Rendre tout plus efficace devrait rendre tout le monde plus heureux. Mais si cela ne fait que rendre certains banquiers extrêmement riches et laisser beaucoup de pauvres sans travail, ce n'est pas une bonne chose, donc c'est une question politique sur la façon dont il est utilisé. »
Pourquoi Hinton a-t-il démissionné de Google ?
On en vient donc à sa démission de Google qui, comme Hinton lui-même l'a souligné sur Twitter , n'est pas en litige avec l'entreprise, qui se serait "comportée de manière très responsable" .
Le premier à annoncer la nouvelle a été Cade Metz, l'auteur du livre évoqué précédemment, dans les colonnes du New York Times. La raison évoquée dans l'article était de pouvoir parler plus librement des risques de l'intelligence artificielle .
Lors d' EmTech Digital , au cours duquel Hinton a fait sa première sortie publique après avoir démissionné de Google, le chercheur a donné à sa décision un meilleur argument . La première raison est liée à son âge, puisqu'à 75 ans il ne se sent plus capable d'effectuer des tâches de recherche technologique, par conséquent « il est temps de prendre sa retraite », comme l'a candidement admis Hinton. La deuxième raison, probablement la plus importante, est le changement d'opinion sur la relation entre le cerveau humain et la technologie de l'IA. Jusqu'à récemment, et malgré les positions audacieuses du passé, Hinton pensait que les modèles d'IA ne seraient jamais au niveau du cerveau humain. Selon lui, la recherche sur l'IA était un moyen de faire de nouvelles découvertes sur le fonctionnement de notre cerveau.
Maintenant, cependant, Hinton a réalisé que l'IA et le cerveau humain ne fonctionnent probablement pas de manière comparable, et qu'il n'est donc pas utile de faire des recherches sur les réseaux de neurones pour mieux comprendre le fonctionnement du cerveau. Mais en plus de réaliser que les différences fondamentales entre l'IA et le cerveau humain ne permettent pas une comparaison scientifiquement significative, Hinton a également réalisé que les techniques utilisées par les technologies modernes d'intelligence artificielle sont "bien meilleures" que les techniques utilisées par nos cerveaux, et c'est là que Hinton a commencé à avoir peur . La seule façon d'en parler librement aurait été après avoir rompu les liens avec un employeur engagé dans ce secteur, ce qu'il a fait en quittant l'entreprise qui l'avait absorbé dix ans plus tôt. La crainte du développement incontrôlé de l'intelligence artificielle est désormais forte chez Hinton, alors que selon lui le problème n'est pas encore correctement pris en charge par la société civile, il a donc démissionné pour avoir toute la liberté – même intellectuelle – de jouer l'alarme.
Pourquoi Hinton a-t-il commencé à craindre l'IA ?
Le chercheur a noté que le GPT-4 "sait" bien plus qu'un humain ne peut en savoir, et a des connaissances de "bon sens" sur pratiquement tout. Étant donné que ces modèles d'IA ne sont capables d'atteindre ces résultats qu'avec un milliard de connexions, alors que nous, les êtres humains, saurions beaucoup moins de choses, mais ayant des centaines de milliards de connexions neuronales disponibles dans notre cerveau, il s'ensuit que les réseaux de neurones des cerveaux modernes sont beaucoup plus efficaces. à détenir des connaissances que le cerveau humain.
Cette capacité est ensuite multipliée par la capacité d'un réseau de neurones à créer d'innombrables copies de lui-même, où chacun met à jour les autres au fur et à mesure qu'il acquiert de nouvelles informations, permettant ainsi un apprentissage simultané exponentiel pour l'ensemble du groupe, ce qui permet à chaque copie individuelle de ce réseau de neurones d'apprendre de nouvelles notions à des rythmes jusque-là inimaginables.
Enfin, selon Hinton, les derniers modèles linguistiques sont capables d'effectuer des raisonnements, de résoudre des problèmes simples. Aujourd'hui, ils peuvent être considérés au niveau d'une personne avec un QI inférieur à la moyenne, mais dans quelques années, ils pourraient atteindre un QI supérieur à 200, ce qui les rend extrêmement dangereux en raison de leur pouvoir de manipulation .
Ce qui empêche aujourd'hui les systèmes d'intelligence artificielle de conquérir le monde, outre le fait qu'ils n'ont pas encore atteint des niveaux extrêmes d'intelligence et de capacité d'action, c'est le manque d'objectifs . Nous, les humains, avons des objectifs biologiques qui nous poussent à accomplir certaines actions, telles que la survie (manger et boire), la sécurité (éviter la douleur), la reproduction (plaisir sexuel), pour ne citer que les plus fortes. Pour atteindre ces objectifs, nous créons des sous-objectifs qui nous facilitent la tâche, tels que trouver un emploi, trouver un partenaire, acquérir des ressources (richesse) qui rendent la réalisation des objectifs principaux plus facile et plus durable.
Les machines n'ont pas d'objectifs, mais si un jour quelqu'un trouvait un moyen d'infuser des objectifs fondamentaux dans sa programmation, il pourrait bientôt se rendre compte que gagner en puissance serait un excellent sous-objectif, et il commencerait à essayer d'en gagner autant. que possible. Presque certainement à notre désavantage.
La solution?
Hinton n'a pas de solution à portée de main. L'idéal serait de faire en sorte que ces entités intelligentes ne travaillent que pour le bien-être de l'humanité, un problème connu sous le nom de problème d'alignement , qui est cependant rendu plus difficile par la présence d'humains qui veulent plutôt utiliser l'IA pour la violence, comme le création de robots militaires ou "robot killers". L'industrie essaie de construire des frontières ou des "garde-corps" pour empêcher l'IA de devenir incontrôlable, mais si ces systèmes vont effectivement devenir plus intelligents que nous, il y a toujours la possibilité qu'ils surmontent toutes les limites qui pourraient être imposées. eux.
Selon Hinton, il serait logique d'arrêter de continuer à développer cette technologie, mais l'hypothèse est pratiquement impossible, étant donné qu'il existe une concurrence entre les pays, comme les États-Unis et la Chine, et qu'il faudrait un accord international entre tous pour arrêter le développement de l'IA les acteurs, actuels et potentiels. Ce qui est impraticable.
Lorsqu'un téléspectateur lui a demandé si Hinton, qui investit dans des startups développant de grands modèles linguistiques (LLM), continuerait à donner de l'argent à ce type de recherche, la réponse a été oui. La raison, selon le chercheur, est que les LLM peuvent être très utiles et que les problèmes mentionnés ci-dessus doivent être résolus par la politique et non par la technologie.
Bref, faut-il s'inquiéter ?
De l'avis de l'écrivain, Hinton – un chercheur très brillant hors des sentiers battus – s'est déjà laissé emporter par le potentiel de la technologie dans le passé, exagérant et dans certains cas poussant ses déclarations à l'extrême. Celui sur les radiologues est un exemple classique : en théorie il pourrait même avoir raison, en pratique il y a mille détails qu'il n'avait pas pris en compte avant d'exprimer son avis incisif .
Le problème d'alignement ne doit pas être sous-estimé, mais après la publication de ChatGPT, beaucoup voient des choses dans ce système qui n'existent vraiment pas . Lorsque Hinton dit que GPT "sait" quelque chose, ou qu'il "détient des connaissances", il s'engage sur un terrain très difficile. Les LLM, selon des chercheurs infiniment plus expérimentés que moi, ne "connaissent" rien, si ce n'est les relations statistiques entre les mots. Ils semblent savoir ce qu'ils écrivent, mais c'est une illusion qui les rend à des années-lumière de représenter le genre d'intelligence QI dont parle Hinton.
Dans le public des lecteurs, il est naturel de penser "si le père de l'IA le dit, il doit en être ainsi" ; après tout, si nous ne laissons pas ces arguments aux experts, à qui pouvons-nous faire confiance ? Malheureusement, la réalité est plus complexe et le doute est toujours au coin de la rue. Les préoccupations de Hinton sont partagées par certains chercheurs, mais pas par d'autres, qui connaissent également les LLM de fond en comble.
Le dilemme auquel nous sommes confrontés est complexe : d'une part, il y a le risque d'inhiber l'évolution des technologies capables de favoriser des progrès extraordinaires dans divers secteurs. On rappelle par exemple à quel point la recherche médicale bénéficie du deep learning pour approfondir la compréhension et accélérer les résultats. D'autre part, il existe un danger d'adopter des stratégies de défense inadéquates ou inefficaces . Si l'intelligence artificielle devait effectivement représenter pour nous un risque existentiel, une analyse détaillée des menaces potentielles, similaire à ce qui se pratique dans le domaine de la cybersécurité avec la modélisation des menaces , deviendrait indispensable. Cela nous permettrait de mettre en place les bonnes précautions. À l'heure actuelle, nous abordons les LLM comme s'il s'agissait de systèmes intelligents et tentons d'établir des réglementations pour les régir. Cependant, il est crucial de ne pas se précipiter dans les décisions, mais plutôt de rechercher une compréhension approfondie de ces technologies . Il peut être erroné de leur attribuer une intelligence qu'ils ne possèdent pas et un tel malentendu pourrait fausser notre perception et notre traitement des LLM. Il faut donc agir avec conscience avant d'imposer toute forme de réglementation trop contraignante.
Cet article est une traduction automatique de la langue italienne d’un article publié sur le magazine Début Magazine à l’URL https://www.startmag.it/innovazione/geoffrey-hinton-dimissioni-google/ le Sat, 03 Jun 2023 05:29:11 +0000.