Lors de la conférence NeurIPS, Ilya Sutskever, cofondateur d’OpenAI (ChatGPT, Dall-E...), a présenté une vision inédite de l’évolution de l’intelligence artificielle. Entre fin du pré-entraînement tel que nous le connaissons et émergence de systèmes capables de raisonner, son discours soulève autant d’espoirs que de craintes.
Le pré-entraînement, une méthode en fin de course
Le pré-entraînement, qui consiste à nourrir les modèles d’IA avec de vastes quantités de données issues d'internet, pourrait bientôt appartenir au passé. Selon Ilya Sutskever, « nous avons atteint un pic de données, et il n’y en aura pas davantage ». À l’instar des ressources fossiles, les données accessibles sur internet sont limitées.
Cette méthode a permis des avancées spectaculaires dans le domaine de l’intelligence artificielle, certes, mais le secteur palpe déjà ses limites. Sutskever estime carrément que l’industrie a exploité presque tout le contenu disponible. Pas le choix : les modèles futurs devront s’appuyer sur de nouvelles approches pour continuer à progresser.
Le papa de Chat GPT a comparé cette situation à l’évolution biologique : tout comme l’évolution a permis aux hominidés de développer un cerveau disproportionné par rapport à leur masse corporelle, l’IA devra trouver de nouvelles façons de « s’élever » au-delà de ses limites actuelles. Mais comment ? De très nombreux et très compétents chercheurs planchent déjà sur la question. Pour l'instant, la piste privilégiée est celle de la construction d'environnements synthétiques qui donneraient à l'IA la capacité d'apprendre, comme l'humain, en exploitant des "sens".
Voici toute la conférence, en anglais :
Des IA autonomes et capables de raisonner
Selon Sutskever, la prochaine génération d’IA sera marquée par deux évolutions majeures : une capacité à raisonner et une autonomie accrue. Ces futurs systèmes, qu’il qualifie d’« agentiques », seront capables de prendre des décisions, d’interagir avec d’autres logiciels et d’accomplir des tâches sans supervision humaine.
Contrairement aux modèles actuels, qui se contentent de reconnaître des motifs dans des données existantes, ces nouveaux systèmes seront capables de déduire des informations et de résoudre des problèmes étape par étape, d’une manière qui s’apparente davantage à un raisonnement humain.
Vous le savez, cette capacité à raisonner soulève une inquiétude majeure : l’imprévisibilité. Sutskever a comparé cette situation à celle des IA spécialisées dans les échecs, qui adoptent parfois des stratégies si complexes qu’elles déconcertent même les meilleurs joueurs humains. « Plus un système raisonne, plus il devient imprévisible », a-t-il affirmé.
Cette imprévisibilité porte aussi en elle un tas de questions éthiques et sociales. Lors de son intervention, Sutskever a été interrogé sur la manière de créer des incitations pour que l’IA évolue de façon bénéfique pour l’humanité. Sa réponse a été prudente : il a admis ne pas avoir de solution claire et s’est montré sceptique quant à l’idée d’une régulation centralisée.
Une suggestion du public, qui proposait d’utiliser des cryptomonnaies pour encadrer l’évolution de l’IA, a suscité quelques rires dans la salle. Mais Sutskever a reconnu que, dans un futur où les IA autonomes cohabiteraient avec les humains, il n’est pas impossible qu’elles revendiquent des droits ou cherchent à établir une coexistence pacifique.
En fin d'intervention, Ilya Sutskever a invité la communauté scientifique et le grand public à réfléchir aux implications des transformations engendrées par l'intelligence artificielle dans nos sociétés. Dans le domaine de l’intelligence artificielle, les certitudes d’aujourd’hui peuvent rapidement devenir obsolètes. Comme les IA, nous allons devoir nous adapter, et évoluer. Vite.