ChatGPT a mis une claque à tout le monde lors de sortie en fin d’année dernière. Et que dire du modèle de langage qui lui est associé, GPT-4 ? Si les utilisateurs et les spécialistes de l’intelligence artificielle ont été choqués, le PDG d’OpenAI, lui, reste très humble par rapport aux travaux de sa société.
La dernière sortie du PDG d’OpenAI fait beaucoup parler
Sam Altman, le PDG d'OpenAI - la société de développement de ChatGPT - a participé il y a quelques semaines à l'événement 'Imagination in Action', organisé par le MIT… et son intervention a récemment été publiée sur YouTube. À une époque où ChatGPT est sur toutes les lèvres en tant que fleuron de l'industrie de l'IA, certains des sujets qu'il mentionne sont assez intéressants et pertinents. Au cours de son propos, il a notamment fait une prédiction surprenante, en expliquant que nous approchons de la limite de taille des LLM (grands modèles de langage, comme GPT-4)... mais que cela ne veut, pour autant, pas dire qu'ils ont atteint leur plafond.
Il dénonce aussi une certaine obsession de l'industrie à gonfler le nombre de paramètres dans chaque LLM, et la compare directement à la course entre les fabricants de puces dans les années 1990 et 2000 pour obtenir le plus grand nombre de mégahertz. « La plupart d'entre vous ne savent pas de combien de gigahertz dispose votre iPhone, mais il est rapide. C'est la capacité qui compte vraiment pour nous, et je pense qu'il est important que nous restions concentrés sur l'augmentation rapide de la capacité (des LLM). Et s'il y avait une raison de préférer la réduction d'échelle des paramètres ou de parier sur le fonctionnement simultané de plusieurs modèles, nous le ferions. Nous ne sommes pas ici pour nous masturber sur le nombre de paramètres. »
Les avis d’Elon Musk ont aussi été évoqués
Vers la fin de l'intervention de Sam Altman, la question controversée de la lettre d’Elon Musk et d'autres personnalités publiques demandant un moratoire sur le développement d'IA avancées a été abordée - ce que beaucoup ont pris comme une attaque directe contre OpenAI et ChatGPT (en particulier vis-à-vis du passif connu entre Sam Altman et son ancien partenaire Elon Musk).
Je suis tout à fait d'accord avec certaines parties de l'approche (de cette lettre). Nous avons passé plus de six mois à étudier GPT-4, depuis la fin de sa formation jusqu'à son lancement, (...) en le soumettant à des audits externes afin d'en atténuer le plus possible les effets néfastes, c'est important.
Mais à partir de là, les écarts de pensées s’accroissent : « Malheureusement, je pense qu'il manque à la lettre les nuances plus techniques sur où on devrait mettre la limite. » Ainsi, il aborde spécifiquement les références dans la première version de la lettre à un prétendu développement de GPT-5 :
Nous ne l'entraînons pas et nous ne l'entraînerons pas non plus pendant un certain temps, donc dans ce sens, c'était idiot (en référence à GPT-5). Cependant, nous faisons d'autres choses en plus de GPT-4 qui, je pense, ont d’autres types de problèmes de sécurité pertinents, et qui ont été complètement omis dans la lettre. (…) Je ne pense pas que les suggestions (dans ce document) soient la meilleure façon d'y remédier.
Selon Sam Altman, ses propres déclarations sur les risques de ChatGPT (qui ont été accusés de chercher à faire la une des journaux) sont motivées par un souci sincère de sécurité, car il est important d'avoir un dialogue ouvert sur cette technologie, même si elle a conduit lui et d'autres cadres de l'entreprise à dire des « choses stupides ».