Si l’on parle énormément de ChatGPT ces derniers temps, c’est parce que l’intelligence artificielle développée par l’entreprise OpenAI ouvre un champ expérimental très important. Chaque jour, de nouvelles personnes trouvent de nouveaux moyens pour la tester, mais aussi pour donner matière à réfléchir aux personnes qui sont encore perplexes, ou bien qui s’interrogent sur le potentiel de l’IA.

Parmi les personnes qui cherchent à tester les limites de ChatGPT, on trouve Christian Terwiesch, un professeur de commerce à la Wharton School of Business, une école de commerce rattachée à l'Université de Pennsylvanie. Ce dernier a voulu répondre à une question simple : l’IA serait-elle capable d’obtenir un diplôme dans cet établissement ?

Oui, ChatGPT peut décrocher un diplôme, mais…

Dans un livre blanc de 26 pages accessibles gratuitement, Christian Terwiesch relate son expérience avec ChatGPT. Il y explique avoir posé les mêmes questions à l’IA que celles qui sont posées à un étudiant en chair et en os en vue de l’obtention d’un diplôme de type MBA (Master of Business Administration), pouvant ensuite mener à un emploi dans la finance ou dans les ressources humaines.

Le professeur estime que le chatbot s’en est globalement bien tiré : « il fait un travail incroyable sur les questions de gestion des opérations de base et d’analyse des processus, y compris celles qui sont basées sur des études de cas. Non seulement les réponses sont correctes, mais les explications sont excellentes. »

Cependant, tout n’est pas parfait : il s’avère notamment que ChatGPT est plutôt nul en maths. Cela peut paraître très surprenant, puisque les problèmes de mathématiques ont généralement une réponse concrète, mais l’IA fait parfois des erreurs surprenantes sur des calculs de niveau 6e. Enfin, Christian Terwiesch souligne également que le chatbot « n’est pas capable de gérer des questions d’analyse de processus plus avancées, même lorsqu’elles sont basées sur des modèles assez standard ».

Un élève très moyen, mais quand même diplômé

Le professeur estime que, malgré cela, ChatGPT « aurait reçu une note de B ou de B- à son examen » et aurait donc été reçu avec une note de 12/20 environ. Car, parmi les qualités du chatbot, il y a aussi sa faculté à apprendre de ses erreurs et à les rectifier facilement grâce à une intervention humaine, par exemple un professeur qui pourrait réorienter une répondre durant un oral d’examen. « Dans les cas où il n’a pas initialement réussi à faire correspondre le problème avec la bonne méthode de solution, ChatGPT a pu se rattraper après avoir reçu un indice approprié d’un expert humain ».

D’ailleurs, une fois son diplôme en poche, l’IA n’aurait probablement pas eu beaucoup de difficultés à trouver un emploi, puisque le professeur estime qu’elle a également « montré une capacité remarquable à automatiser certaines tâches qui incombent à des travailleurs du savoir généralement très bien rémunérés, et plus particulièrement des personnes diplômées d’un MBA ». De quoi donner quelques frayeurs aux professionnels du secteur.

Une expérience réellement révélatrice ?

Pour autant, cette expérience est à prendre avec des pincettes. La première raison à cela, c’est que Christian Terwiesch savait qu’il était face à une intelligence artificielle et que le résultat de cette démarche est forcément biaisé par cela. Difficile de savoir si son opinion aurait été la même face à un étudiant médiocre tenu en échec par des exercices de maths de niveau 6e. De ce fait, il aurait probablement fallu que plusieurs professeurs testent l’IA pour obtenir une moyenne entre les expériences.

La démarche de Christian Terwiesch permet tout de même de confirmer de précédents constats, à savoir que ChatGPT représente un sacré challenge dans le milieu de l’éducation, y compris lorsqu’il s’agit de diplômes dans de grandes écoles. Le professeur estime, par ailleurs, qu’un tel outil pourrait être utile aux professeurs, qui pourraient choisir de l’exploiter plutôt que d’essayer de le contrer.