L’IA cherche absolument des récompenses

L'intelligence artificielle, censée résoudre les problèmes de l'humanité, se heurte à un défi inattendu : Pokémon Rouge. Le YouTubeur Peter Whidden a entrepris une aventure fascinante en apprenant à une IA à jouer à Pokémon à l'aide d'un émulateur.

Le concept est simple en apparence : l'IA doit jouer au jeu aussi naturellement qu'un être humain. Pour cela, Peter Whidden a conçu un système de récompenses pour guider l'IA dans la bonne direction. Sauf que l'IA est loin d'être parfaite. Elle peut ressentir ce que l'on pourrait appeler de la "peur" en entrant dans les centres Pokémon, un véritable traumatisme lorsqu'elle a rangé des Pokémon et qu’elle s’est vu retirer des points car le niveau de son équipe avait diminué.

Pour augmenter la vitesse d'apprentissage, Whidden a effectué 40 sessions de tests en parallèle. À chaque découverte de quelque chose de nouveau, mesurée en pixels sur l'écran, l'IA reçoit des points de récompense. Mais comme on peut s’y attendre, cette démarche l'a conduit à s'attarder sur l'animation de l'eau au lieu de progresser vers la prochaine ville. Une IA contemplative devant la beauté des pixels

D'autres récompenses ont été introduites, telles que la capture de Pokémon, le niveau global de l'équipe, la victoire dans un combat d'entraîneur ou la conquête d'une arène. Malgré ces incitations, des problèmes persistaient.

Une IA traumatisée

L'IA a vécu des moments curieux lors de sa visite au Pokémon Center. En interagissant avec l'ordinateur et en stockant certains Pokémon, son niveau d'équipe a diminué, ce qui a créé une sorte de traumatisme. Cela l'a poussée à éviter activement ces centres. Whidden a donc dû ajuster le système et introduire une nouvelle récompense pour surmonter cette aversion.

Les combats ont également réservé leur lot de surprises. L'IA a participé à chaque combat, qu'elle puisse gagner ou non. Cependant, après la première défaite, elle a refusé d'appuyer sur le bouton A après la mort du dernier Pokémon, cherchant à rester éternellement dans l'écran de combat pour ne pas perdre de points.

Le combat contre Pierre dans la première arène était tout sauf logique. Pendant longtemps, l'IA n'a pas compris que les attaques d'eau étaient la faiblesse des Pokémon de type roche. Après des milliers d'heures de jeu, une victoire facile a finalement été obtenue.

Malgré les défis, l'IA s'est montrée particulièrement friande de Pokémon Magicarpe, en en obtenant plus de 10 000 auprès d'un revendeur qui les vendait pour 500 Pokédollars. Cette démarche était sans doute l’option la plus simple et la plus rapide pour étendre son nombre de Pokémon, car l'IA était programmée pour enrichir son équipe en attrapant de nouveaux Pokémons.

Pour mettre en œuvre son algorithme d'apprentissage, Whidden a utilisé Proximal Policy Optimization, une norme également employée pour ChatGPT. Cependant, la partie la plus délicate de ce processus consiste à guider la machine sans lui expliquer chaque étape individuellement, car l'IA est censée apprendre de manière autonome. Contrairement aux IA textuelles ou vocales, Pokémon Rouge ne disposait pas de base de données volumineuse, ce qui rendait cette aventure encore plus impressionnante.

Bien que l'intelligence artificielle ait échoué dans sa quête de la deuxième arène après 50 000 heures de souffrance, elle a tout de même accompli des prouesses étonnantes. Cette expérience témoigne du potentiel et des limites de l'IA à apprendre et à évoluer.