Depuis plusieurs années aux États-Unis, un phénomène aussi surprenant qu’inquiétant se déroule : des livres commencent à être interdits pour des raisons diverses. Les ouvrages concernés sont notamment écrits par des auteurs considérés comme marginaux, et ils mettent en avant des personnages qui sont considérés de la même manière. Sont notamment ciblés des livres qui parlent d’identité de genre ou qui mettent en avant des personnages noirs.

Ces ouvrages sont notamment retirés des bibliothèques des écoles de Floride, Rhode Island, New Jersey, Ohio, Washington ou encore du Texas. L’Iowa est également l’un des États concernés et, à l’approche de la rentrée, le directeur d’un établissement a décidé d’utiliser ChatGPT pour déterminer quels livres ne devaient plus être accessibles aux élèves.

« Il est impossible de lire tous les livres »

La disparition de certains types d’ouvrages est liée à une loi qui est récemment passée dans l’État de l’Iowa, et qui se nomme « Sénat File 496 ». Elle interdit les discussions sur « l’identité de genre » et sur « l’orientation sexuelle » pour les élèves de la maternelle à la sixième année. Les livres présents dans les bibliothèques des écoles doivent être adaptés à l’âge des élèves. Ceux qui concernent la représentation des sexes sont notamment interdits au sein du Mason City Community School District à Mason City en Iowa.

Mais comment s’assurer que les ouvrages présents dans la bibliothèque de l’école respectent les consignes ? Pour Bridgette Exman, qui travaille comme surintendante adjointe du programme d’études et de l’instruction du district où se trouve l’école, il est « tout simplement impossible de lire tous les livres et de filtrer les nouvelles exigences » de la loi. Alors pour obtenir rapidement des réponses, elle et ses collègues ont utilisé ChatGPT.

« Nous avons demandé à ChatGPT “Est-ce que le livre contient une description ou une représentation d’un acte sexuel ?” », détaille-t-elle au site Popular Science. Lorsque l’IA répondait positivement à la question, l’ouvrage était directement écarté de la bibliothèque.

19 livres censurés par ChatGPT

Cette démarche a entraîné la disparition de 19 livres de la bibliothèque de l’école, dont des ouvrages très connus comme La Couleur Pourpre d’Alice Walker, La Servante Ecarlate de Margaret Atwood, Friday Night Lights de Buzz Bissinger ou encore Gossip Girl de Cecily von Ziegesar. La liste complète est accessible sur le site de Mashable.

Le problème, selon Popular Science, c’est qu’en s’en remettant exclusivement à ChatGPT, l’école a fait des erreurs. Selon le média américain, seuls quatre livres seraient réellement concernés par cette interdiction, les autres n’entrant par réellement dans la catégorie concernée. En réalité, ChatGPT produit souvent des réponses évasives, mais dans le doute, les administrateurs de l’établissement ont préféré écarter tous les ouvrages où le doute était permis, sans les lire pour vérifier. Bridgette Exman a justifié un délai de mise en conformité trop court — trois mois — pour expliquer cette décision, en ajoutant que la liste finale avait été validée par le « professeur bibliothécaire » de l’établissement.

Si l’on peut déjà considérer comme inquiétant le fait qu’une telle censure ait lieu aux États-Unis, le fait de s’en remettre à une IA pas toujours fiable pour l’appliquer l’est tout autant.