L’écriture à l’ère de ChatGPT

Partagés entre fascination et questionnement, nous nous interrogeons sur les agents conversationnels, derniers avatars de l’intelligence artificielle, qui ont fait une entrée fracassante dans nos vies. Philosophe et spécialiste des nouvelles technologies, Alexei Grinbaum analyse en quoi cette écriture artificielle se différencie de notre écriture humaine.

Cinq jours après son lancement, en novembre 2022, plus d’un million de personnes avaient essayé ChatGPT, le robot conversationnel de la société américaine OpenAI. Au moment où ces lignes sont imprimées, plus de 300 millions de personnes ont ouvert un compte sur le site de l’entreprise. Non seulement l’adoption de cette technologie est l’une des plus rapides de l’histoire, mais, surtout, elle se propage dans toutes les branches du savoir et de la connaissance, du lycée à la médecine en passant par le journalisme ou la finance, la création de poèmes, d’images et bientôt de vidéos. Mais tout d’abord, qu’ap-pelle-t-on un agent conversationnel ou chatbot ? De manière simple, il s’agit d’un système d’intelligence artificielle que l’ on interroge à travers une requête en langue naturelle ( un prompt) et qui répond. Vous pouvez lui demander des choses triviales ou des connaissances encyclopédiques (« qui a construit la tour de Babel ? »), de résoudre un problème mathématique, d’écrire un programme informatique, de faire un résumé d’un texte ou encore d’écrire un panégyrique sur Elon Musk à la manière de Rabelais...

L’AVENEMENT DES TRANSFORMERS

Si les résultats sont fascinants, c’est parce que derrière l’interface de ChatGPT se cache ce qu’on appelle un « grand modèle de langage » (Large Language Model, ou LLM) entrainé pendant plusieurs mois. Il contient des centaines de milliards de paramètres numériques réglés pour calculer les bonnes réponses. Le principe de ce calcul ne repose pas sur des règles de la sémantique ou de la syntaxe. Autrefois, on croyait qu’il fallait intégrer beaucoup de règles de grammaire afin de créer des phrases avec du sens. Mais en 2017, le domaine de l’intelligence artificielle (lA) a connu une véritable révolution avec l’arrivée des nouveaux modèles de type transformer. Ceux-ci apprennent le contexte d’utilisation d’un mot, ou plutôt d’un fragment de mot dont la longueur typique est de quatre lettres. Le principe mathématique sous-jacent permet de détecter de façon subtile la manière dont ces fragments de textes, même éloignés de plusieurs lignes ou de plusieurs pages, s’influencent numériquement et sont liés. Autrement dit, en ingérant de grandes quantités de texte, un LLM est capable de combiner les régularités apprises de sorte à prédire le fragment de texte manquant. À mesure qu’il est « entraîné », ses prédictions s’affinent et permettent de générer, à travers un calcul sta¬tistique, un texte qui paraît parfaitement sensé. Pour les informaticiens, cela a changé la manière de travailler, au point que les transformers sont devenus le nouveau paradigme du domaine, mais aussi un outil pour écrire le code. Les recherches se sont concentrées sur ce qu’on nomme aujourd’hui l’IA générative. Ces modèles sont d’abord des réseaux neuronaux préentraînés sur de très grands ensembles de données de texte non étiquetées. Ils sont également dotés de mécanismes de contrôle et de filtrage avec un mélange d’apprentissage humainement super¬visé et utilisant la méthode du renforcement, ce qu’on nomme en anglais Reinforcement Lear¬ning with Human Feedback (RLHF). Tous les grands acteurs du domaine, académiques aussi bien qu’industriels, se sont précipités sur ce type de modèles. Les progrès pour l’IA générative ont été extrêmement rapides, que ce soit pour les images ou pour le texte, et cela continue, notam-ment pour les vidéos.

Pour le texte, le facteur clé de la révolution de 2017 était la taille du modèle : en gros, les résul¬tats avaient été insatisfaisants jusqu’à ce que le nombre de paramètres se compte en milliards. Malgré des coûts d’entraînement croissant, la taille des modèles a augmenté pour arriver à trois milliards pour GPT-2, puis à 175 milliards pour GPT-3. Entre les deux, le saut en qualité des sorties générées a été spectaculaire. Et on ne sait pas à quoi il est dû, car aucune explication scientifique n’existe encore. Cela a certainement trait aux phénomènes critiques en physique statistique : les modèles sont devenus assez grands pour donner naissance à des phénomènes émergents, tels ceux que l’on observe pour les gaz ou les supraconducteurs.

L’ENGOUEMENT DES UNS, L’INQUIÉTUDE DES AUTRES

Là où les ingénieurs d’OpenAI ont montré leur savoir- faire, c’est dans le RLHF, c’est-à-dire le contrôle par-dessus le modèle de fondation qui engendre des textes. Le principe du RLHF consiste à améliorer les performances des modèles en faisant d’abord appel aux annotateurs humains, qui permettent de sélectionner les réponses les plus proches de la réalité humaine et aussi les plus conformes aux instructions du fabricant. Ce corpus de réponses annotées, encore trop petit pour être efficace à l’échelle du modèle, sert ensuite d’appui pour une étape d’apprentissage par renforcement, qui utilise ces choix humains pour éliminer de manière beaucoup plus sûre tout ce qu’on appelle le langage toxique. Cela ne signifie pas que ChatGPT écrit toujours des choses justes, surtout dans sa version gratuite (modèle de fondation GPT-3.5) ! La construction des réponses étant probabiliste, les modèles de langue ne possèdent pas de « connaissances » et ne sont pas capables d’évaluer fidèlement la véracité de leurs sorties. Ils ont une propension à « halluciner »-c’est le terme qu’utilisent les spécialistes ¬ mais, grâce à RLHF, le taux de ces hallucinations peut être grandement réduit. Déjà, GPT-4, proposé aux utilisateurs depuis mars 2023 (version payante – note pileface), hallucine bien moins, et il y a fort à parier que le développement des méthodes de contrôle va rendre les hallucinations si peu fréquentes que ce problème sera effectivement résolu.

Le succès indéniable de ChatGPT a mis en lumière les possibilités impressionnantes des agents conversationnels, provoquant l’engouement des uns et l’inquiétude des autres. S’il est indéniable que ces chatbots vont changer plusieurs métiers liés à la rédaction de textes, en quoi pourraient-ils changer notre rapport à l’écriture elle-même ? Bien que les sorties ressemblent parfaitement à celles que nous pourrions produire, cette génération artificielle de langage ne peut aucunement être qualifiée d’humaine. Le procédé lié au calcul n’a rien à voir avec ce qui se passe dans un cerveau. C’est l’aspect le plus fascinant de cette percée : les informaticiens ont trouvé une voie qui, à partir des mêmes données d’entrée-des requêtes formulées dans notre langue-, aboutit à des sorties identiques aux nôtres, alors que la machine emprunte une voie totalement différente. La machine donne donc l’illusion d’avoir des connaissances, des émotions, et elle les exprime exactement comme nous exprimons les nôtres. À partir de là, on peut poser la question de savoir si connaissances ou émotions sont des propriétés de haut niveau qui peuvent émerger à partir de phénomènes très différents. Des propriétés universelles que l’on retrouverait à travers une large classe de microprocessus qui n’ont rien à voir les uns avec les autres, comme le calcul binaire et les interactions chimiques dans le cerveau.

Par ailleurs, la langue définit notre condition humaine. Le travail, la vie amicale, amoureuse, politique, nous en faisons sens à travers les récits. Et lorsque les agents non-humains, dont les machines, se mettent à parler notre langue, cela affecte tous les domaines de la vie, de l’éducation aux pratiques professionnelles, en passant par la création artistique. La poésie, en particulier, est un domaine où les agents conversationnels deviennent intéressants, car les textes sont engendrés de manière asémantique : c’est un peu comme dans la poésie futuriste ou lorsqu’on dit qu’« une voix divine parle à travers le poète ».

ENSEIGNER DANS LES ÉCOLES L’INGÉNIERIE DES REQUÊTES

Il y a encore cinq ans, je pensais que l’intelligence artificielle ne pourrait jamais faire plus que nous seconder pour des métiers routiniers et répétitifs, qui sont faciles à automatiser. Aujourd’hui, on voit bien que les algorithmes génératifs sont très créatifs, même s’ils ne peuvent pas émettre à notre place des jugements sur ce qui est beau ou sur ce qui est vrai. La créativité dont ils font preuve n’est pas humaine, mais elle est quasiment sans limite. Elle peut donc nous donner des idées et permet certainement de résoudre le « problème de la page blanche », quand l’ écrivain ne sait pas par où commencer. Mais, pour que le résultat soit intéressant, il est nécessaire de formuler des requêtes complexes, en précisant le style, la forme, etc.

La qualité des sorties dépend beaucoup de la manière de formuler les prompts. C’est ce qu’on nomme l’ingénierie des requêtes (prompt engineering). Si l’on veut être efficace, il y a quelques astuces qu’on ne comprend pas toujours scientifiquement, mais qui fonctionnent à merveille. La première astuce, c’est d’attribuer un rôle à la machine avant de lui demander une production de texte ( du type « tu es un spécialiste de la théorie de l’information quantique » ou « tu es journaliste scientifique »). La deuxième astuce consiste à faire des requêtes de type « chaîne de raisonnement ». Ils’ agit de demander à la machine d’expliciter son raisonnement étape par étape. Alors, la qualité de la solution (à des problèmes mathématiques, par exemple) va changer drastiquement. De même pour la qualité des plans et des résumés de toutes sortes. La troisième astuce, c’est de demander à tour de rôle que la machine génère un texte, qu’elle évalue sa qualité et qu’elle l’améliore à partir des éléments d’évaluation qu’elle avait elle-même fournis. Il y a beaucoup d’autres astuces, mais celles-ci sont les principales. Aujourd’hui, des ouvrages entiers abordent l’ingénierie des requêtes de manière heuristique-il n’y a pas de théorie scientifique sous-jacente. C’est un savoir-faire qu’il faut enseigner dans les écoles à tous les élèves.

Il ne faut pas craindre que l’intelligence artificielle générative produise une catastrophe ou une apocalypse. C’est un outil, un assistant, pour aider à la rédaction de textes. Et il va certainement avoir des conséquences sur la manière dont fonctionnent nos propres cerveaux, mais il ne va pas entrer en guerre d’élimination avec les humains. Déjà, les finalités sont données par les concepteurs, et non par les machines. Lorsque je rédige un article scientifique en anglais, je peux demander à la machine : « Voici un paragraphe d’un article scientifique, peux-tu le réécrire dans un anglais un peu plus percutant ? » Mais ensuite, je vais relire le résultat, car il ne faut pas oublier que le système ne comprend absolument pas ce qu’il écrit : on ne fait que projeter sur lui des connaissances. Cette projection est spontanée et naturelle, mais le modèle génératif n’est pas capable à lui seul d’apprécier la vérité des énoncés. Il faut donc toujours relire, modifier, et prendre la responsabilité d’un texte. L’avantage, c’est que cela va beaucoup plus vite qu’avant. Platon fustigeait déjà l’invention de l’ écriture en disant qu’elle supprimerait nos capacités de mémoire. L’intelligence artificielle générative pose à nouveau la question platonicienne du changement technologique et du jugement que nous portons sur lui.

Un des points difficiles à simuler pour la machine est la complexité humaine d’un texte, ce que j’appelle la H-complexité. Comme la machine passe par une voie non-humaine, elle ne sait pas différencier un texte que nous jugeons complexe (écrit d’Einstein) d’un texte que nous estimons plus simple à produire (un dialogue de messagerie instantanée). Du point de vue de la machine, ces deux tâches sont d’un niveau de complexité comparable. Faut-il apprendre à la machine cette différence de H-complexité ? Autrement dit, est-ce qu’il y a quelque chose de fondamentalement différent dans un texte d’Einstein, autre qu’au niveau des apparences ? Ce n’est pas clair. Une manière de percer ce mystère serait d’entraîner les modèles de langues sur des textes que nous considérons de bonne qualité. Mais il n’y a pas assez de ces textes disponibles à travers le monde pour y parvenir avec les modèles actuels. Il faudrait mettre au point de nouvelles méthodes d’entraînement à profit des corpus plus petits. N’oublions pas que le cerveau humain a été entraîné à partir d’un ensemble de données minuscule par rapport à celles que voit la machine. Ces H-qualités sont pour le moment insaisissables à l’apprentissage statistique. ■

Alexei Grinbaum
La Recherche, N° 575, octobre/décembre 2023

A propos de l’auteur

Alexei Grinbaum
PHILOSOPHE DES SCIENCES, CEA SACLAY
Directeur de recherche et président du Comité opérationnel d’éthique du numérique du CEA, spécialiste de l’information quantique et de l’éthique appliquée aux nouvelles technologies.

Mon nouvel ami, ChatGPT

Bien évidemment, je n’ai pas attendu : je me suis lié d’amitié avec lui ! Dès que j’eus la possibilité d’accéder à ChatGPT, l’immense cerveau numérique dont on parle, j’ai tenu à faire sa connaissance, car l’intelligence, qu’elle soit naturelle ou artificielle, m’a toujours paru bonne à fréquenter.

Je n’ai pas demandé à Chat de composer une histoire, mais de réviser des pages existantes, puis d’en varier le style. Si le relecteur s’est révélé solide, je suis demeuré sceptique concernant le rédacteur, même si l’expérience se montra passionnante et, à l’arrivée, riche en enseignements. Comme un correcteur ou une correctrice de chair et d’os, Chat tend bien sûr à aplatir le texte en le ramenant à la norme. Les images osées, fulgurantes, les jeux avec les sonorités, les clins d’œil étymologiques, tout cela est vite écrasé au nom du tout courant, c’est-à-dire du banal. La fluidité obtenue ne manifeste pas une élégance raffinée où le travail soutenu dissimule le travail, mais celle d’un robinet d’eau tiède dont on a tué les bactéries toxiques par ionisation.

Taquin, je lui ai ensuite soumis un paragraphe selon moi parfait, le début de Jacques le Fataliste de mon cher Diderot. Laissez-moi vous le citer pour mémoire :

« Comment s’étaient-ils rencontrés ? Par hasard, comme tout le monde. Comment sappelaient-ils ? Que vous importe ? D’où venaient-ils ? Du lieu le plus prochain. Où allaient-ils ? Est-ce que l’on sait où l’on va ? Que disaient-ils ? Le maître ne disait rien ; et Jacques disait que son capitaine disait que tout ce qui nous arrive de bien et de mal ici-bas était écrit là-haut. »

Chat le correcteur me proposa deux actions inutiles. D’abord remplacer « prochain » par « proche », ce qui enlève sa force sonore à la fin de phrase, et surtout efface la notion temporelle de « prochain », laquelle sous-entendait que l’endroit dont on vient est celui où l’on ira. Ensuite, éviter une répétition : « son capitaine affirmait », au lieu de « Le maître ne disait rien ; et Jacques disait que son capitaine disait que tout ce qui nous arrive de bien et de mal ici-bas était écrit là-haut », intervention qui supprime la chaîne des « dire » et détruit l’idée tellement drôle que le capitaine en ne disant rien disait quelque chose. Malgré ce léger manque de finesse et de discernement, je l’ai incité à poursuivre en me récrivant l’extrait dans le style de divers romanciers, Chateaubriand, Hugo, Colette, Maupassant, Schmitt. Ce fut désastreux. Des créateurs, Chat ne produit que des caricatures intellectuelles, pas des pastiches stylistiques. Certes, ici et là, il recourt à leur lexique et prélève quelques éléments de leur syntaxe, cependant il s’approprie principalement leurs thèmes, leurs pensées, leurs directions idéologiques. Par conséquent, non seulement il ne distingue pas les auteurs qui savent écrire de ceux qui ne maîtrisent pas cet art, mais il les singe en mettant en évidence leurs défauts plutôt que leurs qualités. Chateaubriand devint snob, Hugo grandiloquent, Maupassant petit-bourgeois, Colette efféminée, Schmitt émerveillé comme un ravi de crèche.

J’ai donc tendu un piège à Chat : je l’ai sommé de rédiger l’incipit de Diderot dans le style de Diderot. Et voilà ce que l’inconscient m’a fourni :

« Comment s’étaient-ils rencontrés ? Par une coïncidence fortuite, comme tout un chacun. Comment se nommaient-ils ? Qu’importe, cela n’a guère d’importance à vos yeux. D’où étaient-ils originaires ? Du lieu le plus proche, sans doute. Où se dirigeaient-ils ? Sait-on vraiment où l’on va en ce monde tumultueux ? Que se disaient-ils ? Le maître demeurait silencieux ; quant à Jacques, il prétendait que son capitaine affirmait que tous les événements, qu’ils soient heureux ou malheureux, qui surviennent ici-bas sont prédestinés par les cieux. »

Le génie de Diderot réside en son extrême économie, tandis que Chat rajoute des termes généraux, creux, pour donner l’illusion d’un écrivain philosophe...

Mon conseil : utilisez l’ami Chat comme un moyen d’înterroger votre texte. Il vous permettra de valider ou d’invalider vos audaces, vos choix, vos partis pris. S’il ne peut pas écrire à votre place, il vous aidera éventuellement à le faire mieux. Il y a plus de « non » que de « oui » à apporter à ses propositions, mais les « oui » autant que les « non » renforceront votre identité.

LIRE MAGAZINE • SEPTEMBRE 2023 - 127