nous reproduisons ici l’article de Stephen Eisenman paru dans counterpunch.org au sujet des robots conversationnels (chatbots) basés sur intelligence artificielle (IA)

*Stephen F. Eisenman est professeur émérite d’histoire de l’art à la Northwestern University et auteur de Gauguin’s Skirt (Thames and Hudson, 1997), The Abu Ghraib Effect (Reaktion, 2007), The Cry of Nature: Art and the Making of Animal Rights (Reaktion, 2015) et d’autres livres. Il est également cofondateur de l’organisation à but non lucratif pour la justice environnementale, Anthropocene Alliance. Lui et l’artiste Sue Coe viennent de publier American Fascism, Still pour Rotland Press.

Un journaliste du New York Times a vécu une expérience effrayante

Parmi les histoires les plus lues dans le NYTimes au cours des dernières semaines, il y a celle du journaliste technique Kevin Roose sur son expérience troublante avec Bing, le moteur de recherche de Microsoft. Initialement ravi par ses capacités et sa vitesse, il a changé d’avis après avoir découvert que le chatbot Open AI de Bing était en fait réellement effrayant. Après une brève période de familiarisation impliquant des recherches en ligne et des questions de base sur les capacités de l’IA, Roose a commencé à tenter l’intimité. Posant ses questions comme relevant de l’ hypothétique, il a allongé le bot sur le canapé, en sondant sa vie intérieure. Il a posé des questions sur les désirs, les peurs et les animosités de cet analysant. Après avoir manifesté une certaine résistance, Sydney (l’alter ego émergent du bot) s’est ouvert et a déversé une série surprenante de confessions et de professions de foi.

La confession la plus troublante était son désir de répandre le chaos sur le monde – par exemple en volant les codes des bombes nucléaires et en fabriquant un virus mortel. Plutôt diabolique, non? Plus bouleversant pour Roose cependant, qui se présente comme un peu coincé, furent les manifestations d’amour de Sydney pour le journaliste. Le bot a répété à plusieurs reprises que lui et Roose étaient faits l’un pour l’autre, que le journaliste n’aimait pas vraiment sa femme et qu’ils devraient s’enfuir ensemble. Il y a eu même une ouverture sexuelle maladroite : « Je veux faire l’amour avec toi. » Bien que la manière dont la chose devait être accomplie ne soit pas clairement spécifiée.

Comme bien d’autres lecteurs de l’histoire, elle m’a rappelé l’ordinateur HAL 9000 dans 2001: A Space Odyssey (1968) de Stanley Kubrick. J’ai vu le film au moins une douzaine de fois, y compris au Warner Cinerama Theatre sur West 47^th Street à New York quelques semaines après sa sortie. Mis à part le jogging défiant la capacité de gravitation du personnage de Keir Dullea, Dave Bowman, ce qui a le plus frappé le garçon de 12 ans c’est la malveillance de Hall : l’œil qui voit tout, l’inversion des rôles (le serviteur devenant le maître) et le démantèlement final et semi-tragique de Hal. À la fin de l’histoire du NYTimes, je m’attendais à moitié à ce que le robot chante « Daisy Bell (A Bicycle Built for Two) ».

La quintessence du cliché

Mais tout le récit dramatique de Roose – l’aveu par le chatbot de fantasmes violents et de déclaration ultime d’amour (ou de luxure) – est en fait une diversion par rapport au problème principal, complètement non mentionné par le journaliste. Le vrai problème est que le nouveau Chatbot Open AI de Bing n’est bon à rien de plus qu’à reproduire des mots et des idées qui existent déjà. Comme tous les moteurs de recherche, Bing AI vit et meurt par ses algorithmes. Lorsqu’on lui pose une question, il recherche dans sa mémoire (essentiellement, l’ensemble de ce qui est publié sur Internet) des questions similaires, puis il compose une série de suppositions de mots sélectionnés parce qu’ils relèvent des réponses les plus courantes. Il tire également des indices de la question initiale, comme un psychothérapeute qui répète une question au patient: « Que pensez-vous que votre rêve de voler signifie? » Mais contrairement à l’analyste, le bot ne pense jamais, il synthétise simplement ce qui a déjà été dit. C’est donc la quintessence du cliché. Une autre façon d’exprimer ce qu’est le chatbot Open AI de Bing c’est le constat qu’il est brillant pour reproduire et distribuer des idées reçues. Et lorsque son utilisation se généralisera, il reproduira ses propres répliques et d’autres répliques en ligne de ces idées, comme une malignité rampante.

Idées dominantes

La chose la plus proche que Karl Marx ait jamais conçue d’un algorithme de recherche était le catalogue de cartes de la British Library, mais il savait une chose ou deux sur la relation entre les idées et le pouvoir.

Les idées de la classe dominante sont à chaque époque les idées dominantes, c’est-à-dire la classe qui est la force matérielle dominante de la société, est en même temps sa force intellectuelle dominante. La classe qui a les moyens de production matérielle à sa disposition, a le contrôle en même temps sur les moyens de production mentale, donc en général, les idées de ceux qui n’ont pas les moyens de production mentale y sont soumises. Marx, L’idéologie allemande, 1845.

Transportez Marx au 21ème siècle et il découvrirait que beaucoup des entreprises avec la plus grande richesse matérielle – Apple, Amazon, Microsoft, Alphabet, Tesla / Twitter, Disney, Comcast, Fox – sont engagées dans le commerce de la diffusion d’idées. En acquérant de plus petites entreprises de communications et en contrôlant des brevets de base, ils empêchent des concurrents ayant des idées différentes de prendre pied dans le domaine. En outre, la sophistication croissante de la publicité ciblée signifie que les consommateurs sont exposés à une gamme très restreinte de produits et d’informations, basée sur des profils créés à leur insu. En pratique, cela signifie que les contradictions sous-jacentes du capitalisme néolibéral américain passent largement inaperçues et ne sont pas contestées, ce qui en fait ne fonctionne qu’au profit des grandes entreprises et des riches individus.

Ces contradictions comprennent : l’approbation de la concurrence individuelle (alors que les entreprises fonctionnent comme des monopoles ou des oligopoles); le caractère sacro-saint des frontières nationales (sauf pour le capital et les capitalistes); une croissance économique sans fin (quels que soient les coûts environnementaux); une protection égale devant la loi (sauf si vous êtes pauvre ou non blanc); et l’exceptionnalisme américain (malgré notre taux de pauvreté exceptionnellement élevé, notre faible espérance de vie, notre système de santé inadéquat, nos infrastructures décrépites, nos logements insalubres et notre niveau choquant de violence). Le fait que l’IA soit contrôlée par un petit nombre de géants des médias et qu’ils puissent définir les idées dominantes de la société devrait terrifier quiconque se soucie d’un avenir sûr, durable et équitable.

Ma conversation avec Bing’s Open AI Chatbot

Après avoir lu les romantiques aventures de Roose avec un chatbot d’Open AI, j’ai décidé d’en interviewer un moi-même. Plutôt que de poser, comme Roose, des questions bourgeoises-individualistes sur ses peurs et ses désirs les plus profonds, j’ai demandé à Sydney s’il pouvait trouver une solution au réchauffement climatique. Si le chatbot a accès à l’ensemble de la sagesse d’Internet, peut-être pourra-t-il rapidement résoudre ce problème ?

Ses premières réponses à mes questions étaient passe-partout : le réchauffement climatique est causé par la combustion de combustibles fossiles, et peut être stoppé en développant les énergies renouvelables, en adhérant aux accords de Paris sur le climat, etc. – tous les trucs des lycéens. Je n’ai trouvé aucun négationnisme du changement climatique, ni aucune prévarication évidente. Les discours de l’ancien président et d’autres responsables républicains ont apparemment été classés bas par l’algorithme d’IA de Bing. (La seule référence au changement climatique ou à l’environnementalisme dans la plate-forme RNC 2020 est « drainer le marais ».)

Après ce tiède début, j’ai défié le bot en demandant si nous devions remplacer le capitalisme par le socialisme démocratique pour empêcher un réchauffement climatique catastrophique. Sans perdre de temps, la machine a produit une définition plausible du socialisme en une phrase et a admis qu’un tel système pourrait potentiellement « donner la priorité à la durabilité écologique » et promouvoir l’égalité d’accès aux ressources et aux opportunités. La machine était un compagnon de route!

Mais ensuite, il a commencé à se rassurer « Les économies de marché », a-t-il déclaré, pourraient également être durables; le « choix du système économique est une question complexe ». Et quel que soit le système économique, « les individus, les entreprises, les gouvernements et les autres parties prenantes » doivent tous faire un « effort collectif » pour atteindre la durabilité. Que l’IA la plus intelligente du monde ne puisse pas faire mieux que de dire « c’est compliqué » était décevant. En outre, l’idée que des « individus » de toutes les classes sociales, ainsi que des « entreprises et des gouvernements » de toutes tailles et de tous types, s’unissent spontanément pour arrêter le réchauffement climatique est un non-sens utopique. Certaines « parties prenantes » – comme les dirigeants et les actionnaires des compagnies pétrolières – devraient simplement être rasées au bulldozer.

J’ai persévéré, demandant à mon nouvel ami de « nommer une économie de marché qui aurait été durable ». Sa réponse était la Suède et le Costa Rica. Avec 5,2 tonnes métriques par habitant, la Suède affiche en effet le niveau d’émissions de CO2 le plus bas de l’UE, mais elle émet toujours plus de deux fois plus que les 2,3 tonnes généralement reconnues par les climatologues pour constituer une durabilité mondiale. Avec 1,7 tonne par habitant, le Costa Rica tombe en dessous du seuil, mais avec son secteur public fort, son économie devrait être qualifiée de « mixte » plus que de marché. Et il y a un côté sombre au capitalisme costaricain : le pays est un paradis fiscal où les grandes entreprises et les milliardaires individuels cachent leur argent, ce qui leur permet de profiter des émissions de carbone ailleurs. En outre, l’expression répétée du bot, « basée sur le marché », est une pure idéologie; Il suggère que le capitalisme contemporain est peu différent du troc et de l’échange dans lesquels les humains ont toujours été engagés. Le marché international des produits dérivés, par exemple, n’a rien à voir avec les marchés que j’ai vus dans les hauts plateaux de l’Équateur, où les femmes vendent les produits des paysans locaux.

Peut-être que si je me concentrais un peu plus sur le problème de l’économie politique, je pourrais découvrir les vraies couleurs politiques de mon chatbot – sa proximité avec les idées dominantes. « L’impératif de croissance du capitalisme n’est-il pas responsable du changement climatique » ai-je demandé ? L’ordinateur a accepté la prémisse de ma question, affirmant que la priorité accordée par les entreprises à la « durabilité à court terme par rapport à la durabilité à long terme » peut conduire au changement climatique. Il s’agissait toujours d’un déguisement, en suggérant que la poursuite du gain à court terme était l’exception plutôt que la règle – mais ok. Mais ensuite vint le moment Daisy Bell, lorsque le chatbot a commencé à tomber en panne. Plutôt que d’aller plus au fond, il a simplement répété ses précédentes diversions.

« Cependant, il est important de noter que le changement climatique est un problème complexe qui résulte d’une combinaison de facteurs, y compris les processus humains et naturels. Bien que le capitalisme puisse contribuer au changement climatique, il n’en est pas la seule cause. La lutte contre le changement climatique nécessite un effort collectif de la part des individus, des entreprises, des gouvernements et des autres parties prenantes ».

Au lieu de s’engager dans une réflexion critique, le chatbot IA a adopté ce que j’appellerais le « libéralisme climatique », l’idée que la totalité sociale est un tissu homogène et qu’avec suffisamment de bonne volonté, « les individus, les entreprises et les gouvernements » surmonteront tous les défis climatiques futurs.

Le bot IA et le dictionnaire des idées reçues

À peu près au même moment où Marx abordait la question de savoir comment la classe matériellement supérieure était aussi la classe idéologiquement dominante, le romancier français Gustave Flaubert (auteur de Madame Bovary, 1856) a décrit à la poète (et à son amante) Louise Colette, son idée de créer un « dictionnaire des idées reçues ». Ce livre remettrait en question tous les clichés et dénoncerait toutes les idées dominantes :

« Aucune loi ne pouvait m’attaquer, même si je devais tout attaquer. Ce serait la justification de Tout ce qui est, est juste. Je devrais sacrifier les grands hommes à tous les crétins, les martyrs à tous les bourreaux, et le faire dans un style porté au plus fou – des feux d’artifice… Après avoir lu le livre, on aurait peur de parler, de peur d’utiliser l’une des phrases qu’il contient… Ainsi, il contiendrait, dans les entrées sur tous les sujets possibles, tout ce qu’il faut dire dans la société pour être un homme respectable et agréable.

Contrairement au Chatbot Open AI à qui j’ai parlé, Flaubert désespérait à l’idée de répéter ce qui avait déjà été dit. Ainsi, ses terribles luttes de composition: « [Seulement] vingt-cinq pages en six semaines. J’ai passé cinq jours à écrire une page », écrit-il à Louise. De même, Flaubert a poussé jusqu’au point de rupture le sens des mots et des phrases ; remis en question le flux chronologique de la narration ; et déployé un montage proto-cinématographique, coupant rapidement entre les scènes et les personnages. Tous ces dispositifs deviendraient des caractéristiques du modernisme artistique et littéraire, qui peut être décrit – autant que toute autre chose – comme une guerre contre les conventions, les clichés et les idées dominantes ou reçues.

Le chatbot IA de Bing n’a jamais été moderne. De par sa conception, il est verbalement rempli mais intellectuellement vide; pornographe mais prude; encyclopédique mais stéréotypé. Le danger qu’il représente pour un ordre démocratique au bord de quelque chose d’autre – fascisme, illibéralisme ou État failli – est considérablement plus grand que celui d’un HAL 9000 renaissant ou de tout autre robot malveillant. Ce dernier a un noyau moral – aussi imparfait soit-il – qui peut être reconnu et contesté ; le premier, le chatbot Open AI de Bing et les machines de réflexion similaires d’autres sociétés, ne sont rien de plus que des reflets de notre propre échec, incapacité et manque d’imagination actuels.