Entre intelligence artificielle et exploitation de travailleurs à bas salaire, la remarquable enquête des cinéastes allemands Hans Block et Moritz Riesewieck, auteurs du documentaire les Nettoyeurs du Web (Blue Ice Docs, 2018), révèle les pratiques discutables des grands réseaux sociaux.
* Sébastien Elka est membre du comité de rédaction de Progressistes.
En illustration, Moritz Riesewieck et Hans Block, auteurs du documentaire les Nettoyeurs du Web.

Progressistes : Comment est venue l’idée de faire ce film?
Hans Block : Le déclencheur a été un message atroce sur Facebook le 23mars 2013 : des milliers d’utilisateurs dans le monde ont découvert dans leur flux d’actualité la vidéo montrant un homme âgé en train de violer une jeune fille. Avant d’être retirée, la vidéo avait été partagée 16000 fois et obtenu 4000 likes. Un scandale mondial qui a mis en évidence la nécessité indiscutable de ne pas laisser ce genre de contenus apparaître plus souvent sur les réseaux sociaux, alors même qu’ils sont sans doute très nombreux à être mis en ligne. Alors nous nous sommes demandé comment était organisé le processus de nettoyage. Est-ce qu’un logiciel de reconnaissance d’image faisait ce travail ? un algorithme? une intelligence artificielle ?
Moritz Riesewieck : La spécialiste des médias Sarah T. Roberts, experte universitaire de la modération de contenu, nous a confié qu’il y avait des gens derrière ces décisions et que l’on pouvait supposer que ce travail était délocalisé dans des pays en développement. Alors nous avons voulu entrer en contact avec les travailleurs chargés de cette tâche, intéressante pour nous à plusieurs titres. D’abord parce que nous imaginions ce travail comme extrêmement difficile, ensuite parce que nous avons compris que ces travailleurs déterminent ce qui peut être vu ou non dans notre univers numérique. C’est pourquoi en 2015 nous avons commencé à travailler à ce documentaire.

Progressistes : Mark Zuckerberg et les autres patrons de réseaux sociaux répètent à l’envi qu’ils veulent rendre le monde plus ouvert et plus connecté. Ils ont dû accueillir votre initiative à bras ouverts…
M.R. : Bien au contraire! En menant l’enquête sur les coulisses des réseaux sociaux, nous avons découvert une industrie opaque, avec un code du silence et des pratiques plus proches de ce qu’on s’attend à trouver dans un État policier que dans un monde ouvert et connecté.
H.B. : Dès le départ, nous avons cherché à rencontrer des dirigeants des grands médias sociaux afin de connaître leur point de vue sur les enjeux de modération. Nous avons contacté des douzaines de personnes… et jamais reçu la moindre réponse. Certains anciens représentants de Google, YouTube et Twitter ont accepté de nous parler, et la plupart nous ont dit regretter d’avoir aidé à mettre en place des technologies aux effets si terribles. Mais impossible de faire parler un employé actuel sur ce qui se passe en interne. Nous avons même envoyé le montage final du film à toutes les principales entreprises avant de le diffuser, en leur demandant une prise de position publique et en leur proposant d’inclure cette déclaration dans le film. Aucune réponse.
M.R. : En fait, il y a bien eu une réaction… lorsque YouTube a supprimé la bande-annonce de notre film au prétexte qu’il « violait le code de conduite de la communauté »… Et Facebook a aussi essayé plusieurs fois d’empêcher la mise en ligne de la bande-annonce sur sa plate-forme.
H.B. : Toute la chaîne de sous-traitance est extrêmement secrète. Les sous-traitants utilisent des noms de code pour parler des entreprises pour lesquelles ils travaillent. Ce que nous avons découvert aux Philippines est que ces travailleurs ne sont jamais autorisés à parler aux étrangers ou à dire qu’ils travaillent pour Face book, sous peine d’être virés. Même pas sur leur CV. Ils peuvent juste dire qu’ils ont travaillé pour le Honey-badger Project (Projet « pot de miel »). Leurs comptes sur les réseaux sociaux sont contrôlés et surveillés par des entreprises de sécurité privées ; en cas de faux pas, ils peuvent subir des représailles. Entrer en contact avec eux a été le principal défi de ce film. Ce n’est qu’après une longue période sur le terrain, grâce à des étudiants locaux, que nous avons pu construire une relation de confiance et amener certains de ces modérateurs de contenu à devenir les protagonistes de notre film.

Progressistes : Et vous avez fait des découvertes. Lesquelles ?
H.B. : D’abord, nous avons été surpris de constater combien beaucoup d’entre eux sont fiers de faire ce travail. « Sans nous, les réseaux sociaux seraient un sacré foutoir », nous ont ils dit. Mais d’un autre côté beaucoup d’entre eux souffrent en silence de l’impact que ce travail a sur leur santé mentale. Les images, souvent insoutenables, s’enkystent dans leur mémoire et leur causent toutes sortes de troubles : perte d’appétit ou de libido, anxiété, alcoolisme, dépression, suicide. Ils paient un prix élevé pour que nous ayons des réseaux sociaux « fréquentables ».
M.R. : Les symptômes dont souffrent les modérateurs sont similaires aux troubles de stress post-traumatique que présentent des soldats au retour de zones de conflit. Ils voient des scènes de viol et autres violences sexuelles huit à dix heures par jour et n’ont plus de désir sexuel en rentrant chez eux. Après avoir vu des dizaines de décapitations, ils n’arrivent plus à faire confiance aux autres, perdent leurs relations sociales, développent des troubles du sommeil. Ils voient toutes sortes d’images de gens en train de se faire du mal, peut-on dès lors être surpris que parmi eux le taux de suicide soit élevé ? Surtout, ils n’ont contractuellement pas le droit d’en dire un mot, pas même à leurs amis ou à leurs familles. C’est terrible, car les personnes traumatisées doivent pouvoir verbaliser ce qu’elles ont vécu pour pouvoir vivre avec. Les psychologues sont formels là-dessus. Mais il y a plus. Les modérateurs doivent suivre des consignes dans lesquelles demeurent de nombreuses zones grises. Et ils n’osent pas faire remonter à leur chef tous les cas où ils ne sont pas sûrs de comprendre le contexte d’une image ou d’une vidéo et quelle consigne doit être appliquée. Alors ils s’en remettent à leur intuition. D’après plusieurs d’entre eux, il y a une règle d’or à intégrer dès la formation de trois à cinq jours qui précède leur prise de poste : « Ne pense pas trop ! ». Imaginons les conséquences pour des militants, des défenseurs des droits humains ou des minorités en lutte quand leurs vidéos sont retirées de Facebook, Youtube ou Twitter, juste parce qu’un jeune travailleur sous-payé du bout du monde n’a pas compris le contexte ni l’objectif de ce qui était posté et l’a jugé comme un contenu inapproprié.

Progressistes : Est-ce que ces plateformes développent des algorithmes d’intelligence artificielle pour automatiser ces tâches de modération?
H.B. : Jusqu’à maintenant les logiciels de reconnaissance automatique d’image ne peuvent être utilisés qu’en préfiltre. Les images montrant de la peau nue, par exemple, sont automatiquement identifiées comme suspectes, mais c’est ensuite le modérateur qui décide s’il s’agit d’une banale scène de plage, d’une campagne de prévention du cancer du sein ou de contenu pornographique. Le cas le plus problématique reste celui des actes de violence. La reconnaissance automatique détecte quand du sang ou des corps blessés apparaissent sur l’image. Mais déterminer s’il s’agit d’une image valorisant la violence ne peut se faire qu’avec le contexte du message, par la posture, par le but du message publié. Et les algorithmes ne savent pas dire s’il s’agit de Roméo et Juliette mourant sur scène dans une mare de faux sang. Cela n’empêche pas tous les grands réseaux de travailler sur le sujet. Les innombrables décisions prises chaque seconde par les modérateurs humains sont utilisées massivement pour entraîner l’intelligence artificielle à prendre automatiquement ces mêmes décisions à l’avenir. Même si cela peut paraître une bonne nouvelle face à ce travail destructeur, on peut aussi être critiques de cette perspective : en apprenant par imitation, les machines ne seront pas meilleures que ces travailleurs peu qualifiés. Elles seront sans doute pires même, car aujourd’hui les décisions des modérateurs sont contrôlées (aléatoirement et très peu). Mais quand ces décisions seront entièrement automatisées, il sera de plus en plus difficile de les comprendre et d’en tenir quelqu’un pour responsable. De plus, on peut craindre que l’examen du contexte ne soit de plus en plus superficiel : S’agit-il d’une satire? Vaut-il mieux montrer ou ne pas montrer une image ou vidéo potentiellement violente ou offensante ? À partir de quand est-ce qu’une expression peut-être gênante mais légitime devient problématique? Ces questions d’équilibre entre sécurité et liberté doivent être largement discutées dans la population, elles ne peuvent pas être simplement déléguées à la machine.

Progressistes : Ce que vous nous dites est en fait que le choix de ce qui est mis à disposition du public est conditionné par les exigences de profit à court terme des plates-formes numériques. C’est bien cela ?
H.B. : Des milliards d’utilisateurs de réseaux sociaux dans le monde n’ont pas la moindre idée de qui fait pour eux ce travail de nettoyage. Nous considérons comme acquis que nous n’ayons pas à voir des décapitations, viols ou scènes de torture. Mais nous ne savons rien des quelques milliers de jeunes travailleurs dans les pays en voie de développement qui se sacrifient pour que nous soyons « en sécurité » dans un environnement « sain » quand nous nous connectons. Et chaque jour des centaines de milliers d’images et vidéos dignes d’intérêt disparaissent sans que nous le remarquions. De nombreux individus et parfois des groupes entiers sont discrètement effacés des réseaux sociaux, avec des effets énormes sur nos démocraties. Nous devrions tous questionner le pouvoir des réseaux sociaux sur nos vies et être bien plus attentifs à l’impact qu’ils ont sur nous. Au lieu de simplement être consommateurs en ligne et permettre à une poignée d’entreprises de nous dicter leurs règles, nous devrions exiger un Internet beaucoup plus participatif et divers, sous maîtrise du public. Les réseaux sociaux piratent notre désir d’être aimés. Ils nous font rechercher sans cesse les « likes » et nous poussent à exprimer nos opinions sur tout et n’importe quoi. Des mécanismes qui nous amènent à publier toujours plus de contenus pour maintenir un flux constant de retours positifs. Il est urgent de nous désintoxiquer de ces technologies, et pour cela d’abord de prendre conscience de leurs effets sur nos esprits et comportements.
M.R. : Quinze ans après leur invention, les réseaux sociaux sont devenus aussi puissants que dangereux, capables de diviser des sociétés, d’exclure des minorités ou de promouvoir des génocides. Nous avons voulu pointer la direction que prendront nos sociétés si nous laissons la responsabilité de la sphère publique digitale à des entreprises privées qui font de l’argent sur l’outrage et l’indignation et qui, quoi qu’elles en disent, ne font pas d’efforts suffisants pour contrer correctement les abus. Et ce n’est pas un hasard si partout la tendance est à l’effacement de ce qui dérange plutôt qu’à régler les problèmes sous-jacents. Dans des pays comme la Birmanie, nous l’avons montré, les gens tendent à croire que Facebook, Instagram ou Youtube sont Internet même. Ce qui est éliminé des plateformes n’a aucune chance d’y attirer l’attention publique. Nous devons obliger ces entreprises à modifier leurs fonctionnements. Et le politique à encadrer leur pouvoir.