La modération automatisée doit être temporaire, transparente et facilement susceptible de recours

Pour la plupart d'entre nous, les médias sociaux n'ont jamais été aussi cruciaux qu'ils ne le sont actuellement: ils nous tiennent informés et connectés pendant un moment sans précédent. Les gens ont utilisé des plates-formes majeures pour toutes sortes de choses, du suivi et de la publication de nouvelles, à l'organisation de l'aide – comme la coordination des dons de masques à travers les frontières internationales – au partage de conseils sur le travail à domicile et, bien sûr, le pur divertissement .

Dans le même temps, les problèmes de modération du contenu auxquels sont confrontées les plateformes de médias sociaux n'ont pas disparu – et, dans certains cas, ont été exacerbés par la pandémie. Au cours des dernières semaines, YouTube , Twitter et Facebook ont tous fait des déclarations publiques sur leurs stratégies de modération en ce moment. Bien qu'ils diffèrent dans les détails, ils ont tous un élément clé en commun: la dépendance accrue à l'égard des outils automatisés.

En mettant de côté les justifications de cette décision – en particulier la crainte probable que permettre aux modérateurs de contenu de faire ce travail à domicile puisse poser des défis particuliers à la vie privée des utilisateurs et à la santé mentale des modérateurs – cela posera inévitablement des problèmes d'expression en ligne. La technologie automatisée ne fonctionne pas à grande échelle; il ne peut pas lire les nuances dans le discours comme les humains, et pour certaines langues, il fonctionne à peine . Au fil des ans, nous avons vu l'utilisation de l'automatisation entraîner de nombreux retraits injustifiés . En bref: l'automatisation n'est pas un remplacement suffisant pour avoir un humain dans la boucle.

Et c'est un problème, peut-être maintenant plus que jamais alors que beaucoup d'entre nous ont peu de débouchés alternatifs pour parler, éduquer et apprendre. Les conférences se déplacent en ligne, les écoles s'appuient sur des plateformes en ligne et les individus se connectent à des vidéos pour tout apprendre, du yoga au jardinage. De même, les plates-formes continuent de fournir un espace pour des informations vitales, qu'il s'agisse de messages des gouvernements aux personnes ou de la documentation des violations des droits de l'homme.

Il est important d'accorder du crédit là où il est dû. Dans leurs annonces, YouTube et Twitter ont tous deux reconnu les lacunes de l'intelligence artificielle et en tiennent compte lorsqu'ils modèrent la parole. YouTube n'émettra pas de grèves sur le contenu vidéo, sauf dans les cas où ils ont «une confiance élevée» que cela viole leurs règles, et Twitter n'émettra que des suspensions temporaires – pas des interdictions permanentes – pour le moment. Pour sa part, Facebook a reconnu qu'il compterait sur des employés à temps plein pour modérer certains types de contenu, comme le terrorisme.

Ces mesures temporaires aideront à atténuer l'inévitable surcensure qui découle de l'utilisation d'outils automatisés. Mais l'histoire suggère que les protocoles adoptés en temps de crise persistent souvent lorsque la crise est terminée. Les plateformes de médias sociaux devraient s'engager publiquement, maintenant, à restaurer et à élargir l'examen humain dès que la crise aura cessé. D'ici là, la transparence significative, la notification et les processus d'appel robustes prévus dans les Principes de Santa Clara seront plus importants que jamais.

Avis et appels : nous savons que le système de modération du contenu est défectueux et qu'il va empirer avant de s'améliorer. Alors plus que jamais, les utilisateurs ont besoin d'un moyen de corriger les erreurs, rapidement et équitablement. Cela commence par un avis clair et détaillé des raisons pour lesquelles le contenu est retiré, combiné à un moyen simple et rationalisé de contester et d'inverser les décisions de retrait inappropriées.

Transparence : le processus d'appel le plus robuste ne servira à rien aux utilisateurs s'ils ne savent pas pourquoi leur contenu est supprimé. De plus, sans bonnes données, les utilisateurs et les chercheurs ne peuvent pas vérifier si les retraits ont été justes, impartiaux, proportionnels et respectueux des droits des utilisateurs, même soumis aux exigences de la crise. Ces données devraient inclure le nombre de messages supprimés et les comptes suspendus de manière permanente ou temporaire, pour quelle raison, à la demande de qui .

Les principes de Santa Clara fournissent un ensemble de normes de base auxquelles toutes les entreprises doivent adhérer. Mais à mesure que les entreprises se tournent vers l'automatisation, elles pourraient ne pas suffire. C'est pourquoi, au cours des prochains mois, nous allons engager la société civile et le public dans une série de consultations pour élargir et adapter ces principes. Surveillez cet espace pour en savoir plus sur ce processus.

Enfin, les plates-formes et les décideurs opérant dans l'UE doivent se rappeler que l' utilisation de l'automatisation pour la modération du contenu peut compromettre la confidentialité des utilisateurs. Souvent, la prise de décision automatisée sera basée sur le traitement des données personnelles des utilisateurs. Comme indiqué, cependant, les systèmes de suppression de contenu automatisés ne comprennent pas le contexte, sont notoirement inexacts et sujets à un surblocage. Le RGPD donne aux utilisateurs le droit de ne pas être soumis à des décisions importantes qui reposent uniquement sur un traitement automatisé des données ( article 22 ). Bien que ce droit ne soit pas absolu, il nécessite de protéger les attentes et les libertés des utilisateurs.