Une base de données pour les gouverner tous: le cartel du contenu invisible qui mine la liberté d’expression en ligne

Une base de données pour les gouverner tous: le cartel du contenu invisible qui mine la liberté d'expression en ligne

Chaque année, des millions d'images, de vidéos et de publications qui contiendraient du contenu terroriste ou extrémiste violent sont supprimées des plateformes de médias sociaux comme YouTube, Facebook ou Twitter. Le Forum Internet mondial de lutte contre le terrorisme (GIFCT), une initiative menée par l’industrie qui vise à «empêcher les terroristes et les extrémistes violents d’exploiter les plates-formes numériques» , est l’un des principaux moteurs de ces suppressions . Et malheureusement, GIFCT a le potentiel d'avoir un impact négatif massif (et disproportionné) sur la liberté d'expression de certaines communautés.

Les plates-formes de médias sociaux ont longtemps été aux prises avec le problème des contenus extrémistes ou violents sur leurs plates-formes. Les plates-formes peuvent avoir un intérêt intrinsèque à offrir à leurs utilisateurs un environnement en ligne exempt de contenu désagréable, c'est pourquoi les conditions d'utilisation de la plupart des plates-formes de médias sociaux contiennent une variété de dispositions relatives à la parole. Au cours de la dernière décennie, cependant, les plateformes de médias sociaux ont également subi des pressions croissantes de la part des gouvernements du monde entier pour répondre aux contenus violents et extrémistes sur leurs plateformes. Stimulés par les attentats terroristes de Paris et de Bruxelles en 2015 et 2016, respectivement, et guidés par la croyance à courte vue que la censure est un outil efficace contre l'extrémisme, les gouvernements se sont tournés vers la modération des contenus comme moyen de réparer le terrorisme international.

La modération du contenu commercial est le processus par lequel les plates-formes – plus particulièrement, les réviseurs humains ou, très souvent, les machines – prennent des décisions sur le contenu qui peut et ne peut pas figurer sur leurs sites, en fonction de leurs propres conditions d'utilisation, des «normes communautaires» ou autres règles.

Pendant la pandémie de coronavirus, les entreprises de médias sociaux ont été moins en mesure d'utiliser des critiques de contenu humain, et sont à la place s'appuyant de plus en plus sur des algorithmes d'apprentissage automatique pour modérer le contenu et le signaler. Ces algorithmes, qui ne sont en réalité qu'un ensemble d'instructions pour faire quelque chose, sont alimentés par un ensemble initial de règles et de nombreuses données d'apprentissage dans l'espoir qu'ils apprendront à identifier un contenu similaire.Mais la parole humaine est un phénomène social complexe et hautement contextuel. -dépendant; inévitablement, les algorithmes de modération de contenu font des erreurs . Pire encore, parce que les algorithmes d'apprentissage automatique fonctionnent généralement comme des boîtes noires qui n'expliquent pas comment ils sont arrivés à une décision, et comme les entreprises ne partagent généralement ni les hypothèses de base qui sous-tendent leur technologie ni leurs ensembles de données de formation, les tiers ne peuvent pas faire grand-chose. pour éviter ces erreurs.

Ce problème est devenu plus aigu avec l'introduction de bases de données de hachage pour le suivi et la suppression du contenu extrémiste. Les hachages sont des «empreintes digitales» numériques de contenu que les entreprises utilisent pour identifier et supprimer du contenu de leurs plateformes. Ils sont essentiellement uniques et permettent d'identifier facilement un contenu spécifique. Lorsqu'une image est identifiée comme «contenu terroriste», elle est étiquetée avec un hachage et entrée dans une base de données, ce qui permet d'identifier facilement tout téléchargement futur de la même image.

C'est exactement ce que vise l'initiative GIFCT: Partager une énorme base de données de contenus prétendument «terroristes», apportée volontairement par des entreprises, parmi les membres de sa coalition. La base de données recueille des «hashes», ou empreintes digitales uniques, de contenus présumés «terroristes» ou extrémistes et violents, plutôt que le contenu lui-même. Les membres GIFCT peuvent ensuite utiliser la base de données pour vérifier en temps réel si le contenu que les utilisateurs souhaitent télécharger correspond au contenu de la base de données. Bien que cela ressemble à une approche efficace de la tâche difficile d'identifier et de supprimer correctement le contenu terroriste, cela signifie également qu'une seule base de données pourrait être utilisée pour déterminer ce qui est un discours autorisé et ce qui est supprimé – sur l'ensemble de l'Internet.

D'innombrables exemples ont prouvé qu'il est très difficile pour les critiques humains – et impossible pour les algorithmes – de toujours comprendre correctement les nuances de l'activisme, du contre-discours et du contenu extrémiste lui-même. Le résultat est que de nombreux exemples de discours légitimes sont à tort catégorisés comme contenu terroriste et supprimés des plateformes de médias sociaux. En raison de la prolifération de la base de données GIFCT, toute classification erronée d'une vidéo, d'une image ou d'un message comme contenu «  terroriste '' fait écho sur les plateformes de médias sociaux, portant atteinte au droit des utilisateurs à la libre expression sur plusieurs plateformes à la fois. Et cela, à son tour, peut avoir des effets catastrophiques sur Internet en tant qu'espace de mémoire et de documentation . Les systèmes de modération brutale du contenu peuvent conduire à la suppression d'informations vitales non disponibles ailleurs, telles que les preuves de violations des droits de l'homme ou de crimes de guerre. Par exemple, les archives syriennes , une ONG dédiée à la collecte, au partage et à l'archivage des preuves des atrocités commises pendant la guerre syrienne, rapporte que des centaines de milliers de vidéos d'atrocités de guerre sont supprimées par YouTube chaque année. L'Archive estime que les taux de réduction des vidéos documentant les violations des droits humains syriens sont d'environ 13%, un nombre qui a presque doublé pour atteindre 20% à la suite de la crise des coronavirus. Comme indiqué, de nombreuses plates-formes de médias sociaux, y compris YouTube , utilisent plus fortement que d'habitude des outils algorithmiques de modération de contenu, ce qui entraîne une augmentation des retraits . Si, ou quand, YouTube contribue à des hachages de contenu qui dépeint des violations des droits humains syriens, mais a été étiqueté comme contenu «  terroriste '' par les algorithmes de YouTube dans la base de données GIFCT, ce contenu pourrait être supprimé à jamais sur plusieurs plates-formes.

Le cartel du contenu GIFCT risque non seulement de perdre une documentation précieuse sur les droits de l'homme, mais il a également un effet négatif disproportionné sur certaines communautés. Définir le «terrorisme» est une entreprise intrinsèquement politique et rarement stable dans le temps et dans l'espace. En l'absence d'accord international sur ce qui constitue exactement un contenu terroriste, voire violent et extrémiste, les entreprises consultent la liste des Nations Unies des organisations terroristes désignées ou la liste des organisations terroristes étrangères du Département d'État américain. Mais ces listes sont principalement constituées d’organisations islamistes et sont largement aveugles, par exemple, aux groupes extrémistes de droite. Cela signifie que le fardeau des mauvaises classifications de GIFCT pèse de manière disproportionnée sur les communautés musulmanes et arabes et met en évidence la fine ligne entre une initiative efficace pour lutter contre le pire contenu en ligne et une censure radicale.

Depuis les attaques contre deux mosquées à Christchurch en mars 2019, le GIFCT a été plus important que jamais. En réponse à la fusillade, au cours de laquelle 51 personnes ont été tuées, le président français Emmanuel Macron et la Première ministre néo-zélandaise Jacinda Ardern ont lancé l'appel de Christchurch. Cette initiative , qui vise à éliminer les contenus violents et extrémistes en ligne, prévoit un rôle de premier plan pour GIFCT. À la suite de cette focalisation renouvelée sur le GIFCT, l'initiative a annoncé qu'elle évoluerait vers une organisation indépendante, y compris un nouveau Comité consultatif indépendant (CCI) pour représenter les voix de la société civile, du gouvernement et des entités intergouvernementales.

Cependant, le Conseil d’exploitation, où réside le pouvoir réel, reste entre les mains de l’industrie. Et le Comité consultatif indépendant est déjà gravement défectueux, comme une coalition d'organisations de défense des libertés civiles l'a noté à plusieurs reprises .

Par exemple, les gouvernements participant à l'IAC sont susceptibles de tirer parti de leur position pour influencer les politiques de modération du contenu des entreprises et façonner des définitions du contenu terroriste qui correspondent à leurs intérêts, loin du public et des yeux et donc manquant de responsabilité. L'inclusion des gouvernements dans l'IAC pourrait également nuire à la participation significative des organisations de la société civile, car beaucoup sont financièrement dépendantes des gouvernements, ou pourraient faire face à des menaces de représailles pour avoir critiqué les responsables gouvernementaux dans ce forum. Tant que la société civile sera traitée après coup, le GIFCT ne sera jamais un forum multipartite efficace. Les failles du GIFCT et leurs effets dévastateurs sur la liberté d'expression, les droits de l'homme et la préservation des preuves de crimes de guerre sont connus depuis des années . Les organisations de la société civile ont tenté d'aider à réformer l'organisation, mais le GIFCT et son nouveau directeur exécutif sont restés insensibles. Ce qui conduit au dernier problème avec l'IAC: les principales ONG choisissent de ne pas participer du tout.

Où cela laisse GIFCT et les millions d'internautes que ses politiques impactent? Pas dans un bon endroit. Sans une représentation et une implication significatives de la société civile, une transparence totale et des mécanismes de responsabilisation efficaces, le GIFCT risque de devenir un autre forum dirigé par l'industrie qui promet une pluralité de parties prenantes, mais qui ne fournit guère plus qu'une vitrine sanctionnée par le gouvernement.


Cet article est une traduction automatique d’un post publié sur le site d’Electronic Frontier Foundation à l’URL https://www.eff.org/deeplinks/2020/08/one-database-rule-them-all-invisible-content-cartel-undermines-freedom-1 le Thu, 27 Aug 2020 16:43:28 +0000.