À la suite de la pandémie de coronavirus, de nombreuses plateformes de médias sociaux ont modifié leurs politiques de modération de contenu pour s'appuyer beaucoup plus sur des outils automatisés. Twitter , Facebook et YouTube ont tous renforcé leurs capacités d'apprentissage automatique pour examiner et identifier le contenu signalé dans le but d'assurer le bien-être de leurs équipes de modération de contenu et la confidentialité de leurs utilisateurs. La plupart des entreprises de médias sociaux comptent sur les travailleurs du soi-disant Sud mondial pour examiner les contenus signalés, généralement dans des conditions de travail précaires et sans protection adéquate contre les effets traumatiques de leur travail. Si l'objectif consistant à protéger les travailleurs contre l'exposition à ces dangers lorsqu'ils travaillent à domicile est certainement légitime, la modération automatisée des contenus pose toujours un risque majeur pour la liberté d'expression en ligne.
Méfiant des effets négatifs que le passage à une modération plus automatisée des contenus pourrait avoir sur la liberté d'expression des utilisateurs, nous avons appelé les entreprises à veiller à ce que ce changement soit temporaire. Nous avons également souligné l'importance d'une transparence significative, d'un avis et de processus d'appel solides en ces temps inhabituels exigés dans les Principes de Santa Clara .
Bien que la modération du contenu humain ne s'adapte pas et entraîne des coûts sociaux élevés, elle est indispensable. Les systèmes automatisés ne sont tout simplement pas capables d'identifier correctement le contenu de manière cohérente. La communication et les interactions humaines sont complexes, et les outils automatisés comprennent mal le contexte politique, social ou interpersonnel de la parole à tout moment. C'est pourquoi il est crucial que la modération algorithmique du contenu soit supervisée par des modérateurs humains et que les utilisateurs puissent contester les retraits. Comme le montre le rapport de transparence de Facebook d'août 2020 , l'approche de la société en matière de modération du contenu pendant la pandémie de coronavirus a fait défaut à la fois en matière de surveillance humaine et d'options de recours. Bien que les impacts à long terme ne soient pas clairs, nous soulignons certains des effets de la modération automatisée du contenu sur Facebook et Instagram, comme détaillé dans le rapport de Facebook.
Parce que ce rapport de transparence omet des informations clés, il reste largement impossible d'analyser les politiques et pratiques de modération de contenu de Facebook. Le rapport de transparence ne fait que partager des informations sur les grandes catégories dans lesquelles se situe le contenu supprimé et le nombre brut de publications supprimées, appelées et restaurées. Facebook ne fournit aucun aperçu de ses définitions de phénomènes complexes comme le discours de haine ou de la manière dont ces définitions sont opérationnalisées. Facebook est également silencieux sur les matériaux avec lesquels les modérateurs de contenu humain et machine sont formés et sur la relation exacte entre – et la supervision – des outils automatisés et des réviseurs humains.
Nous continuerons de lutter pour une réelle transparence. Sans cela, il ne peut y avoir de véritable responsabilité.
Politiques incohérentes sur Facebook et Instagram
Bien que Facebook et Instagram soient censés partager le même ensemble de politiques de contenu, il existe des différences notables dans leurs sections respectives du rapport. Le rapport, qui répertorie les données des deux derniers trimestres de 2019 et des deux premiers de 2020, ne communique pas systématiquement les données sur les mêmes catégories sur les deux plates-formes. De même, la granularité des données rapportées pour différentes catégories de contenu diffère selon la plate-forme.
Plus troublant, cependant, ce qui semble être des différences dans l'accès des utilisateurs aux mécanismes d'appel. Lorsque le contenu est supprimé sur Facebook ou Instagram, les gens ont généralement la possibilité de contester les décisions de retrait. En règle générale, lorsque le processus d'appel est lancé, le contenu supprimé est examiné par un modérateur humain et la décision de retrait peut être annulée et le contenu rétabli. Pendant la pandémie, cependant, cette option a été sérieusement limitée, les utilisateurs ayant été informés que leur appel pourrait ne pas être pris en compte. Selon le rapport de transparence, il n'y a eu aucun recours sur Instagram au cours du deuxième trimestre de 2020 et très peu sur Facebook.
L'impact de l'interdiction des appels des utilisateurs
Bien que l'entreprise restaure parfois du contenu de son propre chef, les appels des utilisateurs déclenchent généralement la grande majorité du contenu qui est rétabli. Un exemple: au deuxième trimestre, plus de 380 000 publications qui auraient contenu du contenu terroriste ont été supprimées d'Instagram, moins qu'au premier trimestre (440 000). Alors qu'environ 8100 suppressions ont été appelées par les utilisateurs au premier trimestre, ce nombre a chuté à zéro au deuxième trimestre. Maintenant, en regardant le nombre de messages restaurés, l'impact du manque d'appels des utilisateurs devient évident: au cours du premier trimestre, 500 éléments de contenu ont été restaurés après un appel d'un utilisateur, contre 190 messages qui ont été rétablis sans appel. . Au deuxième trimestre, sans système d'appel à la disposition des utilisateurs, seuls 70 messages sur plusieurs centaines de milliers de messages qui auraient contenu du contenu terroriste ont été restaurés.
Pendant ce temps, sur Facebook, des chiffres très différents sont rapportés pour la même catégorie de contenu. Facebook a agi sur 8,7 millions de contenus prétendument terroristes, et parmi eux, 533 000 ont été restaurés par la suite, sans avoir été déclenchés par un appel d'un utilisateur. En comparaison, au premier trimestre, lorsque les appels des utilisateurs étaient disponibles, Facebook a supprimé 6,3 millions de contenus terroristes. Parmi ces suppressions, 180,1 mille ont fait l'objet d'un appel, mais encore plus – 199,2 mille – éléments de contenu ont été ultérieurement reformulés. En d'autres termes, beaucoup moins de publications qui auraient contenu du contenu terroriste ont été restaurées sur Instagram où les utilisateurs ne pouvaient pas faire appel des retraits que sur Facebook, où les appels étaient autorisés.
Des mesures de modération brutales du contenu peuvent causer un préjudice réel
Pourquoi est-ce important? Souvent, les preuves de violations des droits de l'homme et de crimes de guerre sont prises au piège de la modération automatisée du contenu car les algorithmes ont du mal à faire la différence entre le contenu «terroriste» réel et les efforts pour enregistrer et archiver les événements violents. Cet impact négatif de la détection automatisée de contenu est supporté de manière disproportionnée par les communautés musulmanes et arabes . Les différences importantes dans la manière dont une entreprise applique ses règles relatives au contenu terroriste ou violent et extrémiste sur deux plates-formes soulignent à quel point il est difficile de traiter le problème du contenu violent par la seule modération automatisée du contenu. Dans le même temps, cela souligne également le fait que les utilisateurs ne peuvent pas s'attendre à être traités de manière cohérente sur différentes plates-formes, ce qui peut augmenter les problèmes d'autocensure.
Autre exemple de la faiblesse des suppressions automatisées de contenu: au deuxième trimestre, Instagram a supprimé environ un demi-million d'images qu'il considérait comme entrant dans la catégorie de la nudité enfantine et de l'exploitation sexuelle. C'est un nombre nettement inférieur par rapport au premier trimestre, lorsque Instagram a supprimé environ un million d'images. Alors que le rapport de Facebook reconnaît que ses outils de modération de contenu automatisés ont du mal avec certains types de contenu, les effets semblent particulièrement apparents dans cette catégorie de contenu. Alors qu'au premier trimestre, de nombreux retraits d'images présumées d'abus sexuels sur des enfants ont fait l'objet d'un appel par les utilisateurs (16 200), seuls 10 éléments de contenu supprimé ont été restaurés pendant la période au cours de laquelle les utilisateurs ne pouvaient pas contester les retraits. Ces écarts dans la restauration du contenu suggèrent que beaucoup plus de contenu qui a été retiré à tort est resté supprimé, mettant en péril la liberté d'expression de millions d'utilisateurs potentiels. Ils montrent également le rôle fondamentalement important des appels pour protéger les droits fondamentaux des utilisateurs et tenir les entreprises responsables de leurs politiques de modération de contenu.
Les Principes de Santa Clara sur la transparence et la responsabilité dans la modération de contenu – qui font actuellement l'objet d'un processus d'évaluation et d'évaluation après une période de commentaires ouverte – offrent un ensemble de normes de base que nous pensons que chaque entreprise devrait s'efforcer d'adopter. La plupart des grandes plates-formes ont approuvé les normes en 2019, mais une seule – Reddit – les a entièrement mises en œuvre.
Facebook n'a pas encore clarifié si son passage à une modération plus automatisée du contenu est effectivement temporaire ou là pour rester. Quoi qu'il en soit, l'entreprise doit s'assurer que les appels des utilisateurs seront rétablis. En attendant, il est essentiel que Facebook permette autant de transparence et de surveillance publique que possible.
Cet article est une traduction automatique d’un post publié sur le site d’Electronic Frontier Foundation à l’URL https://www.eff.org/deeplinks/2020/10/facebooks-most-recent-transparency-report-demonstrates-pitfalls-automated-content le Thu, 08 Oct 2020 17:17:31 +0000.