En novembre, les Californiens ont voté pour abroger une loi de 2018 qui aurait mis fin à la caution en espèces et l'a remplacée par un outil numérique d'évaluation des risques avant le procès qui dicte si une personne peut être libérée en attendant son procès. En votant non sur la proposition 25, les Californiens ont voté pour maintenir le système de caution en espèces et ne pas le remplacer par des évaluations automatisées des risques avant le procès.
L'EFF n'avait pas de position sur la mesure du scrutin. Tout comme l' ACLU de Californie du Nord , l'EFF croyait que cette proposition – quel que soit son résultat – ne créait pas un système juste avant le procès. Cependant, l'EFF a mené des recherches approfondies sur les algorithmes d'évaluation des risques avant le procès et s'est efforcé d'empêcher le déploiement d'outils injustespar le biais de la législature .
Les outils d'évaluation des risques avant le procès comportent leurs propres risques et pièges potentiels, et il est essentiel que les Californiens réfléchissent à ce qui est nécessaire pour remédier à leurs méfaits potentiels. Bien que la proposition ait échoué, le fait est que ces outils sont actuellement utilisés dans 49 des 58 comtés de Californie dans le cadre de leur système de mise en liberté sous caution, selon un rapport de décembre 2019 du Public Policy Institute of California .
Il y a de nombreuses raisons de s'inquiéter du remplacement de la caution en espèces par un algorithme qui classe les personnes à risque faible, moyen ou élevé avant d'en libérer certaines et d'en laisser d'autres en prison.
L'évaluation numérique des risques avant le procès génère des préoccupations similaires à celles de la police prédictive . Les deux s'appuient sur des données générées par un système de justice pénale à préjugés racistes afin de déterminer qui constitue une menace pour la société et qui ne l'est pas. Cela peut avoir un impact dévastateur sur la vie des gens, leur bien-être et celui de leur famille. Dans le cas de la police prédictive, l'algorithme pourrait signaler une personne comme un risque et la soumettre à un harcèlement policier quasi constant . Dans le cas de l'évaluation des risques, si une personne a été signalée comme non libérable, elle peut rester en prison pendant des mois ou des années en attendant son procès sans autre raison.
Certains considèrent que les outils d'évaluation des risques sont plus impartiaux que les juges car ils prennent des décisions à l'aide d'algorithmes. Mais cette hypothèse ignore le fait que les algorithmes qui reçoivent des données biaisées ou qui ne sont pas soigneusement développés peuvent provoquer le même type de résultats discriminatoires que les systèmes existants qui reposent sur le jugement humain – et même faire de nouvelles erreurs inattendues ou enraciner un biais systémique avec un nouveau vernis de impartialité supposée.
Ce système crée un scénario dans lequel certaines personnes, choisies arbitrairement ou de manière discriminatoire par ordinateur comme présentant un risque élevé, sont laissées en prison sans jamais savoir quelles données ont dicté le résultat. Ce n'est pas une préoccupation purement théorique. Des chercheurs de l'Université de Dartmouth ont découvert en janvier 2018 qu'un outil largement utilisé, COMPAS, classait à tort les accusés noirs comme risquant de commettre un délit ou un crime dans les 2 ans à un taux de 40%, contre 25,4% pour les accusés blancs. Les ordinateurs, en particulier ceux qui fonctionnent sur des données erronées ou biaisées, ne devraient pas dicter qui doit rentrer chez lui et qui n'a pas ou se voit accorder un poids non mérité dans la décision d'un juge concernant la mise en liberté.
Tout outil numérique qui espère remplacer la caution en espèces devrait fournir au public des réponses simples sur les données prises en compte dans la prise de décision avant qu'elles ne soient utilisées dans une salle d'audience. L'EFF a précédemment soumis des commentaires au Conseil judiciaire de Californie décrivant nos recommandations concernant les garde-corps qui devraient être placés sur ces outils, si les systèmes judiciaires doivent les utiliser. Celles-ci incluent: Quelle transparence y aura-t-il sur le fonctionnement de l'algorithme et quelles données ont été utilisées dans son développement? Et, y aura-t-il un processus d'appel pour les personnes qui ont l'impression que leur cas n'a pas été tranché équitablement? Dans quels cas un juge pourrait-il ou voudrait-ilannuler les conseils qui lui sont donnés par l'outil d'évaluation?
La pandémie touche de manière disproportionnée les personnes incarcérées à travers le pays. Les outils d'évaluation des risques avant le procès ne devraient pas être utilisés à moins qu'ils ne soient équitables, transparents et justes – et il y a des défis de taille à surmonter avant qu'un outil puisse faire ces déclarations. Les gens ont besoin de savoir si l'outil d'évaluation permettant de décider qui peut sortir de prison condamnera également les individus à l'emprisonnement sans sursis de manière arbitraire ou raciale.
Cet article fait partie de notre série Year in Review. Lisez d'autres articles sur la lutte pour les droits numériques en 2020 .
Cet article est une traduction automatique d’un post publié sur le site d’Electronic Frontier Foundation à l’URL https://www.eff.org/deeplinks/2020/12/questions-remain-about-pretrial-risk-assessment-algorithms-year-review-2020 le Fri, 01 Jan 2021 19:03:05 +0000.