La technologie ne peut pas prédire la criminalité, elle ne peut que renforcer la proximité des services de police

Un merci spécial à Yael Grauer pour ses écrits et recherches supplémentaires.

En juin 2020, Santa Cruz, en Californie, est devenue la première ville des États-Unis à interdire l'utilisation municipale de la police prédictive, une méthode de déploiement de ressources d'application de la loi selon des analyses basées sur les données qui sont censées être en mesure de prédire les auteurs, les victimes ou les emplacements de crimes futurs. Il est particulièrement intéressant de noter que Santa Cruz a été l'une des premières villes du pays à expérimenter cette technologie lorsqu'elle a piloté, puis adopté, un programme de police prédictive en 2011. Ce programme a utilisé des données historiques et actuelles sur la criminalité pour décomposer certaines zones de la ville en blocs de 500 pieds sur 500 pieds afin d'identifier les endroits susceptibles d'être le théâtre de crimes futurs. Cependant, après neuf ans, le conseil municipal a voté à l' unanimité pour l'interdire par crainte de la façon dont il perpétuait l'inégalité raciale.

La police prédictive est une prophétie auto-réalisatrice. Si la police concentre ses efforts sur un quartier et y arrête des dizaines de personnes en l'espace d'une semaine, les données refléteront cette zone comme un foyer d'activités criminelles. Le système ne prend également en compte que les crimes signalés, ce qui signifie que les quartiers et les communautés où la police est appelée plus souvent pourraient voir une plus grande probabilité d'avoir une technologie de police prédictive y concentrer des ressources. Ce système est sur mesure pour d' autres communautés de victimiser qui sont déjà overpoliced- à savoir, les communautés de couleur , les personnes unhoused, et les immigrants – en utilisant le manteau de la légitimité scientifique et la nature impartiale supposée des données.

L'expérience de Santa Cruz et l'interdiction éventuelle de la technologie sont une leçon pour le reste du pays: la technologie ne remplace pas l'engagement communautaire et les mesures holistiques de réduction de la criminalité. Plus les services de police s'appuient sur la technologie pour déterminer où concentrer les efforts et sur qui se méfier, plus ces services causeront de tort aux communautés vulnérables. C'est pourquoi les services de police devraient être interdits d'utiliser des algorithmes supposés fondés sur des données pour informer quelles communautés, et même quelles personnes, devraient recevoir la part du lion du maintien de l'ordre et de la criminalisation.

Qu'est-ce que la police prédictive?

L' ordonnance de Santa Cruz interdisant la police prédictive définit la technologie comme «un logiciel qui est utilisé pour prédire des informations ou des tendances sur la criminalité ou la criminalité dans le passé ou le futur, y compris, mais sans s'y limiter, les caractéristiques ou le profil de toute personne susceptible de commettre un crime, l'identité de toute personne susceptible de commettre un crime, les lieux ou la fréquence du crime, ou la ou les personnes touchées par le crime prévu. »

La police prédictive analyse une quantité massive d'informations sur les crimes historiques, notamment l'heure de la journée, la saison de l'année, les conditions météorologiques, les types de victimes et les types de lieux afin de déterminer quand et dans quels endroits le crime est susceptible de se produire. Par exemple, si un certain nombre de crimes ont été commis dans les ruelles les jeudis, l'algorithme peut indiquer à un ministère qu'il doit envoyer des agents dans les ruelles tous les jeudis. Bien sûr, cela signifie que la police est prédisposée à se méfier de tous ceux qui se trouvent dans cette zone à ce moment-là.

La technologie tente de fonctionner de manière similaire tout en effectuant la police prédictive «basée sur la personne», moins répandue. Cela prend la forme de systèmes de notation opaques qui attribuent aux gens une valeur de risque basée sur un certain nombre de flux de données, notamment l'âge, l'appartenance présumée à un gang et le nombre de fois qu'une personne a été victime ainsi que l'auteur présumé d'un crime. Le total accumulé de ces données pourrait entraîner le placement d'une personne sur une «liste de choix», comme c'est arrivé à plus de 1 000 personnes à Chicago qui ont été placées sur l'une de ces «listes de sujets stratégiques». Comme lorsque des endroits spécifiques sont ciblés, cette technologie ne peut pas réellement prédire le crime – et dans une tentative de le faire, elle peut exposer des personnes à un harcèlement ou à une surveillance policière ciblée sans aucune preuve réelle qu'un crime sera commis.

Il y a une raison pour laquelle l'utilisation de la police prédictive continue de se développer malgré ses fondements douteux: elle rapporte de l'argent. De nombreuses entreprises ont développé des outils pour la police basée sur les données; certains des plus grands sont PredPol , HunchLab, CivicScape et Palantir. Les établissements universitaires ont également développé des technologies de police prédictive, telles que RTM Diagnostics de l'Université Rutgers ou CrimeScan de l'Université Carnegie Mellon, qui est utilisé à Pittsburgh. Certains départements ont construit de tels outils avec des entreprises privées et des établissements universitaires. Par exemple, en 2010, le service de police de Memphis a construit son propre outil, en partenariat avec le département de criminologie et de justice pénale de l'Université de Memphis, en utilisant l'analyse prédictive IBM SPSS .

À partir de l'été 2020, la technologie est utilisée dans des dizaines de villes aux États-Unis.

Quels problèmes pose-t-il?

L'un des plus gros défauts de la police prédictive réside dans les données erronées introduites dans le système. Ces algorithmes dépendent de données les informant de l'endroit où l'activité criminelle a eu lieu pour prédire où l'activité criminelle future aura lieu. Cependant, tous les crimes ne sont pas enregistrés – certaines communautés sont plus susceptibles de signaler des crimes que d'autres, certains crimes sont moins susceptibles d'être signalés que d'autres crimes et les agents ont le pouvoir discrétionnaire de décider de procéder ou non à une arrestation. Le maintien de l'ordre prédictif ne tient compte que des crimes signalés et concentre les ressources policières dans ces communautés, ce qui augmente la probabilité que la police découvre d'autres crimes. Tout cela crée une boucle de rétroaction qui fait de la police prédictive une prophétie auto-réalisatrice. Comme le professeur Suresh Venkatasubramanian mettre :

«Si vous créez une police prédictive, vous envoyez essentiellement des policiers dans certains quartiers en fonction de ce qu'ils vous ont dit, mais cela signifie également que vous n'envoyez pas de policiers dans d'autres quartiers parce que le système ne vous a pas dit d'y aller. Si vous supposez que la collecte de données pour votre système est générée par la police que vous avez envoyée dans certains quartiers, votre modèle contrôle essentiellement la prochaine série de données que vous obtenez. »

Cette boucle de rétroaction aura un impact sur les communautés vulnérables, y compris les communautés de couleur, les communautés sans logement et les immigrants.

La police surveille déjà les quartiers des minorités et arrête les gens pour des choses qui sont peut-être passées inaperçues ou non signalées dans des quartiers moins surveillés. Lorsque ces données déjà biaisées sont entrées dans un algorithme prédictif, il déploiera davantage d'agents dans les communautés déjà surpolisées.

Une plongée récente dans le programme prédictif utilisé par le bureau du shérif du comté de Pasco illustre les préjudices que le fait de rester coincé dans une boucle algorithmique peut avoir sur les gens. Après qu'un jeune de 15 ans ait été arrêté pour avoir volé des vélos dans un garage, l'algorithme a continuellement envoyé la police pour le harceler lui et sa famille. En l'espace de cinq mois, la police s'est rendue chez lui 21 fois. Ils se sont présentés à son gymnase et au lieu de travail de ses parents. Le Tampa Bay Times a révélé que depuis 2015, le bureau du shérif avait effectué plus de 12500 visites préventives similaires sur des personnes.

Ces visites ont souvent abouti à d'autres arrestations sans lien avec les familles qui ont encore plus agressé les familles et ont accru la probabilité qu'elles soient à nouveau visitées et harcelées. Lors d'un incident, la mère d'un adolescent ciblé s'est vu infliger une amende de 2 500 $ lorsque la police envoyée pour vérifier son enfant a vu des poulets dans la cour. Dans un autre incident, un père a été arrêté lorsque la police a regardé par la fenêtre de la maison et a vu un jeune de 17 ans fumer une cigarette. Ce sont les types de crimes habituellement non signalés qui se produisent dans tous les quartiers, dans toutes les couches économiques – mais pour lesquels seules les personnes marginalisées qui vivent sous des services de police quasi constants sont pénalisées.

Comme les experts l' ont souligné, ces algorithmes proviennent souvent de sources défectueuses et non transparentes telles que les bases de données sur les gangs, qui ont fait l'objet d'un examen public en raison de leur manque de transparence et de leur surinclusion des Noirs et des Latinx . À Los Angeles, par exemple, si la police remarque une personne portant un maillot de sport ou ayant une brève conversation avec quelqu'un dans la rue, il peut suffire d'inclure cette personne dans la base de données des gangs du LAPD. Être inclus dans une base de données sur les gangs signifie souvent être exposé à davantage de harcèlement et de surveillance policière, et peut également entraîner des conséquences une fois dans le système juridique, telles que des peines plus sévères. L'inclusion dans une base de données sur les gangs peut avoir une incidence sur le fait qu'un algorithme prédictif identifie une personne comme une menace potentielle pour la société ou projette artificiellement un crime spécifique comme étant lié à un gang. En juillet 2020, le procureur général de Californie a interdit à la police de l'État d'accéder à l'une des entrées du LAPD dans la base de données des gangs de Californie après que des agents du LAPD aient été surpris en train de falsifier des données. Les bases de données sur les gangs inexplicables et trop larges sont le type de données défectueuses qui circulent des services de police vers des algorithmes prédictifs, et c'est exactement pourquoi on ne peut pas faire confiance à la police prédictive.

Pour tester les disparités raciales dans la police prédictive, le Human Rights Data Analysis Group (HRDAG) a examiné les crimes liés aux drogues enregistrés par le département de police d'Oakland . Il a utilisé un algorithme de contrôle des mégadonnées pour déterminer où il suggérerait à la police de rechercher de futurs crimes liés à la drogue. Effectivement, HRDAG a constaté que le modèle basé sur les données se serait concentré presque exclusivement sur les communautés de couleur à faible revenu . Mais les données de santé publique sur les consommateurs de drogues combinées aux données du recensement américain montrent que la répartition des consommateurs de drogues n'est pas corrélée avec les prédictions du programme, ce qui démontre que les prédictions de l'algorithme étaient fondées sur des biais plutôt que sur la réalité.

Tout cela est la raison pour laquelle un groupe de mathématiciens universitaires a récemment déclaré un boycott contre l'aide à la police pour créer des outils de police prédictive. Ils ont fait valoir que leurs références et leur expertise créent un moyen pratique de faire passer des idées racistes sur qui commettra un crime en fonction de l'endroit où ils vivent et de qui ils connaissent, dans le courant dominant grâce à la légitimité scientifique. «Il est tout simplement trop facile», écrivent-ils, «de créer un vernis« scientifique »pour le racisme.»

En outre, il existe un manque de transparence inquiétant autour de nombreux outils de police prédictive. Dans de nombreux cas, on ne sait pas comment les algorithmes sont conçus, quelles données sont utilisées et parfois même ce que le système prétend prédire. Les vendeurs ont recherché des clauses de non-divulgation ou ont dissimulé leurs produits dans le secret, citant des secrets commerciaux ou la confidentialité des affaires. Lorsque les outils de régulation basés sur les données sont des boîtes noires, il est difficile d'évaluer les risques de taux d'erreur, de faux positifs, de limites dans les capacités de programmation, de données biaisées ou même de failles dans le code source qui affectent les résultats de recherche.

Pour les services locaux, le coût prohibitif de l'utilisation de ces technologies prédictives peut également nuire au maintien de la société civile. À Los Angeles, le LAPD a payé 20 millions de dollars sur neuf ans pour utiliser la seule technologie prédictive de Palantir. Ce n'est que l'un des nombreux outils utilisés par le LAPD pour tenter de prédire l'avenir.

Enfin, la police prédictive soulève des problèmes constitutionnels. Le simple fait de vivre ou de passer du temps dans un quartier ou avec certaines personnes peut attirer les soupçons de la police ou les amener à traiter les gens comme des auteurs potentiels. Comme l' a écrit le juriste Andrew Guthrie Furgeson , il existe une tension entre le maintien de l'ordre prédictif et les exigences légales selon lesquelles la police a des soupçons raisonnables de faire un arrêt. De plus, les systèmes de police prédictive utilisent parfois les informations des médias sociaux pour évaluer si une personne est susceptible de commettre un crime, ce qui soulève également des problèmes de liberté d'expression.

La technologie ne peut pas prédire le crime, elle ne peut que militariser la proximité d'une personne avec l'action policière. Un individu ne devrait pas voir sa présomption d'innocence érodée parce qu'une connaissance occasionnelle, un membre de sa famille ou un voisin commet un crime. Cela ne fait qu'ouvrir les membres de populations déjà vulnérables à davantage de harcèlement policier, érode la confiance entre les mesures de sécurité publique et la communauté et, en fin de compte, crée plus de danger. Cela s'est déjà produit à Chicago, où la police surveille et surveille les médias sociaux des victimes de crimes – parce qu'être victime d'un crime est l'un des nombreux facteurs que l'algorithme prédictif de Chicago utilise pour déterminer si une personne court un risque élevé de commettre un crime. crime eux-mêmes.

Que peut-on faire à ce sujet?

Comme le suggère l'interdiction de Santa Cruz, les villes commencent à prendre conscience des dangers de la police prédictive. À l'instar du mouvement croissant visant à interdire l'utilisation par le gouvernement de la reconnaissance faciale et d'autres mesures de surveillance biométrique, nous devrions également chercher à interdire la police prédictive. À travers le pays, de San Francisco à Boston , près d'une douzaine de villes ont interdit l'utilisation par la police de la reconnaissance faciale après avoir reconnu son impact disproportionné sur les personnes de couleur, sa tendance à accuser à tort les gens de crimes, son érosion de notre présomption d'innocence , et son capacité à suivre nos mouvements.

Avant que la police prédictive ne devienne encore plus répandue, les villes devraient maintenant profiter de l'occasion pour protéger le bien-être de leurs habitants en adoptant des ordonnances qui interdisent l'utilisation de cette technologie ou empêchent les départements de l'acquérir en premier lieu. Si votre ville a une législation comme une ordonnance de contrôle communautaire sur la surveillance policière (CCOPS), qui oblige les élus à approuver l'achat et l'utilisation du matériel de surveillance par la police, l'acquisition de la police prédictive peut être bloquée pendant que des tentatives d'interdiction de la technologie sont faites.

Les leçons de la nouvelle et du film Minority Report s'appliquent toujours, même à l'ère du big data: les gens sont innocents jusqu'à ce que leur culpabilité soit prouvée. Les gens ne devraient pas faire l'objet de harcèlement et de surveillance en raison de leur proximité avec le crime. Les éditeurs de logiciels à but lucratif dotés d'algorithmes propriétaires secrets ne devraient pas créer des boules de cristal de type boîte noire exemptes de tout examen public et utilisées sans contrainte par les forces de l'ordre. Il n'est pas trop tard pour remettre le génie de la police prédictive dans la bouteille, et c'est exactement ce que nous devrions exhorter les dirigeants locaux, étatiques et fédéraux à faire .