Jane Bailey, Collège de nouveaux chercheurs de la SRC, Jacquelyn Burkell et Valerie Steeves | 2 septembre 2020
Télécharger l'article au complet
En janvier 2020, la police de Détroit arrêtait à tort Robert Julian-Borchak Williams pour un vol à l'étalage qui avait eu lieu deux ans plus tôt. Même si Williams n'avait rien à voir avec l'incident, le logiciel de reconnaissance faciale utilisé par la police de l'État du Michigan a « fait correspondre » son visage à une image granuleuse obtenue à partir d'une vidéo de surveillance du magasin montrant un autre Afro-Américain en train de s'emparer de montres d'une valeur de 3 800 dollars américains.
Deux semaines plus tard, l'affaire a été classée sans suite à la demande de l’accusation. Cependant, en se basant sur la correspondance erronée, la police avait déjà menotté et arrêté Williams devant sa famille, l'avait forcé à fournir une photo d'identité judiciaire, des empreintes digitales et un échantillon de son ADN, l'avait interrogé et l'avait emprisonné pendant 24h.
Des experts indiquent que le cas de Williams n'est pas isolé et que d'autres personnes ont subi des injustices similaires. La controverse actuelle portant sur l'utilisation de la technologie de Clearview AI par la police souligne indubitablement les risques pour la vie privée que représente la technologie de reconnaissance faciale. Cela étant, il est important de comprendre que nous n’endossons pas tous ces risques de la même manière.
Algorithmes fondés sur le racisme
La technologie de reconnaissance faciale qui se fonde et s’accorde sur les visages de Caucasiens identifie systématiquement de manière erronée les personnes racialisées. De nombreuses études rapportent que la technologie de reconnaissance faciale est « imparfaite et biaisée, avec des taux d'erreur nettement plus élevés lorsqu'elle est utilisée à l’égard de personnes de couleur ».
Cette situation porte atteinte à l'individualité et à l'humanité des personnes racialisées qui sont davantage susceptibles d'être identifiées à tort comme des criminels. La technologie - et les erreurs d'identification qu'elle commet - reflète et renforce des divisions sociales qui subsistent depuis longtemps et qui sont profondément ancrées dans le racisme, le sexisme, l'homophobie, le colonialisme et d'autres oppressions croisées.
Une enquête de France24 sur les préjugés raciaux dans la technologie de reconnaissance faciale.
Catégorisation des utilisateurs par la technologie
Dans son livre révolutionnaire publié en 1993, intitulé The Panoptic Sort, le chercheur Oscar Gandy mettait en garde contre « la technologie complexe impliquant la collecte, le traitement et le partage d'informations sur les individus et les groupes, générées par leur vie quotidienne, et son utilisation en vue de coordonner et de contrôler leur accès aux biens et services qui définissent la vie au sein d’une économie capitaliste moderne ». Les forces de l'ordre s'en servent pour repérer des suspects parmi le grand public, et les organisations privées en font usage pour définir l’accès à des banques ou à l'emploi, entre autres.
Gandy avertissait, tel un prophète, que cette forme de « tri cybernétique » désavantagerait de façon exponentielle, si elle n'était pas sous contrôle, les membres des communautés en quête d’égalité, telles que les groupes racialisés ou désavantagés sur le plan socio-économique, à la fois en termes d’attribution et de compréhension.
Environ 25 ans plus tard, nous vivons aujourd'hui avec le tri panoptique des stéroïdes. Les exemples de ses effets négatifs sur les communautés en quête d'égalité abondent, tels que l’identification erronée de Williams.
Préjugés préexistants
Ce tri par algorithmes s'infiltre dans les aspects les plus fondamentaux de la vie quotidienne, engendrant dans son sillage une violence à la fois directe et structurelle.
La violence directe vécue par Williams est immédiatement visible dans les événements entourant son arrestation et sa détention, les préjudices individuels qu'il a subis sont évidents et leurs origines remontent aux actions de la police qui a choisi de se fier à la « correspondance » de la technologie pour procéder à une arrestation. Plus insidieuse est la violence structurelle perpétrée par la technologie de reconnaissance faciale et d'autres technologies numériques qui évaluent, comparent, catégorisent et trient les individus de manière à amplifier les modèles discriminatoires préexistants.
Les préjudices causés par la violence structurelle sont moins évidents et moins directs, et portent préjudice aux groupes en quête d'égalité par un déni systématique du pouvoir, des ressources et des opportunités. Parallèlement, elle augmente les risques et les préjudices directs pour les individus appartenant à ces groupes.
La police prédictive utilise le traitement par algorithmes de données historiques pour prévoir quand et où de nouveaux délits sont susceptibles de se produire, affecte les ressources policières en conséquence et intègre une surveillance policière renforcée dans les communautés, généralement dans les quartiers à faibles revenus et racialisés. Cette situation augmente la détection et la sanction des activités criminelles, y compris les activités criminelles moins graves qui pourraient, dans d’autres circonstances, ne pas susciter de réaction de la part de la police, ce qui, en fin de compte, limite les chances de réussite des personnes vivant dans cet environnement.
De plus, les preuves d'inégalités dans d'autres secteurs continuent de s'accumuler. Des centaines d'étudiants au Royaume-Uni ont manifesté le 16 août dernier contre les résultats désastreux d'Ofqual, un algorithme défectueux utilisé par le gouvernement britannique pour déterminer quels étudiants seraient admissibles à l'université. En 2019, le service d'annonces de microciblage de Facebook a aidé des dizaines d'employeurs des secteurs public et privé à exclure des personnes de leurs listes de destinataires d'offres d'emploi sur la base de l'âge et du sexe. Des recherches menées par ProPublica ont documenté la discrimination des prix en fonction de la race pour les produits en ligne. En outre, les moteurs de recherche produisent régulièrement des résultats racistes et sexistes.
Perpétuation de l'oppression
Ces résultats sont importants car ils perpétuent et creusent les inégalités préexistantes fondées sur des caractéristiques telles que la race, le sexe et l'âge. Ils sont également importants parce qu'ils influencent profondément la façon dont nous apprenons à nous connaître et à connaître le monde qui nous entoure, parfois en présélectionnant les informations que nous recevons de manière à renforcer les perceptions stéréotypées. Les entreprises technologiques elles-mêmes reconnaissent l'urgence d'empêcher la perpétuation de la discrimination par les algorithmes.
Jusqu'à présent, les enquêtes ponctuelles menées par les entreprises technologiques elles-mêmes ont connu un succès irrégulier. Les entreprises impliquées dans la production de systèmes discriminatoires les retirent parfois du marché, comme lorsque Clearview AI a annoncé qu'elle ne proposerait plus de technologie de reconnaissance faciale au Canada. Cela étant, de telles décisions résultent souvent d'un examen réglementaire ou d'un tollé public mené à la suite des préjudices subis par des membres des communautés en quête d'égalité.
Il est temps de donner à nos institutions de régulation les outils dont elles ont besoin pour s'attaquer au problème. Les simples protections de la vie privée qui reposent sur l'obtention du consentement individuel pour permettre aux entreprises de saisir et de réutiliser les données ne peuvent être isolées des résultats discriminatoires de cette utilisation. Cela est particulièrement vrai à une époque où la plupart d'entre nous (y compris les entreprises technologiques elles-mêmes) ne peuvent pas comprendre pleinement le fonctionnement des algorithmes ou pourquoi ils produisent des résultats spécifiques.
La vie privée est un droit de la personne
Une partie de la solution consiste à briser les silos réglementaires actuels qui traitent la vie privée et les droits de la personne comme deux entités distinctes. S'appuyer sur un modèle de protection des données fondé sur le consentement va à l'encontre du principe fondamental selon lequel la vie privée et l'égalité sont deux droits de la personne qui ne peuvent être dissociés.
Même la Charte canadienne du numérique, la dernière tentative du gouvernement fédéral pour répondre aux lacunes de l'état actuel de l'environnement numérique, maintient ces distinctions conceptuelles. Elle traite la haine et l'extrémisme, le contrôle et le consentement, et une démocratie forte comme des catégories distinctes.
Pour remédier à la discrimination par algorithmes, nous devons reconnaître et structurer la vie privée et l'égalité en tant que droits de la personne. Nous devons également créer une infrastructure à la fois attentive et experte dans les deux domaines. Sans efforts de cette envergure, l'éclat des mathématiques et de la science continuera à camoufler les préjugés discriminatoires de l'IA, et l'on peut s'attendre à une multiplication des expériences telles que celle infligée à Williams.
La SRC a créé un groupe de travail sur l'infoveillance en charge de l’examen des répercussions de la surveillance, des données, de la vie privée et de l'égalité. Le groupe de travail a commencé à analyser la transition des notions individualistes de « protection de la vie privée » à l'arrivée du capitalisme de surveillance, qui désigne un système économique d'accumulation fondé sur la marchandisation des données personnelles. Le capitalisme de surveillance présente de nombreuses caractéristiques, notamment la mise en données (action sociale transformée en données quantifiées), le dataïsme (croyance naïve en la capacité des données à résoudre les problèmes humains), la surveillance des données (utilisation des données pour la surveillance des populations et des individus) et le profilage discriminatoire (avec des implications particulières pour les personnes issues de communautés déjà marginalisées).
Les membres du groupe de travail sont : Jane Bailey (Université d'Ottawa) ; Benoît Dupont (Université de Montréal) ; Anatoliy Gruzd (Ryerson University) ; et David Lyon (Queen’s University).
