Les algorithmes : un nouvel enjeu pour la lutte contre les discriminations

Actualités

Le Défenseur des droits et la CNILCNILCommission nationale de l'informatique et des libertés ont publié conjointement un rapport sur les algorithmes, portant chacun leurs expertises au service des droits fondamentaux des personnes. Si le recours aux algorithmes n’est pas nouveau, l’utilisation devient de plus en plus massive : au sein du secteur privé et des administrations (prestations sociales, police, justice, hôpitaux, accès aux services publics, procédures d’embauches) conditionnant l’accès aux droits des personnes accompagnées par le secteur social et médico-social. Sujet resté longtemps dans l’angle mort des débats publics, un travail de vigilance doit être mené afin de prévenir les discriminations qui pourraient découler de ces technologies.

Pour rappel :

Un algorithme c’est : la description d'une suite d'étapes permettant d'obtenir un résultat à partir d'éléments fournis. Par exemple, une recette de cuisine est un algorithme permettant d'obtenir un plat à partir de ses ingrédients. Pour qu'un algorithme puisse être mis en œuvre par un ordinateur, il faut qu'il soit exprimé dans un langage informatique et prend la forme d'un logiciel : une application.1

Une discrimination c’est : la discrimination consiste à favoriser ou défavoriser un individu, en raison de certaines de ses caractéristiques ou de certains de ses choix personnels. Ce traitement différencié des personnes influe sur leurs droits fondamentaux : l’accès aux droits, à un service, à une fonction, etc. 2

Les deux autorités indépendantes font part de leurs préoccupations sur l’effet de ces technologies sur les droits fondamentaux étant conçus par des humains et pouvant donc être biaisés. Les trois formes de discriminations peuvent être à l’œuvre par l’intermédiaire des algorithmes :

Discrimination directe3 : parfois de manière intentionnelle avec l’incorporation d’un biais discriminatoire interdit (sexe, origine, etc.) dans l’algorithme.

Discrimination indirecte4 :

A noter que la combinaison des critères neutres peuvent tendre vers de la discrimination.

-          Discrimination systémique5 : L’application de biais discriminatoires dans un algorithme se fait de manière automatique et cette répétition parfois à grande échelle pourrait systématiser les discriminations. Ceci risquant de renforcer la stigmatisation envers certaines populations. Car, le but d’un algorithme est de repérer des comportements ou des caractéristiques de groupe afin de dire les actions à adopter. Ainsi, en incorporant des données discriminantes dans le système, celui-ci va proposer une marche à suivre « rationnelle » pouvant faire penser que ce sont des décisions objectives même si discriminantes.

« Ce risque de discrimination est d’autant plus grand pour les groupes sociaux qui font déjà l’objet de discriminations systémiques majeures au sein de la société, par exemple, les femmes, les personnes en situation de handicap ou les personnes issues de l’immigration. »

La CNILCNILCommission nationale de l'informatique et des libertés et le Défenseur des Droits ont donc formulé les recommandations suivantes :

- La non-discrimination n’est pas une option mais bien un cadre juridique. Les biais discriminatoires dans les algorithmes devraient pouvoirs être repérés et corrigés et les auteurs de ces biais devraient pouvoir être sanctionnés

- Il y a un enjeu pour que les victimes fassent valoir leurs droits. Le problème étant que les effets discriminatoires des algorithmes ne sont souvent mesurables qu’à l’échelle des groupes. Ils risquent de rester tout à fait invisibles pour les victimes.

Pour rappel, les 25 types de discriminations sont :


1 Définition de la CNILCNILCommission nationale de l'informatique et des libertés https://www.cnil.fr/fr/definition/algorithme

2 Voir le Défenseur des droits et la CNCDHCNCDHCommission nationale consultative des droits de l'homme sur ce sujet

3 C’est lorsqu’une personne est choisie ou rejetée délibérément par rapport à une autre sur le fondement d’un ou de plusieurs des 25 critères listés.

4 C’est lorsqu’une pratique ou une règle mise en place semble neutre, mais qu’en réalité, cela entraine un désavantage pour une certaine catégorie de personnes.

5 Elle est intégrée et issue d’un jeu d’acteurs ou du système de la société. Elle se rapproche de la discrimination indirecte mais se produit de manière massive.

Imprimer

Vous n'avez pas encore de compte? Inscrire maintenant!

Connectez-vous à votre compte