Biais et éthique dans les systèmes d’IA

Un système d’intelligence artificielle apprend à partir de données produites par l’humain. Ces données portent les préjugés, les inégalités et les erreurs de la société. L’IA ne crée pas de biais en vain : elle les neige.

1. D’où viennent les biais ?

Trois sources principales :

• Données historiques : un modèle entraîné sur des faits sociaux passés apprend les anciens déséquilibres (embauches, jugements, soins médicaux) ;
• Choix de conception : la définition de l’objectif, la sélection des variables, la cible à prédire ;
• Évaluation et exploitabilité : les métriques de performance cachent les risques sur les groupes minoritaires.

Un biais n’est pas un bug d’absence de soin : c’est souvent un biais de mesure héréditaire.

2. Cas concrets

Recrutement

Les systèmes de tri de candidats entraînés sur des dossiers historiques reflètent parfois des pratiques discriminatoires passées (genre, origine, âge). Même sans étiquetage explicite, les variables alternatives (disponibilité, parcours) peuvent être fortement corrélées à ces attributs.

Justice pénale et détention provisoire

Les scores de risque (comme COMPAS aux États-Unis) ont montré des taux de faux positifs plus élevés pour les personnes issues de minorités. La prédiction n’est pas un jugement moral, mais elle oriente des décisions qui ont un poids égal.

Santé

Des modèles entraînés sur des données hospitalières excluent des populations sous-représentées, et les algorithmes de priorisation de soins ont montré des biais de race dans certaines études. La généralisation à d’autres contextes reste d’actualité.

Classification automatique

Les systèmes de reconnaissance faciale et les classificateurs d’image présentent des taux d’erreur plus élevés sur les peaux plus foncées et les femmes. L’écart est mesurable et documenté.

3. Éthique et principes

Quatre principes guident les régulateurs et les chercheurs :

• Transparence : savoir ce que fait le système, sur quelles données, avec quel objectif ;
• Responsabilité : une personne humaine reste-elle responsable du résultat, quel que soit le niveau d’automatisation ;
• Justice et non-discrimination : évaluer les performances sur les sous-groupes, et corriger les déséquilibres ;
• Vie privée et consentement : les données personnelles doivent rester données.

4. Recommandations pratiques

• tester les modèles sur des cohortes représentatives ;
• publier les défis de biais connus ;
• mettre en place des audits indépendants et périodiques ;
• privilégier les approches « humain dans la boucle » pour les décisions à enjeux élevés ;
• documenter les données et les limites (datasheets, model cards).

5. Limites de la régulation

Les cadres (RGPD, AI Act, etc.) progressent, mais la nature évolutive des modèles dépasse parfois les classifications statiques. Une éthique figée ne suffit pas : il faut des boucles de rétroaction.

En résumé

Les biais ne sont pas le défaut des IA : c’est le reflet des données. L’éthique n’est pas une étiquette finale, mais un processus : mesure, transparence, responsabilité et contrôle permanent.