Biais algorithmiques : pourquoi un outil de recrutement a pénalisé le mot « féminin »

Deux CV identiques, à un seul mot près : « féminin ». Un outil d'Amazon notait moins bien le second. Personne ne l'avait programmé pour ça. Alors, d'où vient le biais ? En 1988, au Royaume-Uni, une enquête conclut que le programme de tri des candidatures d'une école de médecine londonienne désavantageait des femmes et des noms non européens. En 2016, ProPublica analyse les scores de risque d'un logiciel de justice en Floride et y voit un biais racial ; son éditeur conteste ces conclusions. En 2024, le règlement européen sur l'IA entre en vigueur ; pour les systèmes à haut risque, il prévoit l'examen des données à la recherche de biais. Trois étapes pour comprendre. C'est parti. Étape un : le biais entre par les données. L'outil avait appris sur dix ans de CV, envoyés surtout par des hommes. Il en a tiré seul une règle que personne n'avait écrite : pénaliser le mot « féminin ». Amazon a abandonné l'outil. Étape deux : la moyenne cache l'écart. En 2018, Joy Buolamwini et Timnit Gebru testent des logiciels commerciaux qui classent un visage comme masculin ou féminin. Mesurées groupe par groupe, les erreurs montent jusqu'à 34,7 % sur les visages de femmes à la peau foncée, contre 0,8 % au plus sur ceux d'hommes à la peau claire. Étape trois : mesurer, puis corriger. Des outils comme AI Fairness 360, d'IBM, ou Fairlearn, de Microsoft, comparent les résultats de chaque groupe. Si l'écart est réel, trois voies : corriger les données, ajuster le seuil, ou renoncer à l'usage. En Europe, l'AI Act exige cet examen des biais pour les systèmes à haut risque, dont le recrutement. Chez KOAEE, nous appliquons cette règle aux langues. Dans nos démos, à la clinique, chez l'assureur, à la mairie : les mêmes questions dans les seize langues, 1 168 réponses, jugées une par une. Une langue moins bien servie ne se cache pas dans la moyenne : on la voit, et on la corrige. Pour comprendre l'IA en 150 secondes, abonnez-vous à la chaîne. KOAEE, l'IA qui reste entre vous. Essayez-le sur koaee.ai, dès aujourd'hui.