Quand les "algorithmes équitables" produisent de l'injustice : les disparités se produisent en dehors du code

"Si l'algorithme est équitable, les résultats le seront aussi."

Alors que les systèmes de décision automatisés et l'IA se répandent dans la société, nous espérons cela quelque part. En éliminant la subjectivité et les préjugés humains, et en prenant des décisions basées sur des règles, les processus tels que le recrutement, l'admission, l'affectation et la promotion devraient devenir plus justes. Du moins, cela semble plus transparent et moins biaisé que des décisions arbitraires prises en coulisses par des humains.

Cependant, une nouvelle recherche jette de l'eau froide sur cette hypothèse.

Même si le système de correspondance lui-même est conçu de manière équitable, si les utilisateurs ne comprennent pas bien son fonctionnement, des inégalités peuvent en résulter. Le problème ne réside pas uniquement dans l'algorithme. Il se situe plutôt du côté des humains qui utilisent l'algorithme, ainsi que dans l'environnement informationnel qui les entoure.

Ce qui est mis en lumière ici est le système appelé "Residency Match" aux États-Unis, où les étudiants en médecine choisissent leur lieu de stage. Les étudiants en médecine sur le point d'obtenir leur diplôme et les programmes de stage soumettent leurs préférences, et un système de correspondance informatisé décide des combinaisons. Pour les futurs médecins, le lieu de stage a un impact majeur sur leur carrière. Ce n'est donc pas simplement une question d'orientation, mais un véritable tournant dans la vie.

Le système est conçu pour que les étudiants classent les programmes selon leurs véritables préférences. Autrement dit, il n'est pas nécessaire de faire des compromis stratégiques tels que "Ce programme populaire semble hors de portée, donc je vais le classer plus bas" ou "Il est plus sûr de mettre un programme moins compétitif en haut pour avoir plus de chances d'être accepté". En fait, manipuler stratégiquement les classements pourrait éloigner les étudiants du résultat souhaité.

En théorie, le système est très rationnel. Il suffit d'exprimer honnêtement ses préférences. Pas besoin de jouer un jeu. Cela devrait donc être équitable pour tout le monde.

Cependant, la réalité n'est pas si simple.

Les chercheurs ont analysé des données de simulation avec incitations impliquant plus de 1 700 étudiants en médecine, ainsi que des entretiens détaillés avec 66 étudiants ayant vécu l'expérience du Residency Match. Ils ont découvert que même si le système est conçu de manière équitable, les différences dans la compréhension et le comportement de collecte d'informations des étudiants peuvent conduire à des choix sous-optimaux.

Par exemple, certains étudiants pensent : "Je veux vraiment aller à l'hôpital A, mais comme la concurrence semble élevée, je devrais peut-être mettre l'hôpital B en haut pour avoir plus de chances de correspondre." Cela peut sembler une décision prudente, mais dans ce type de système de correspondance, falsifier ses véritables préférences peut en fait faire perdre aux étudiants le meilleur résultat possible.

En d'autres termes, bien que le système soit conçu pour que "choisir honnêtement" soit avantageux, si les utilisateurs ne comprennent pas cela, ils ne peuvent pas utiliser le système correctement. Même avec un mécanisme équitable, si l'accès à la connaissance, la confiance et la qualité des conseils diffèrent parmi les utilisateurs, les résultats ne seront pas équitables.

La recherche a particulièrement mis en lumière les différences entre les sexes. Les étudiants en médecine masculins avaient tendance à rechercher eux-mêmes des informations supplémentaires sur le système, contrairement aux étudiantes. Vérifier le site officiel, regarder des vidéos explicatives, comparer plusieurs sources d'information, effectuer des recherches indépendantes : ces comportements ont permis aux étudiants de mieux comprendre l'algorithme de correspondance et de choisir des stratégies optimales.

En revanche, les étudiants qui se fiaient uniquement aux explications standard du système ou aux conseils généraux de l'université avaient tendance à mal comprendre le fonctionnement. Les conseils des écoles de médecine se résumaient souvent à "Classez selon vos véritables préférences", "Fiez-vous à votre intuition", "Ne réfléchissez pas trop". Bien que ces conseils ne soient pas incorrects, et soient même conformes aux principes du système, ils ne sont pas toujours suffisants.

Mais il y a une différence entre un bon conseil et un conseil suffisant.

"Pourquoi est-il préférable de classer selon ses véritables préférences ?"
"Écrire un programme populaire en haut de la liste est-il désavantageux ?"
"La stratégie de l'école de sécurité s'applique-t-elle dans ce système ?"
"Comment le changement de classement affecte-t-il mon taux de correspondance ?"

Si ces questions ne trouvent pas de réponse, les étudiants agissent par inquiétude. Même si le système est conçu pour être "sans stratégie", si les utilisateurs ne peuvent pas y croire, ils finiront par adopter des stratégies.

C'est là qu'il y a un grand angle mort dans la question de l'équité des algorithmes.

Jusqu'à présent, le débat sur les "algorithmes équitables" s'est principalement concentré sur le contenu du système. Discrimine-t-il certaines caractéristiques ? Apprend-il à partir de données biaisées du passé ? Les critères de décision sont-ils opaques ? Les résultats montrent-ils des biais ? Bien sûr, ces questions sont importantes.

Cependant, ce que montre cette recherche, c'est que même si l'algorithme lui-même n'est pas biaisé, des inégalités peuvent survenir. Même sans code discriminatoire, des résultats biaisés peuvent apparaître. Car les utilisateurs ne partent pas tous du même point de départ.

Certaines personnes ont le temps et la confiance pour rechercher des informations supplémentaires. Certaines reçoivent un soutien pour comprendre le système. Certaines reçoivent des conseils concrets de la part de mentors ou de supérieurs. Certaines hésitent même à exprimer leurs doutes sur le système. Certaines ne réalisent même pas qu'elles devraient rechercher ces informations par elles-mêmes.

Cette différence n'est pas simplement individuelle. Elle est façonnée par le genre, la classe sociale, l'école d'origine, l'environnement familial, le contexte culturel et le réseau environnant. Même si l'algorithme applique les mêmes règles à tout le monde, il ne comble pas automatiquement les écarts d'information et de confiance du côté humain.

En fait, plus le système est complexe, plus ceux qui le comprennent sont avantagés.

Cette dynamique ne se limite pas à la correspondance des stages des étudiants en médecine. Les admissions scolaires, le recrutement d'entreprises, les affectations internes, les évaluations de promotion, les places de marché de talents, les attributions de postes dans le secteur public, les sélections de bourses, les tirages au sort de logements, les admissions en crèche, les affectations militaires, etc., dans notre société, les correspondances et les décisions automatisées augmentent. Souvent, on nous dit que "le système traite équitablement, donc tout va bien".

Cependant, la façon dont les utilisateurs comprennent ce système est étonnamment négligée.

Prenons par exemple le système de candidature interne d'une entreprise. Les employés classent leurs départements préférés, et le système décide de l'affectation en fonction des aptitudes et des préférences. Même si le système est équitable, si un employé croit à tort qu'écrire un département populaire en premier est désavantageux, il pourrait abaisser ses préférences dès le départ. En revanche, un employé qui comprend bien le système exprime ses véritables préférences sans hésitation. En conséquence, sous les mêmes règles, ceux qui comprennent le système sont avantagés.

La même chose peut se produire dans les admissions universitaires et les choix d'école. Si les parents ou les élèves ne comprennent pas bien le système de sélection, ils pourraient faire des choix désavantageux en pensant prendre des précautions. Les familles informées maîtrisent le système, tandis que celles qui ne le sont pas le comprennent mal. L'équité des algorithmes reflète directement les différences de capital informationnel des familles.

Dans ce sens, un système équitable ne se contente pas d'être "un système qui calcule sans biais". Il doit être un système que les utilisateurs comprennent correctement, utilisent en toute confiance et où ils peuvent recevoir de l'aide si nécessaire.

Les chercheurs suggèrent des mesures pratiques telles que des explications plus claires, des supports pédagogiques répétitifs, des simulations, des exercices interactifs, et l'encouragement à accéder à plusieurs sources d'information. L'important est de permettre aux utilisateurs de comprendre "pourquoi il est optimal de classer selon ses véritables préférences", plutôt que de simplement dire "classez selon vos préférences".

C'est à la fois une question d'éducation des utilisateurs et de conception du système.

Si les utilisateurs sont enclins à mal comprendre, ce n'est pas seulement leur responsabilité. Si les explications sont vagues, si les aspects contre-intuitifs du système sont ignorés, si l'atmosphère rend difficile de poser des questions, et si les conseils standard sont trop abstraits, alors il y a un problème dans la mise en œuvre du système. Si l'on veut vraiment réaliser l'équité, il faut concevoir non seulement l'algorithme, mais aussi les points de contact avec les utilisateurs.

En regardant les réactions sur les réseaux sociaux, l'attention portée à cette recherche est encore limitée, mais elle commence à susciter l'intérêt dans la communauté des experts. Un des auteurs de l'article a partagé le contenu de la recherche sur LinkedIn, recevant 69 réactions et 3 commentaires au moment de la vérification, avec des félicitations et des commentaires positifs tels que "un article intéressant". Plutôt que de provoquer un débat massif ou une controverse parmi les utilisateurs généraux, cette recherche est actuellement partagée discrètement parmi ceux qui s'intéressent à la gestion, à l'éducation médicale et à l'équité des algorithmes.

D'un autre côté, sur la page de l'article de Phys.org, le nombre de partages était faible et il y avait peu de commentaires au moment de la vérification. Cela ne signifie pas que la recherche est moins importante, mais plutôt que le sujet est technique et que les lecteurs ordinaires ont du mal à se l'approprier immédiatement. Cependant, le problème soulevé par cette recherche est en réalité directement lié à la vie de nombreuses personnes.

Car nous vivons déjà dans une société où "ceux qui comprennent le système en bénéficient".

Fiscalité, bourses, assurances, prêts immobiliers, systèmes de points, recherche d'emploi, sites de recrutement, choix d'école, démarches administratives. Bien que les règles soient ostensiblement les mêmes, les résultats varient selon le niveau de compréhension. Lorsque les algorithmes s'ajoutent à cela, le problème devient encore plus invisible. Avec un interlocuteur humain, il est facile de dire "il manque des explications", mais face à un système, on a tendance à accepter que "c'est comme ça".

Cependant, l'équité ne consiste pas à rejeter la responsabilité sur les utilisateurs.

"C'est la faute de ceux qui n'ont pas bien cherché."
"C'est la faute de ceux qui ne comprennent pas le système."
"C'est la faute de ceux qui ne posent pas de questions."

Il est facile de rejeter la faute ainsi. Mais plus le système est socialement important, plus la responsabilité de soutenir la compréhension des utilisateurs incombe aux opérateurs. Surtout si le système concerne des choix de vie, des carrières, des revenus, des opportunités éducatives, un manque d'explications n'est pas seulement un manque de courtoisie, mais peut devenir un terreau d'inégalité.

Les questions soulevées par cette recherche sont très lourdes pour la conception des systèmes à l'ère de l'IA.

Est-il suffisant de créer simplement un algorithme équitable ?
Si les utilisateurs font des choix désavantageux en raison de malentendus sur le système, est-ce vraiment équitable ?
Est-ce que publier "les bonnes informations" suffit à remplir notre devoir d'explication ?
Jusqu'où devons-nous aller pour soutenir ceux qui ont des différences de capacité ou de confiance pour comprendre le système ?

Dans la société future, non seulement la transparence des algorithmes, mais aussi leur "compréhensibilité" deviendront plus importantes. Même si des explications transparentes existent, si elles ne sont compréhensibles que par des experts, elles n'ont pas de sens. La transparence ne conduit à l'équité que lorsque les utilisateurs peuvent comprendre comment cela affecte leur jugement.

Pour créer un système équitable, il ne suffit pas d'avoir des programmeurs ; il faut aussi des personnes pour expliquer, éduquer, gérer le système, et écouter les inquiétudes des utilisateurs. L'équité des algorithmes n'est pas seulement le travail du département technique. C'est une conception de la communication organisationnelle, de l'éducation et de la confiance.

Le Residency Match pour les étudiants en médecine n'est qu'un exemple. Mais les leçons qui en découlent sont vastes.

Des règles équitables ne fonctionnent équitablement que lorsqu'elles sont soutenues par une compréhension équitable.
Et l'inégalité ne naît pas nécessairement de la discrimination malveillante.

Même un système conçu avec de bonnes intentions peut produire des résultats injustes si les explications sont insuffisantes, si le soutien est inégal, et si la compréhension des utilisateurs varie.

À l'ère de l'introduction de l'IA et des algorithmes dans la société, ce dont nous avons besoin n'est pas une confiance naïve selon laquelle "les machines sont équitables". Au contraire, c'est précisément parce que les machines semblent équitables que nous devons examiner attentivement la compréhension, le comportement et l'environnement informationnel des humains qui les entourent.

L'équité n'existe pas seulement dans l'algorithme.

Elle se trouve entre les personnes qui utilisent l'algorithme.

Source URL

Article de présentation de la recherche par Phys.org. Il rapporte que "même un système de correspondance conçu équitablement peut produire des résultats inégaux en raison des différences de compréhension des utilisateurs".
https://phys.org/news/2026-05-fair-unequal-outcomes.html

Page de publication de l'article de recherche. Résumé, auteurs, informations de publication et DOI de l'article "Gendered Navigation of Advice and Suboptimal Behavior in Matching Algorithms: Evidence from the Residency Match" par Samuel E. Skowronek et Joyce C. He.
https://pubsonline.informs.org/doi/10.1287/orsc.2024.19652

Communiqué de presse par INFORMS. Points clés de la recherche, données de simulation de plus de 1 700 étudiants en médecine, entretiens avec 66 personnes, différences de compréhension du système et de comportement de collecte d'informations.
https://www.informs.org/News-Room/INFORMS-Releases/News-Releases/Fair-Matching-Systems-Can-Still-Produce-Unequal-Outcomes-New-Research-Finds

Communiqué de presse publié sur EurekAlert!. Contexte de la recherche, fonctionnement du Residency Match, implications pratiques, date de publication et DOI.
https://www.eurekalert.org/news-releases/1128471

##HTML