Cuando los "algoritmos justos" generan injusticia: la desigualdad ocurre fuera del código

"Si el algoritmo es justo, el resultado también lo será".

A medida que la IA y los sistemas automatizados de toma de decisiones se expanden en la sociedad, esperamos que esto sea cierto en algún lugar. Al eliminar la subjetividad y los prejuicios humanos y tomar decisiones mecánicas basadas en reglas, situaciones importantes como contrataciones, admisiones, asignaciones y promociones deberían volverse más justas. Al menos, parece más transparente y menos sesgado que las decisiones arbitrarias tomadas por personas en secreto.

Sin embargo, una nueva investigación desafía este supuesto.

Incluso si el sistema de emparejamiento en sí está diseñado de manera justa, si los usuarios no entienden completamente su funcionamiento, puede surgir desigualdad como resultado. El problema no reside solo dentro del algoritmo. Más bien, está en el lado humano que utiliza el algoritmo y en el entorno de información que rodea a esas personas.

El enfoque está en el sistema llamado "Residency Match" en los Estados Unidos, donde los estudiantes de medicina deciden sus lugares de residencia. Los estudiantes de medicina que están a punto de graduarse y los programas de residencia presentan sus preferencias, y un sistema de emparejamiento computarizado determina las combinaciones. Para los futuros médicos, dónde reciben su formación puede tener un gran impacto en sus carreras. Esto no es solo una simple elección de carrera; es más bien un punto de inflexión en la vida.

Este sistema está diseñado para que sea mejor para los estudiantes clasificar los programas según sus verdaderas preferencias. En otras palabras, no es necesario hacer tácticas como "Este programa popular parece difícil de conseguir, así que lo bajaré en mi lista" o "Debería poner un lugar más seguro en la parte superior para tener más posibilidades de ser aceptado". De hecho, manipular estratégicamente el orden de las preferencias puede alejar al individuo del resultado deseado.

Como principio del sistema, es muy racional. Solo necesitas ser honesto con tus preferencias. No hay necesidad de jugar. Entonces, debería ser justo para todos.

Sin embargo, la realidad no es tan simple.

Los investigadores analizaron datos de simulación con incentivos de más de 1,700 estudiantes de medicina y entrevistas detalladas con 66 estudiantes que experimentaron el Residency Match. Descubrieron que, incluso si el sistema está diseñado de manera justa, las diferencias en la comprensión y el comportamiento de recopilación de información de los estudiantes pueden llevar a elecciones subóptimas.

Por ejemplo, algunos estudiantes piensan: "Realmente quiero ir al Hospital A, pero parece que es muy competitivo, así que tal vez sea más fácil emparejarme si pongo el Hospital B en la parte superior". Esto puede parecer una decisión prudente a primera vista. Sin embargo, en este tipo de sistema de emparejamiento, al falsificar el orden de tus verdaderas preferencias, puedes perder la mejor opción para ti.

En otras palabras, aunque el sistema está diseñado para que "elegir honestamente" sea ventajoso, si los usuarios no entienden esto, no pueden utilizar el sistema correctamente. Incluso con un sistema justo, si hay diferencias en el conocimiento, la confianza y la calidad del asesoramiento que reciben los usuarios, el resultado no será justo.

Lo que llamó especialmente la atención en esta investigación fue la diferencia entre géneros. Los estudiantes de medicina masculinos tendían a buscar información adicional sobre el sistema más que las estudiantes femeninas. Consultaban el sitio web oficial, veían videos explicativos, comparaban múltiples fuentes de información y realizaban búsquedas independientes. Cuanto más realizaban estas acciones, más comprendían el algoritmo de emparejamiento y era más fácil para ellos adoptar la estrategia óptima.

Por otro lado, los estudiantes que confiaban solo en las explicaciones estándar del sistema y en los consejos generales de la universidad tendían a malinterpretar el sistema. Los consejos de las escuelas de medicina solían ser "Clasifica según tus verdaderas preferencias", "Sigue tu intuición" y "No pienses demasiado". Estos no son incorrectos; de hecho, son correctos como principios del sistema.

Sin embargo, hay una diferencia entre un consejo correcto y un consejo suficiente.

"¿Por qué es mejor clasificar según tus verdaderas preferencias?"
"¿No es desventajoso escribir un programa popular en la parte superior?"
"¿Funciona el concepto de una escuela segura en este sistema?"
"¿Cómo cambia mi tasa de emparejamiento al cambiar el orden?"

Si no se pueden responder estas preguntas, los estudiantes actuarán basándose en la ansiedad. Incluso si el sistema está diseñado para no requerir tácticas, si los usuarios no pueden creerlo, terminarán haciendo tácticas de todos modos.

Aquí reside un gran punto ciego en la equidad algorítmica.

Hasta ahora, las discusiones sobre "algoritmos justos" se han centrado principalmente en el contenido del sistema. ¿Discrimina contra ciertos atributos? ¿Aprende de datos sesgados del pasado? ¿Son opacos los criterios de juicio? ¿Hay sesgos en los resultados? Por supuesto, estos son importantes.

Sin embargo, lo que esta investigación muestra es que incluso si el algoritmo en sí no está sesgado, puede surgir desigualdad. Incluso sin un código discriminatorio, pueden ocurrir resultados sesgados. Esto se debe a que los usuarios no están en la misma línea de partida.

Algunas personas tienen el tiempo y la confianza para buscar información adicional. Algunas personas reciben apoyo para entender el sistema. Algunas personas reciben consejos específicos de mentores o líderes. Algunas personas dudan en expresar sus dudas sobre el sistema. Algunas personas ni siquiera se dan cuenta de que "deberían investigar esto por sí mismas".

Esta diferencia no es solo una diferencia individual. También está formada por género, clase, escuela de origen, entorno familiar, antecedentes culturales y redes circundantes. Aunque el algoritmo pretende aplicar las mismas reglas a todos, no llena automáticamente las brechas de información y confianza que existen en el lado humano.

De hecho, cuanto más complejo es el sistema, más ventajoso es para aquellos que lo entienden.

Esta estructura no se limita al emparejamiento de residencias de estudiantes de medicina. Las admisiones escolares, las contrataciones corporativas, las asignaciones internas, las evaluaciones de promoción, los mercados de talento, las asignaciones de trabajo en el sector público, las selecciones de becas, los sorteos de viviendas, las admisiones a guarderías, las asignaciones militares, etc., son áreas donde los emparejamientos y las decisiones automatizadas están aumentando en nuestra sociedad. A menudo se explica que "el sistema está procesando de manera justa, por lo que está bien".

Sin embargo, se presta sorprendentemente poca atención a cómo los usuarios entienden ese sistema.

Por ejemplo, consideremos un sistema de solicitud interna en una empresa. Los empleados clasifican sus departamentos deseados y el sistema decide la asignación según la aptitud y las preferencias. Aunque el sistema es justo, si un empleado malinterpreta que "es desventajoso escribir un departamento popular como primera opción", podría bajar sus preferencias desde el principio. Por otro lado, los empleados que entienden bien el sistema expresan sus verdaderas preferencias sin dudarlo. Como resultado, bajo las mismas reglas, aquellos que entienden tienen más ventajas.

Lo mismo puede ocurrir en las admisiones universitarias y la selección escolar. Si los padres o estudiantes no entienden correctamente el sistema de selección, podrían tomar decisiones desventajosas pensando que son una medida de seguridad. Las familias con más información utilizan mejor el sistema, mientras que las familias sin información tienden a malinterpretar la intención del sistema. La equidad algorítmica refleja directamente la diferencia en el capital de información de las familias.

En este sentido, un sistema justo no es suficiente con ser simplemente "un sistema que calcula sin sesgos". Debe ser un sistema que los usuarios puedan entender correctamente, usar con confianza y recibir apoyo cuando sea necesario.

Los investigadores sugieren medidas prácticas como explicaciones más claras, materiales de aprendizaje repetibles, simulaciones, prácticas interactivas y fomentar el acceso a múltiples fuentes de información. Lo importante es no solo decir "escribe según tus verdaderas preferencias", sino permitir que los usuarios entiendan "por qué eso es lo óptimo".

Esto es tanto un problema de educación del usuario como de diseño del sistema.

Si los usuarios tienden a malinterpretar, no es solo su responsabilidad. Si las explicaciones son vagas, si se dejan partes del sistema que contradicen la intuición, si hay un ambiente que dificulta hacer preguntas y si los consejos estándar son demasiado abstractos, hay un problema en la implementación del sistema. Si realmente queremos lograr equidad, debemos diseñar no solo la etapa de diseño del algoritmo, sino también los puntos de contacto con los usuarios.

Al observar las reacciones en las redes sociales, la atención a esta investigación aún es limitada, pero está comenzando a atraer interés en la comunidad de expertos. Una publicación de uno de los autores del artículo en LinkedIn que presenta el contenido de la investigación tenía, al momento de la verificación, 69 reacciones y 3 comentarios, con respuestas positivas como felicitaciones por la investigación y comentarios de "un artículo interesante". En lugar de una controversia llamativa o un debate a gran escala por parte de usuarios generales, en este momento se está compartiendo silenciosamente entre aquellos interesados en la administración, la educación médica y la equidad algorítmica.

Por otro lado, en la página del artículo de Phys.org, el número de compartidos era bajo y casi no había comentarios. Esto no significa que la investigación sea menos importante, sino que el tema es especializado y es difícil para los lectores generales relacionarlo inmediatamente con su propia vida. Sin embargo, el problema que destaca esta investigación está realmente conectado con la vida de muchas personas.

Porque ya vivimos en una sociedad donde "aquellos que pueden entender el sistema obtienen beneficios".

Impuestos, becas, seguros, hipotecas, sistemas de puntos, búsqueda de empleo, sitios de cambio de trabajo, selección escolar, procedimientos administrativos. Aunque las reglas son las mismas en la superficie, los resultados cambian según el nivel de comprensión. Cuando se añade un algoritmo, el problema se vuelve aún más invisible. Con un humano, es más fácil decir "falta explicación", pero con un sistema, tendemos a aceptarlo como "así es".

Sin embargo, la equidad no es imponer la responsabilidad al usuario.

"Es culpa de quien no investigó adecuadamente"
"Es culpa de quien no puede entender el sistema"
"Es culpa de quien no hace preguntas"

Es fácil descartar así. Pero cuanto más importante es un sistema socialmente, más responsabilidad tiene el operador de apoyar la comprensión del usuario. Especialmente si ese sistema está relacionado con el camino de vida, la profesión, los ingresos o las oportunidades educativas, la falta de explicación no es solo una falta de amabilidad, sino que puede ser un caldo de cultivo para la desigualdad.

Las preguntas planteadas por esta investigación son muy significativas para el diseño de sistemas en la era de la IA.

¿Es suficiente crear solo un algoritmo justo?
Si los usuarios hacen elecciones desventajosas debido a malentendidos del sistema, ¿es realmente justo?
¿Es suficiente decir "hemos publicado la información correcta" para cumplir con la responsabilidad de explicar?
Cuando hay diferencias en la capacidad y confianza para entender el sistema, ¿hasta dónde debemos apoyar?

En la sociedad futura, no solo la transparencia del algoritmo, sino la "comprensibilidad" será más importante. Incluso si hay una explicación transparente, no tiene sentido si solo los expertos pueden entenderla. Solo cuando los usuarios pueden entender cómo afecta a sus decisiones, la transparencia se traduce en equidad.

Para crear un sistema justo, no solo se necesitan personas que escriban el código, sino también personas que expliquen, eduquen, operen el sistema y escuchen las preocupaciones de los usuarios. La equidad algorítmica no es solo tarea del departamento técnico. Es el diseño de la comunicación de toda la organización, el diseño educativo y el diseño de confianza.

El Residency Match de los estudiantes de medicina es solo un ejemplo. Sin embargo, las lecciones que se pueden extraer de él son amplias.

Las reglas justas solo funcionan de manera justa cuando son respaldadas por una comprensión justa.
Y la desigualdad no siempre surge de la discriminación malintencionada.
Incluso un sistema diseñado con buenas intenciones puede producir resultados injustos si falta explicación, el apoyo es desigual y hay diferencias en la comprensión de los usuarios.

En la era de la introducción de la IA y los algoritmos en la sociedad, lo que se necesita no es una confianza ingenua de que "las máquinas son justas". Más bien, precisamente porque las máquinas parecen justas, debemos observar cuidadosamente la comprensión, el comportamiento y el entorno de información de las personas que las rodean.

La equidad no solo existe dentro del algoritmo.
Está entre las personas que usan el algoritmo.

Fuente URL

Artículo de Phys.org que presenta la investigación. Informa sobre el contenido de la investigación que sugiere que incluso un sistema de emparejamiento diseñado de manera justa puede producir resultados desiguales debido a diferencias en la comprensión de los usuarios.
https://phys.org/news/2026-05-fair-unequal-outcomes.html

Página de publicación del artículo de investigación. Resumen, autores, información de publicación y DOI del artículo "Gendered Navigation of Advice and Suboptimal Behavior in Matching Algorithms: Evidence from the Residency Match" de Samuel E. Skowronek y Joyce C. He.
https://pubsonline.informs.org/doi/10.1287/orsc.2024.19652

Comunicado de prensa de INFORMS. Se revisaron los puntos clave de la investigación, los datos de simulación de más de 1,700 estudiantes de medicina, las entrevistas a 66 personas y las diferencias en la comprensión del sistema y el comportamiento de recopilación de información.
https://www.informs.org/News-Room/INFORMS-Releases/News-Releases/Fair-Matching-Systems-Can-Still-Produce-Unequal-Outcomes-New-Research-Finds

Comunicado de prensa publicado en EurekAlert! Se revisaron los antecedentes de la investigación, el funcionamiento del Residency Match, las implicaciones prácticas, la fecha de publicación y el DOI.
https://www.eurekalert.org/news-releases/1128471

Publicación en LinkedIn por el autor. Se revisó la introducción al contenido de la investigación, el número de reacciones y la tendencia de los comentarios observados en las redes sociales.
https://www.linkedin.com/posts/sam-skowronek-1775896a_gendered-navigation-of-advice-and-suboptimal-activity-7442932708063821824-SJds