Wann „faire Algorithmen“ unfair werden – Die Ungleichheit entsteht außerhalb des Codes

„Wenn der Algorithmus fair ist, werden auch die Ergebnisse fair sein.“

Mit der Verbreitung von KI und automatisierten Entscheidungssystemen in der Gesellschaft erwarten wir dies irgendwo. Indem wir die menschliche Subjektivität und Voreingenommenheit beseitigen und mechanisch auf der Grundlage von Regeln entscheiden, sollten wichtige Bereiche wie Einstellung, Studium, Zuweisung und Beförderung gerechter werden. Zumindest scheint es transparenter und weniger voreingenommen zu sein, als wenn Menschen im Hintergrund willkürlich entscheiden.

Doch neue Forschungen werfen kaltes Wasser auf diese Annahme.

Selbst wenn das Matching-System selbst fair gestaltet ist, kann Ungleichheit entstehen, wenn die Nutzer das System nicht ausreichend verstehen. Das Problem liegt nicht nur im Algorithmus. Vielmehr liegt es auf der Seite der Menschen, die den Algorithmus nutzen, und in der Informationsumgebung, die diese Menschen umgibt.

Im Fokus steht das „Residency Match“-System in den USA, das bestimmt, wo Medizinstudenten ihre Ausbildung absolvieren. Medizinstudenten, die kurz vor dem Abschluss stehen, und Ausbildungsprogramme reichen jeweils ihre Präferenzen ein, und ein computergestütztes Matching-System bestimmt die Kombinationen. Für angehende Ärzte ist der Ort der Ausbildung entscheidend für ihre Karriere. Es ist also nicht nur eine einfache Karriereanpassung, sondern eher ein Wendepunkt im Leben.

Das System ist so konzipiert, dass es für die Studenten am besten ist, die Programme in der Reihenfolge ihrer tatsächlichen Präferenzen zu ordnen. Anders ausgedrückt: Es ist nicht notwendig, taktische Manöver wie „Dieses beliebte Programm scheint unmöglich zu sein, also werde ich es herabstufen“ oder „Es ist einfacher, angenommen zu werden, wenn ich die sichere Wahl oben platziere“ durchzuführen. Vielmehr kann eine solche strategische Rangmanipulation das gewünschte Ergebnis in weite Ferne rücken.

Als Systemidee ist es sehr rational. Man muss nur ehrlich seine Präferenzen angeben. Es gibt kein Spiel zu spielen. Dann sollte es für alle fair sein.

In der Realität war es jedoch nicht so einfach.

Die Forscher analysierten Simulationsdaten mit Anreizen von über 1.700 Medizinstudenten und detaillierte Interviews mit 66 Medizinstudenten, die tatsächlich am Residency Match teilnahmen. Das Ergebnis zeigte, dass selbst wenn das System fair gestaltet ist, Unterschiede im Verständnis und im Informationsverhalten der Studenten zu suboptimalen Entscheidungen führen können.

Einige Studenten denken beispielsweise: „Ich möchte wirklich ins Krankenhaus A, aber da die Konkurrenz dort hoch zu sein scheint, wäre es einfacher, wenn ich Krankenhaus B höher platziere.“ Dies mag auf den ersten Blick eine vorsichtige Entscheidung sein. In einem solchen Matching-System kann jedoch das Verfälschen der tatsächlichen Präferenzreihenfolge dazu führen, dass man das beste Ergebnis verpasst.

Das System ist so gestaltet, dass „ehrliche Auswahl“ vorteilhaft ist, aber wenn die Nutzer das nicht verstehen, können sie das System nicht korrekt nutzen. Auch wenn es ein faires System gibt, wird das Ergebnis nicht fair sein, wenn die Kenntnisse, das Selbstvertrauen und die Qualität der Ratschläge der Nutzer unterschiedlich sind.

Besonders hervorgehoben wurde in dieser Studie der Unterschied zwischen den Geschlechtern. Männliche Medizinstudenten neigten eher dazu, zusätzliche Informationen über das System selbst zu suchen als weibliche Medizinstudenten. Offizielle Websites zu überprüfen, Erklärvideos anzusehen, mehrere Informationsquellen zu vergleichen und eigenständig zu recherchieren. Studenten, die solche Maßnahmen ergriffen, hatten ein tieferes Verständnis des Matching-Algorithmus und konnten eher die optimale Strategie verfolgen.

Auf der anderen Seite neigten Studenten, die sich nur auf die standardmäßigen Erklärungen des Systems und allgemeine Ratschläge der Universität verließen, eher dazu, das System misszuverstehen. Die Ratschläge der medizinischen Fakultäten lauteten oft: „Ordnen Sie in der Reihenfolge Ihrer tatsächlichen Präferenzen“, „Folgen Sie Ihrem Bauchgefühl“, „Denken Sie nicht zu viel nach“. Diese sind keineswegs falsch. Vielmehr sind sie als Prinzip des Systems korrekt.

Aber richtige Ratschläge und ausreichende Ratschläge sind nicht dasselbe.

„Warum ist es am besten, in der Reihenfolge der tatsächlichen Präferenzen zu ordnen?“
„Wird es nicht nachteilig sein, ein beliebtes Programm oben zu platzieren?“
„Gilt das Konzept einer sicheren Schule auch in diesem System?“
„Wie ändert sich meine Matching-Rate, wenn ich die Reihenfolge ändere?“

Wenn diese Fragen nicht beantwortet werden können, handeln die Studenten aus Unsicherheit. Auch wenn das System so gestaltet ist, dass „keine Taktik erforderlich“ ist, werden die Nutzer taktieren, wenn sie das nicht glauben können.

Hier liegt ein großer blinder Fleck in der Diskussion um algorithmische Fairness.

Bisher wurde in der Diskussion über „faire Algorithmen“ hauptsächlich der Inhalt des Systems hinterfragt. Diskriminiert es bestimmte Attribute? Lernt es aus voreingenommenen Daten der Vergangenheit? Sind die Entscheidungskriterien intransparent? Gibt es Verzerrungen in den Ergebnissen? Natürlich sind diese Punkte wichtig.

Aber die aktuelle Forschung zeigt, dass selbst wenn der Algorithmus selbst nicht voreingenommen ist, Ungleichheit entstehen kann. Auch ohne diskriminierenden Code können voreingenommene Ergebnisse auftreten. Denn die Nutzer stehen nicht auf der gleichen Startlinie.

Einige haben die Zeit und das Selbstvertrauen, zusätzliche Informationen zu suchen. Einige erhalten Unterstützung, um das System zu verstehen. Einige erhalten konkrete Ratschläge von älteren Kollegen oder Mentoren. Einige zögern, überhaupt Fragen zum System zu stellen. Einige merken nicht einmal, dass „das etwas ist, das sie selbst recherchieren sollten“.

Dieser Unterschied ist nicht nur ein individueller Unterschied. Er wird auch durch Geschlecht, Schicht, Herkunftsschule, familiäres Umfeld, kulturellen Hintergrund und das umgebende Netzwerk geformt. Auch wenn der Algorithmus versucht, für alle die gleichen Regeln anzuwenden, füllt er nicht automatisch die Informations- und Selbstvertrauenslücken auf der menschlichen Seite.

Je komplexer das System, desto mehr profitieren diejenigen, die es verstehen.

Dieses Muster beschränkt sich nicht nur auf das Matching von Medizinstudenten. In unserer Gesellschaft nehmen Matching und automatisierte Entscheidungsfindung zu, sei es bei Schuleintritt, Unternehmensrekrutierung, interner Zuweisung, Beförderungsbewertung, Talentmarktplätzen, öffentlichen Stellenzuweisungen, Stipendienauswahl, Wohnungsverlosungen, Kindergartenanmeldungen oder militärischen Einsätzen. Oft wird erklärt: „Das System verarbeitet fair, also ist es in Ordnung.“

Aber wie die Nutzer dieses System verstehen, wird überraschend oft vernachlässigt.

Betrachten wir zum Beispiel ein internes Bewerbungsverfahren eines Unternehmens. Mitarbeiter ordnen ihre Wunschabteilungen, und das System entscheidet die Zuweisung basierend auf Eignung und Präferenz. Auch wenn das System fair ist, könnten Mitarbeiter, die fälschlicherweise glauben, dass es nachteilig ist, eine beliebte Abteilung als erste Wahl zu nennen, ihre Präferenzen von Anfang an herabsetzen. Auf der anderen Seite geben Mitarbeiter, die das System gut verstehen, ohne Zögern ihre tatsächlichen Wünsche an. Das Ergebnis ist, dass unter denselben Regeln diejenigen, die das System verstehen, im Vorteil sind.

Dasselbe kann bei Universitätszulassungen oder Schulauswahl passieren. Wenn Eltern oder Schüler das Auswahlverfahren nicht richtig verstehen, könnten sie aus Sicherheitsgründen eine nachteilige Wahl treffen. Familien mit mehr Informationen nutzen das System besser, während Familien ohne Informationen die Absicht des Systems missverstehen. Die Fairness des Algorithmus spiegelt die Informationskapitalunterschiede der Familien wider.

In diesem Sinne reicht ein faires System, das „ohne Voreingenommenheit berechnet“, nicht aus. Es muss ein System sein, das die Nutzer richtig verstehen, sicher verwenden und bei Bedarf Unterstützung erhalten können.

Die Forscher schlagen praktische Maßnahmen wie klarere Erklärungen, wiederholbare Lernmaterialien, Simulationen, interaktive Übungen und die Förderung des Zugangs zu mehreren Informationsquellen vor. Wichtig ist, nicht nur zu sagen: „Ordnen Sie in der Reihenfolge Ihrer tatsächlichen Präferenzen“, sondern zu ermöglichen, dass die Nutzer verstehen, „warum das optimal ist“.

Dies ist sowohl ein Problem der Nutzerbildung als auch der Systemgestaltung.

Wenn Nutzer leicht missverstehen, ist das nicht nur ihre Verantwortung. Wenn Erklärungen vage sind, intuitive Widersprüche im System bestehen bleiben, es eine Atmosphäre gibt, in der Fragen schwer zu stellen sind, und standardmäßige Ratschläge zu abstrakt sind, dann gibt es ein Problem in der Systemimplementierung. Wenn man Fairness ernsthaft erreichen will, muss man nicht nur das Design des Algorithmus berücksichtigen, sondern auch die Berührungspunkte mit den Nutzern gestalten.

Obwohl die Aufmerksamkeit für diese Forschung in den sozialen Medien noch begrenzt ist, beginnt sie, in Fachkreisen Interesse zu wecken. Ein LinkedIn-Beitrag eines der Autoren, der den Forschungsinhalt vorstellt, erhielt zum Zeitpunkt der Überprüfung 69 Reaktionen und 3 Kommentare, in denen die Forschung gelobt und als „interessante Arbeit“ bezeichnet wurde. Anstatt eines großen Aufruhrs oder einer weit verbreiteten Diskussion unter allgemeinen Nutzern, wird es derzeit still unter denen geteilt, die sich für Betriebswirtschaft, medizinische Bildung und algorithmische Fairness interessieren.

Auf der Phys.org-Artikelseite war die Anzahl der geteilten Inhalte zum Zeitpunkt der Überprüfung gering, und es gab kaum Kommentare. Dies liegt nicht daran, dass die Forschung nicht wichtig ist, sondern daran, dass das Thema so spezialisiert ist, dass es für allgemeine Leser schwer ist, es sofort auf sich zu beziehen. Doch das Problem, das diese Forschung aufzeigt, ist tatsächlich eng mit dem Leben vieler Menschen verbunden.

Denn wir leben bereits in einer Gesellschaft, in der „diejenigen, die das System verstehen, profitieren“.

Steuersysteme, Stipendien, Versicherungen, Hypotheken, Punktesysteme, Jobsuche, Karrierewechsel-Websites, Schulauswahl, Verwaltungsverfahren. Auch wenn die Regeln oberflächlich gleich sind, ändern sich die Ergebnisse je nach Verständnis. Wenn Algorithmen hinzukommen, wird das Problem noch unsichtbarer. Bei menschlichen Ansprechpartnern kann man leicht sagen: „Die Erklärung ist unzureichend“, aber bei einem System neigt man dazu, es als „so ist es eben“ zu akzeptieren.

Aber Fairness bedeutet nicht, die Verantwortung auf die Nutzer abzuwälzen.

„Es ist die Schuld derjenigen, die sich nicht richtig informiert haben.“
„Es ist die Schuld derjenigen, die das System nicht verstehen können.“
„Es ist die Schuld derjenigen, die keine Fragen stellen.“

Es ist einfach, so zu urteilen. Aber je wichtiger das System gesellschaftlich ist, desto mehr Verantwortung hat die Verwaltung, das Verständnis der Nutzer zu unterstützen. Besonders wenn das System mit Lebenswegen, Berufen, Einkommen und Bildungschancen zu tun hat, kann ein Mangel an Erklärung nicht nur unfreundlich, sondern eine Quelle der Ungleichheit sein.

Die Fragen, die diese Forschung aufwirft, sind für das Design von Systemen im KI-Zeitalter von großer Bedeutung.

Reicht es aus, nur einen fairen Algorithmus zu erstellen?
Ist es wirklich fair, wenn Nutzer das System missverstehen und benachteiligte Entscheidungen treffen?
Kann man sagen, dass die bloße Veröffentlichung korrekter Informationen eine ausreichende Erfüllung der Informationspflicht ist?
Wie weit sollte man unterstützen, wenn es Unterschiede in der Fähigkeit oder dem Selbstvertrauen gibt, das System zu verstehen?

In der zukünftigen Gesellschaft wird nicht nur die Transparenz von Algorithmen, sondern auch die „Verständlichkeit“ wichtiger. Selbst wenn es transparente Erklärungen gibt, haben sie keinen Sinn, wenn sie nur für Experten verständlich sind. Erst wenn die Nutzer verstehen, wie es ihre Entscheidungen beeinflusst, führt Transparenz zu Fairness.

Um ein faires System zu schaffen, braucht es nicht nur diejenigen, die Code schreiben, sondern auch diejenigen, die erklären, unterrichten, das System betreiben und die Ängste der Nutzer anhören. Algorithmische Fairness ist nicht nur die Aufgabe der technischen Abteilung. Es ist die Gestaltung der Kommunikation der gesamten Organisation, der Bildung und des Vertrauens.

Das Residency Match für Medizinstudenten ist nur ein Beispiel. Aber die daraus gewonnenen Lehren sind weitreichend.

Faire Regeln funktionieren nur dann fair, wenn sie durch ein faires Verständnis unterstützt werden.
Und Ungleichheit entsteht nicht unbedingt aus bösartiger Diskriminierung.
Selbst gut gemeinte Systeme können, wenn es an Erklärung fehlt, Unterstützung unausgewogen ist und das Verständnis der Nutzer unterschiedlich ist, zu unfairen Ergebnissen führen.

In einer Zeit, in der KI und Algorithmen in die Gesellschaft eingeführt werden, ist nicht das naive Vertrauen, dass „Maschinen fair sind“, erforderlich. Vielmehr muss man, gerade weil Maschinen fair erscheinen, das Verständnis, Verhalten und die Informationsumgebung der Menschen um sie herum sorgfältig betrachten.

Fairness existiert nicht nur im Algorithmus.
Sie liegt zwischen den Menschen, die den Algorithmus nutzen.

Quellen-URL

Ein von Phys.org veröffentlichter Artikel, der die Forschung vorstellt. Er berichtet über die Forschung, die zeigt, dass selbst fair gestaltete Matching-Systeme aufgrund von Unterschieden im Verständnis der Nutzer zu ungleichen Ergebnissen führen können.
https://phys.org/news/2026-05-fair-unequal-outcomes.html

Seite mit der Forschungsarbeit. Überblick über das Papier „Gendered Navigation of Advice and Suboptimal Behavior in Matching Algorithms: Evidence from the Residency Match“ von Samuel E. Skowronek und Joyce C. He, Autoren, Publikationsinformationen und DOI.
https://pubsonline.informs.org/doi/10.1287/orsc.2024.19652

INFORMS-Pressemitteilung. Zusammenfassung der Forschung, Simulationsdaten von über 1.700 Medizinstudenten, Interviews mit 66 Personen, Unterschiede im Systemverständnis und Informationsverhalten.
https://www.informs.org/News-Room/INFORMS-Releases/News-Releases/Fair-Matching-Systems-Can-Still-Produce-Unequal-Outcomes-New-Research-Finds

Pressemitteilung auf EurekAlert! Hintergrund der Forschung, das Matching-System der Residency, praktische Implikationen, Veröffentlichungsdatum und DOI.
https://www.eurekalert.org/news-releases/1128471

LinkedIn-Beitrag des Autors. Vorstellung des Forschungsinhalts, Anzahl der Reaktionen und Kommentare auf sozialen Medien.
https://www.linkedin.com/posts/sam-skowronek-1775896a_gendered-navigation-of-advice-and-suboptimal-activity-7442932708063821824-SJds