Ataman warnt vor digitaler Diskriminierung bei zunehmendem Einsatz von KI
Die Antidiskriminierungsbeauftragte des Bundes hat vor einer neuen Form der digitalen Diskriminierung gewarnt, wenn öffentliche und private Stellen zunehmend Entscheidungen durch automatisierte Systeme und Künstliche Intelligenz (KI) treffen lassen. "Was auf den ersten Blick objektiv wirkt, kann automatisch Vorurteile und Stereotype reproduzieren. Die Gefahren digitaler Diskriminierung dürfen wir auf keinen Fall unterschätzen", erklärte Ferda Ataman am Mittwoch bei der Vorstellung eines dazu von ihr in Auftrag gegebenen Rechtsgutachtens.
"Immer öfter übernehmen automatisierte Systeme oder Künstliche Intelligenz Entscheidungen, die für Menschen im Alltag wichtig sind", erklärte die Antidiskriminierungsbeauftragte weiter. Es würden Wahrscheinlichkeitsaussagen auf der Grundlage von pauschalen Gruppenmerkmalen getroffen, warnte sie.
Das von ihr in Auftrag gegebene Rechtsgutachten mit dem Titel "Automatisch benachteiligt" warnt vor der Fehleranfälligkeit algorithmischer Entscheidungssysteme und spricht von einem "unumstrittenen Diskriminierungspotenzial".
Der Einsatz solcher Systeme erfasse "nahezu alle Bereiche des privaten und öffentlichen Lebens", hieß es in dem Gutachten. Als Beispiele wurden etwa Vertragsbedingungen, Zugang zu und Teilhabe an öffentlichen und privaten Leistungen, Marketing, Diagnostik- und Therapieentscheidungen sowie Verteilungsentscheidungen bei knappen Ressourcen genannt.
Konkret warnte das Gutachten, die Qualität digitaler Entscheidungen hänge wesentlich von den eingespeisten Daten ab. Ob diese fehlerfrei oder für ihren Zweck überhaupt geeignet seien, sei in der Regel nicht nachvollziehbar bei der Verwendung.
"Menschen müssen darauf vertrauen können, dass sie durch KI nicht diskriminiert werden – und sich wehren können, wenn es doch passiert. Deshalb brauchen wir klare und nachvollziehbare Regeln", forderte Ataman.
Das Rechtsgutachten beschäftigt sich mit möglichen Lösungen auf juristischer Ebene. Bislang sei etwa das Allgemeine Gleichbehandlungsgesetz (AGG) den Herausforderungen "nur bedingt gewachsen".
Ataman forderte, den Anwendungsbereich des AGG zu erweitern und "Handeln durch automatisierte Entscheidungssysteme" als Benachteiligung aufzunehmen. Außerdem sprach sie sich für Auskunfts- und Offenlegungspflichten für Betreiber von KI-Systemen aus.
Darüber hinaus solle die Beweislastregel angepasst werden: Bislang müssten Betroffene vor Gericht Indizien einer Diskriminierung vorlegen, damit die Beweislasterleichterung des AGG greift. "Betroffene haben aber keine Kenntnisse über die Funktionsweise des KI-Systems und können in die 'Black Box' digitaler Entscheidungen nicht hineinschauen", hieß es. Verantwortliche von KI-Systemen sollten deshalb vor Gericht die Beweislast tragen, wenn sie ein solches System eingesetzt haben, forderte Ataman.
Als Beispiel für Diskriminierung durch KI wurde ein Fall in den USA genannt, bei dem fehlerhaft programmierte Algorithmen bei Apple-Kreditkarten Frauen systematisch benachteiligt hatten. Außerdem wies die Antidiskriminierungsstelle auf die "Kindergeld-Affäre" in den Niederlanden hin: Dort wurden Menschen vor allem mit doppelter Staatsbürgerschaft durch einen Algorithmus in einer Behörden-Software diskriminiert – das war wesentlicher Auslöser für ungerechtfertigte Rückforderungen von Kindergeld bei mehr als 20.000 Menschen, was 2021 zum Rücktritt der Regierung führte.
sae/cha
