Algorithmische Entscheidungen und soziale Spannungen — Künstliche Intelligenz im politischen Kontext
Beim Lesen des ausgezeichneten Berichts des Council of Europe zu «Diskriminierung, KI und algorithmischen Entscheiden» (auf englisch) fragte ich mich, inwiefern algorithmische Entscheidungen dazu beitragen können, Diskriminierung in bereits stark gespaltenen Gesellschaften zu verstärken.
Zu meiner Überraschung katapultierte der Bericht mich beinahe 20 Jahre zurück in die Zeit, als ich meine Masterarbeit zu «Präsidialsystemen in afrikanischen Staaten» schrieb. Einer der Hauptfaktoren, der meiner Meinung nach beeinflusste, inwiefern sich ein solches System für einen afrikanischen Staat eignete, waren die sogenannten ‘cleavages’, zu deutsch: Konfliktlinien, in einer Gesellschaft. In den Politikwissenschaften bezeichnet ‘cleavage’ die Unterteilung einer Gemeinschaft in unterschiedliche Gruppen. Typische ‘cleavages’, die in vielen Gesellschaften vorkommen, sind religiöser, sprachlicher, ethnischer oder ideologischer Art. Je nach Gesellschaft, können ‘cleavages’ zusammenfallen (overlapping) oder sie können sich überschneiden (cross-cutting).
Zusammenfallende ‘cleavages’ bedeuten, dass Menschen, die bereits durch eine bestimmte ‘cleavage’ getrennt sind, auch durch andere ‘cleavages’ getrennt sind — dies ist zum Beispiel dann der Fall, wenn in einem Land mit einer muslimischen und christlichen Bevölkerung die grosse Mehrheit der Muslime auf dem Lande lebt, eine bestimmte Sprache spricht und wirtschaftlich benachteiligt ist, während die Mehrheit der Christen in städtischen Gebieten lebt, eine andere Sprache spricht und vergleichsweise wohlhabend ist. In solchen Gesellschaften sind Individuen überwiegend Mitglieder in einer bestimmten Gruppe, die durch mehrere Merkmale vereint wird — die Gesellschaft ist klar segmentiert und oft tief gespalten.
Im Gegensatz dazu, bezeichnen ‘cleavages’, die sich überschneiden, Konstellationen, wo diejenigen, die durch eine ‘cleavage’ (z.B. Sprache) voneinander getrennt sind, durch eine andere ‘cleavage’ (z.B. Religion) vereint sind. In solchen Gesellschaften sind Individuen gleichzeitig Mitglied in mehreren Gruppen, z.B. leben sowohl Muslime als auch Christen in ländlichen und städtischen Gebieten, einige Muslime sprechen die Sprache X, andere die Sprache Y, etc.
Warum habe ich an diese längst vergessene Arbeit gedacht, als ich den Bericht vom Council of Europe las?
Ein klassischer Fall von Diskriminierung durch Algorithmen bezieht sich darauf, Daten zur Postleitzahl von Usern zu sammeln und Korrelationen zwischen der Postleitzahl und beispielsweise der Kreditausfallrate zu erstellen. Der Bericht sagt dazu (frei übersetzt aus dem Englischen):
‘Das System der KI lernt, dass Adressen mit F-67075 eine grössere Wahrscheinlichkeit aufwiesen, Kredite nicht zurückzahlen und benutzt diese Korrelation, um zukünftige Ausfälle vorauszusagen. Das heisst, das System nutzt ein Kriterium, das auf den ersten Blick neutral erscheint (die Postleitzahl), um Kreditausfälle vorauszusagen. Nun stelle man sich aber vor, die Postleitzahl würde mit ethnischer Herkunft korrelieren. ’
Es war der Begriff “ethnische Herkunft”, der Erinnerungen an die ‘cleavages’ in afrikanischen Gesellschaften wachrief. Eine Gesellschaft mit gleichzeitiger räumlicher und wirtschaftlicher Segmentierung zwischen Leuten unterschiedlicher ethnischer Herkunft ist ein klassischer Fall von überlappenden, also zusammenfallenden ‘cleavages’ mit einem hohen Konfliktpotenzial.
In der Sprache der Data Science scheinen zusammenfallende ‘cleavages’ sogenannte ‘redundant encodings’ zu fördern. ‘Redundant encodings’ liegen dann vor, wenn die Mitgliedschaft in einer geschützten Klasse (wie Ethnie, Geschlecht, Alter, Religion oder Zivilstand) codiert ist in anderen Daten. Das ist dann der Fall, wenn bestimmte Daten oder gewisse Werte für diese Daten stark mit einer Mitgliedschaft in spezifischen geschützten Klassen korrelieren (Barocas and Selbst 2016, p. 691/2).
Beispielsweise wurde herausgefunden, dass das Geschlecht abgeleitet werden kann von anderen Datenfaktoren: wenn ein/e Bewerber/in alleinerziehend ist, und 82% der alleinerziehenden Erwachsenen weiblich sind, dann besteht eine grosse Wahrscheinlichkeit, dass die Bewerbung von einer Frau stammt.
Wie könnte dieses Problem gelöst werden? Intuitiv mag man annehmen, dass das Problem von ‘redundant encodings’ einfach behoben werden könnte, indem die entsprechenden Variablen aus dem Datensatz entfernt werden. Das ist allerdings ein Fehlschluss, wie auch Barocas und Selbst bestätigen, denn damit werden oft auch Kriterien entfernt, die nachweisliche und berechtigte Relevanz für eine Entscheidung haben. Gemäss Barocas und Selbst besteht die einzige Möglichkeit zu verhindern, dass algorithmische Entscheidungen nicht zu einer systematischen Benachteiligung von Mitgliedern geschützter Klassen führen, darin, die Genauigkeit von Vorhersagen zu verringern.
Was bedeutet das nun für das Risiko, durch Daten diskriminiert zu werden? Besteht in Gesellschaften mit zusammenfallenden ‘cleavages’, respektive segmentierten Gesellschaften, ein grösseres Potenzial für diskriminierende Algorithmen als in Gesellschaften, die sich durch eine Vielzahl an parallel existierenden Identitäten auszeichnen? Man könnte annehmen, dass es schwieriger ist, unfaire Inferenzen zu ziehen in Gesellschaften, in denen jede Kombination von Religion, sozialem Status, Wohnort etc. plausibel oder verbreitet ist.
Oder allgemeiner: Welche Rolle spielt die Struktur einer Gesellschaft für das Risiko einer Diskriminierung durch Algorithmen?
Algorithmische Entscheidungen werden zunehmen, ungeachtet davon wie sorgfältig wir die Grenzen definieren, und es gibt zahlreiche Gelegenheiten, diese Technologie im Sinne des Gemeinwohls anzuwenden. In jedem Fall ist es deshalb wichtig, dass wir nie den gesellschaftlichen Kontext aus den Augen verlieren, in welchem Daten gesammelt und in welchem die Algorithmen angewendet werden. Und wir müssen diskriminierenden ‘cleavages’ und Segmentierungen besondere Aufmerksamkeit schenken. Es gibt verschiedene Wege, das zu tun:
- Interdisziplinarität: wir müssen sicherstellen, dass Data Scientists immer mit Menschen aus anderen Disziplinen zusammenarbeiten, z.B. mit SozialwissenschaftlerInnen oder EthikerInnen. Nur indem wir verschiedene Perspektiven zusammenbringen, können wir disziplinäre Blindheit verhindern.
- Technische (Selbst-)Beschränkungen: eine andere Möglichkeit ist es, technische Lösungen auf das ethische Problem der unfairen Schlüsse anzuwenden, in dem eben z.B. die fraglichen Variablen entfernt werden. Politisch-philosophisch ausgedrückt lässt sich das mit einem Rawlsianischen «Schleier des Nichtwissens» für unsere Daten vergleichen — wir wissen gegebenenfalls nichts über die Talente eines Individuums, seine Fähigkeiten, Vorlieben, sozialen Status etc. Diese Methode verringert auf jeden Fall das Risiko der Diskriminierung, aber sie ist (in Rawls’ Fall, bewusst) beschränkt, wenn es um genaue Vorhersagen geht.
- Anpassung der Regulierung: Sandra Wachter, eine Anwältin und Forscherin am Oxford Internet Institute, legte kürzlich dar, dass sogar die Datenschutz-Grundverordung der EU, die DSGVO, die im Vergleich zu anderen Regelwerken starke Datenschutzmassnahmen enthält, es verfehlt, Leute zu schützen in Bezug auf Inferenzen, welche ein extrem detailliertes Bild vom Privatleben von Usern möglich machen. Sie schlägt in diesem Zusammenhang ein ‘Recht auf vernünftige Inferenzen’ vor.
Interdisziplinarität, technische Beschränkungen sowie kontinuierliche Anpassungen des Rechts sind sehr wichtig, aber letztlich behandeln diese Massnahmen nur die Symptome von tief verankerten und hartnäckigen sozialen Konflikten, die sich oft über Jahrzehnte hinweg entwickelt haben.
Als übergreifende Vision sollten wir deshalb das Folgende bedenken: wenn wir wollen, dass KI im Allgemeinen und algorithmische Entscheidungen im Speziellen florieren und zum Gemeinwohl beitragen anstatt Spaltung zu verschärfen, müssen wir darauf hinarbeiten, Gesellschaften zu schaffen, in welchen alle Mitglieder echte Freiheit geniessen und Chancengleichheit in der Wahl ihres Lebensstils und ihrer Identität, unabhängig von ihren geschützten Eigenschaften. So sieht ein fruchtbarer Boden für die sichere und verantwortungsvolle Anwendung von neuen Technologien aus.
Interessiert an einem Austausch? Kontaktieren Sie mich via info@baurconsulting.ch, Twitter oder LinkedIn.
