Amazon hat kürzlich damit angefangen, Lieferungen am selben Tag in ausgewählten großstädtischen Gegenden anzubieten. Das mag für viele Kunden gut sein, doch die Markteinführung zeigt auch, wie computerisierte Entscheidungsfindung eine hohes Maß an Diskriminierung fördern kann.

Sinnvollerweise begann die Firma mit ihrem Service in Gegenden, in denen die Lieferkosten am niedrigsten waren, indem sie die Postleitzahlen von dicht besiedelten Orten sowie die Anzahl existierender Amazonkunden ermittelten, deren Einkommensniveau hoch genug war, um regelmäßig Produkte, für die Lieferung am selben Tag verfügbar waren, zu erwerben. Die Firma gab eine Internetseite an, auf der Kunden ihre Postleitzahl eingeben konnten, um zu sehen, ob eine Lieferung am selben Tag bei ihnen möglich wäre. Enthüllungsjournalisten bei den Bloomberg News nutzten diese Seite zur Erstellung einer Karte, die die Gegenden mit dem Amazon-Lieferangebot am selben Tag zeigt.

Die Bloomberg-Analyse zeigte, dass viele ärmere, städtische Gegenden von diesem Service ausgeschlossen waren, während in wohlhabenderen Nachbarschaften dieser Service angeboten wurde. Viele dieser ausgeschlossenen armen Gegenden wurden vorwiegend von Minderheiten bewohnt. Beispielsweise wurde in Boston das komplette Stadtgebiet abgedeckt – bis auf den Bezirk Roxbury. Der Service deckte in New York City beinahe sämtliche Bezirke ab, während die Bronx außen vor blieb. In Chicago wurde die verarmte South Side ausgelassen, während die wohlhabenderen nördlichen und westlichen Vorstädte mit einbezogen wurden.

Man ist versucht, zu denken, dass datenbasierte Entscheidungen unvoreingenommen sind. Jedoch zeigen Forschung und wissenschaftliche Diskussionen nach und nach, dass Unfairness und Diskriminierung bestehen bleiben. In meinem Onlinekurs zu Datenethik lernen die Studenten, dass Algorithmen diskriminieren können. Allerdings gibt es einen Silberstreif am Horizont: Wie auch die Bloomberg-Studie zeigt, kann es die Tatsache, die Entscheidungsfindung auf Daten zu gründen, auch einfacher machen, aufkommende Vorurteile zu entdecken.

Voreingenommenheit kann unbeabsichtigt sein

Unfaire Szenarios, wie bei der Lieferpolitik von Amazon, können aus vielen Gründen entstehen, inklusive versteckter Verzerrungen – beispielsweise der Annahme, dass die Bevölkerung einheitlich über die Stadt verteilt ist. Die Entwickler von Algorithmen haben wahrscheinlich nicht die Absicht, zu diskriminieren, und merken es möglicherweise gar nicht, dass sich ein Problem eingeschlichen hat.

Amazon erklärte Bloomberg, dass man keine diskriminierenden Absichten verfolgte, und alles spricht dafür, dass diese Aussage wahr ist. Als Antwort auf den Bloomberg-Bericht haben Stadtbeamte und andere Politiker Amazon dazu aufgerufen, dieses Problem zu beheben. Die Firma reagierte schnell darauf und fügte die ehemals ausgeschlossenen ärmeren städtischen Postleitzahlen zu ihren vom Service abgedeckten Gegenden hinzu.

Eine ähnliche Frage hat sich bei Uber gestellt. Hier sah es zunächst so aus, dass in Gegenden, die eher von einer weißen Bevölkerung bewohnt wurde, ein  besserer Service angeboten wurde. Es ist wahrscheinlich, dass noch mehr Einzelhandel- und Serviceindustriebeispiele in Zukunft gefunden werden, die unabsichtlich durch Algorithmen diskriminieren.

Wird von den Algorithmen zu viel verlangt?

Wir sollten einen Moment innehalten, um zu prüfen, ob wir übermäßige Ansprüche an die Entscheidungen von Algorithmen stellen. Firmen, die stationär arbeiten, treffen ständig standortbezogene Entscheidungen und beziehen dabei Kriterien ein, die sich nicht allzu sehr von denen Amazons unterscheiden. Solche Filialen versuchen, Standorte zu finden, die für eine große Menge potenzieller Kunden mit Geld zum Ausgeben in Frage kommen.

Konsequenterweise entscheiden sich nur wenige Geschäfte dafür, sich in ärmeren innerstädtischen Nachbarschaften niederzulassen. Vor allem im Zusammenhang mit Lebensmittelgeschäften ist dieses Phänomen ausführlich erforscht worden, und der Term „food desert“ („Lebensmittelwüste“) wird benutzt, um städtische Gegenden zu beschreiben, in denen die Einwohner keinen geeigneten Zugang zu frischen Lebensmitteln haben. Diese Standortverzerrung ist weniger gut untersucht, wenn es zu Einzelhandelsgeschäften im Allgemeinen kommt.

Als ein bezeichnendes Beispiel schaute ich mir die 55 Standorte von Target, einer großen Einzelhandelskette, in Michigan an. Als ich jede Postleitzahl in Michigan danach sortierte, ob das Durchschnittseinkommen verglichen mit dem landesweiten Durchschnittseinkommen hier in der unteren oder oberen Hälfte lag, fand ich heraus, dass nur 16 der Targetläden (29 Prozent) in den Gegenden mit Postleitzahlen aus der unteren Einkommenshälfte lokalisiert waren. Mehr als zweimal so viele, 39 Läden, befanden sich in den Gegenden mit den Postleitzahlen der reicheren Hälfte.

Diskriminierung identifizieren

Darüber hinaus findet sich keine einzige Target-Filiale in Detroit, während sich in den reicheren Vorstädten von Detroit diverse Läden befinden. Trotzdem gab es noch keinen öffentlichen Aufschrei mit dem Vorwurf, dass Target durch seine Niederlassungsentscheidungen arme Menschen diskriminiert. Es gibt zwei Hauptgründe, warum die Sorge über Amazon gerechtfertigt ist: Rigidität und Dominanz.

Rigidität hat sowohl mit dem Entscheidungsfindungsprozess des Online-Einzelhändlers als auch mit dem Ergebnis zu tun. Amazon entscheidet, welche Postleitzahlgegenden in das Servicegebiet fallen. Wenn ein Kunde nur eine Straße von der Grenze, die Amazon gesetzt hat, entfernt wohnt, liegt er außerhalb der Servicegegend und kann wenig dagegen tun. Im Gegensatz dazu kann jemand, der in einer Postleitzahlgegend ohne Target-Filiale lebt, dennoch bei Target einkaufen – auch wenn er länger braucht, um dorthin zu kommen.

Es ist außerdem wichtig, wie dominant ein Einzelhändler in den Köpfen der Verbraucher ist. Während Target nur einer von vielen Sportartikelverkäufern ist, genießt Amazon als Interneteinzelhändler Marktdominanz und zieht daher mehr Aufmerksamkeit auf sich. Solch eine Dominanz ist charakteristisch für die heutigen Internetgeschäfte, die nach dem Motto „The Winner takes it all“ funktionieren.

Während ihre Rigidität und Dominanz unsere Sorge über Onlinegeschäfte vergrößern mögen, so helfen sie uns doch auch, ihre Diskrimination besser zu entdecken als bei stationären Geschäften. Bei einer traditionellen Ladenkette müssen wir schätzen, wie lang ein Anfahrtsweg für den Kunden maximal sein darf. Wir müssen uns außerdem des Zeitfaktors bewusst sein: Fünf Meilen zur nächsten Autobahnausfahrt ist nicht das gleiche wie fünf Meilen durch vollgestopfte Straßen in Richtung der anderen Seite der Stadt. Außerdem kann die Anreisezeit selbst in Abhängigkeit von der Tageszeit stark variieren. Nachdem man identifiziert hat, in welchen Gegenden ein Geschäft wahrscheinlich seinen Service anbietet, werden diese Gegenden nicht eins zu eins deckungsgleich mit den geographischen Einheiten sein, für die uns Statistiken über Rasse und Einkommen vorliegen. Zusammengefasst ist die Analyse chaotisch und bedarf eines großen Aufwands.

Im Gegensatz dazu haben Journalisten bei Bloomberg wohl nur wenige Stunden gebraucht, um eine Karte mit der Servicegegend Amazons zu erstellen und diese mit dem Einkommen oder der Rasse in Beziehung zu setzen. Wenn Amazon das betriebsintern vollzogen hätte, hätten sie dieselbe Analyse in nur wenigen Minuten durchführen können – und sie hätten vielleicht die Probleme gesehen und schon vor der Einführung des Services der Lieferung am selben Tag behoben.

Wie vergleichen Menschen?

Lassen Sie uns einen Blick auf ein ganz anderes Beispiel werfen, um zu sehen, wie die gleichen Punkte auf viele Dinge zutreffen. ProPublica hat eine exzellente Analyse von Rassendiskriminierung durch einen Algorithmus, der die Wahrscheinlichkeit, dass ein Krimineller wieder das Gesetz bricht voraussagt, veröffentlicht. Dieser Algorithmus berücksichtigt Dutzende Faktoren und kalkuliert eine Wahrscheinlichkeitseinschätzung. ProPublicas Analyse fand signifikante systematische Rassenverzerrungen, und das, obwohl Rasse nicht einmal unter den spezifischen berücksichtigten Faktoren war.

Ohne den Algorithmus würde ein menschlicher Richter eine ähnliche Einschätzung abgeben, als Teil einer Strafzumessung oder Bewährungsentscheidung. Die menschliche Entscheidung würde vielleicht ein umfassenderes Set von Faktoren berücksichtigen, so wie beispielsweise das Auftreten des Kriminellen vor Gericht. Aber wir wissen aus psychologischen Studien, dass menschliche Entscheidungsfindung voll von Verzerrung und Vorurteilen ist, selbst wenn wir versuchen, möglichst fair zu sein.

Jegliche Fehler, die aus den Verzerrungen in Entscheidungen menschlicher Richter entstehen, sind aber voraussichtlich bei verschiedenen Richtern unterschiedlich bewertet worden – und sogar bei verschiedenen Entscheidungen, die von ein und demselben Richter getroffen werden. Insgesamt mag es Rassendiskriminierung durch unterbewusste Vorurteile geben, dies aber endgültig festzustellen, ist schwierig. Eine amerikanische Studie des Justizministeriums fand deutliche Hinweise darauf, dass bei der Verurteilung weißer und schwarzer Häftlinge Unterschiede bestehen, konnte aber nicht klar bestimmen, ob die Rasse selbst ein Faktor bei diesen Entscheidungen war.

Im Gegensatz dazu wird der Algorithmus, den ProPublica überprüft hat, bei tausenden von Fällen über viele Staaten hinweg genutzt. Seine Rigidität und das hohe Volumen erleichtern die Aufgabe, eine mögliche Diskriminierung festzustellen – und kann Wege bieten, das Problem effizient zu beheben.

Das Nutzen von Informationstechnologie scheint die Unterschiede und Daten deutlicher und leichter verfügbar zu machen. Was gestern noch unter den Teppich gekehrt werden konnte, schreit heute nach Aufmerksamkeit. Während wir immer mehr Nutzen für datengelenkte Algorithmen finden, ist es noch nicht üblich, deren Fairness zu analysieren, vor allem vor der Einführung eines neuen, datenbasierten Services. Um dies zu erreichen, muss ein langer Weg des Messens und Verbesserns der Fairness dieser immer wichtiger werdenden computerisierten Kalkulationen gegangen werden.

Dieser Artikel erschien zuerst auf „The Conversation“ unter CC BY-ND 4.0. Übersetzung mit freundlicher Genehmigung der Redaktion.

Image ”Algorithmen” by geralt (CC Public Domain)