Judge KI? Warum es gefährlich ist, Künstliche Intelligenz für die Urteilsfindung zu nutzen

Künstliche Intelligenz hilft uns, unsere Zukunft zu bestimmen – seien es unsere Sehgewohnheiten bei Netflix, unsere Kreditwürdigkeit oder wie gut wir zu einem potenziellen Arbeitgeber passen. Doch wir sind uns sicherlich einig, dass es – zumindest noch – einen Schritt zu weit geht, wenn die KI unsere Schuld oder Unschuld feststellen soll.

Besorgniserregend ist, dass dies längst der Fall sein kann. Als John Roberts, das Oberhaupt des obersten Gerichtshofs in den USA, kürzlich an einer Veranstaltung teilnahm, wurde er gefragt, ob er einen Tag kommen sähe, „an dem smarte Maschinen, angetrieben von künstlicher Intelligenz, im Gerichtssaal bei der Erbringung von Indizien helfen oder, sogar noch brisanter, Gerichtsurteile selbst fällen würden“. Er antwortete: „Dieser Tag wird kommen und es ist eine enorme Belastung in Bezug auf die Vorgehensweise der Justiz“.

Roberts bezog sich vermutlich auf den aktuellen Fall von Eric Loomis, der zu sechs Jahren Gefängnis verurteilt wurde und das zumindest zum Teil auf die Empfehlung einer proprietären Software eines Privatunternehmens hin. Loomis, der eine kriminelle Vergangenheit hat und wegen Flucht vor der Polizei in einem gestohlenen Wagen verurteilt wurde, behauptet nun, dass sein Recht auf einen fairen Prozess verletzt wurde, da weder er noch seine Vertreter in der Lage waren, den Algorithmus hinter der Empfehlung zu prüfen oder in Frage zu stellen.

Der Bericht wurde von einem Softwareprodukt mit dem Namen Compas erstellt, welches von der Nortpointe Inc an Gerichte vertrieben und verkauft wird. Das Programm ist eine Verkörperung eines neuen Trends innerhalb der KI Forschung: Es wurde entworfen, um Richtern dabei zu helfen, „bessere“ – oder zumindest besser fundierte – Entscheidungen im Gerichtssaal zu treffen.

Obwohl die spezifischeren Details zu Loomis‘ Bericht versiegelt bleiben, ist es wahrscheinlich, dass das Dokument eine Reihe von Tabellen und Diagrammen enthält, die Loomis‘ Leben, sein Verhalten und die Wahrscheinlichkeit der Rückfälligkeit quantifizieren. Vermutlich enthält es auch Informationen wie Alter, Herkunft, Geschlecht, Surfgewohnheiten und möglicherweise sogar die Maße seines Schädels. Der Punkt ist, dass wir es nicht wissen.

Was wir wissen ist, dass der Kläger in diesem Fall dem Richter erzählte, dass Loomis vor dem Prozess „ein hohes Risiko zur Gewaltausübung, ein enormes Rückfallrisiko“ zeigte. Das ist Standard, wenn es um Verurteilungen geht. Der Richter stimmte zu und teilte Loomis mit, dass er „durch die Compas-Einschätzung als ein Individuum identifiziert wurde, das ein großes Risiko für die Gesellschaft darstellt“.

Das oberste Gericht von Wisconsin sprach Loomis schuldig und fügte hinzu, dass der Compas-Bericht wertvolle Informationen für die Entscheidung eingebracht hat, schränkte dies allerdings sofort durch die Aussage, dass er ohne den Bericht die gleiche Strafe erhalten hätte, ein. Aber wie können wir das sicher wissen? Welche Art von Wahrnehmungsverzerrungen sind beteiligt, wenn ein allmächtiges, “smartes” System wie Compas vorschlägt, was ein Richter tun sollte?

Unbekannte Nutzung

Um eins klarzustellen, an dem, was das Gericht von Wisconsin gemacht hat, ist nichts ‚illegal‘ – es ist unter diesen Umständen nur eine schlechte Idee. Andere Gerichte können genau das Gleiche tun.

Beunruhigend ist, dass wir tatsächlich nicht wissen, in welchem Ausmaß KI und andere Algorithmen für Verurteilungen genutzt werden. Meine eigenen Nachforschungen zeigen, dass mehrere Gerichtsbezirke Systeme wie Compas in geschlossenen Verhandlungen “ausprobieren”, aber sie die Details der Partnerschaft oder wann und wo die Systeme genutzt werden, nicht veröffentlichen können. Wir wissen auch, dass es eine Zahl von KI-Startups gibt, die darum konkurrieren, ähnliche Systeme zu bauen.

Allerdings beginnt und endet die Benutzung von KI beim Gericht nicht bei der Verurteilung, sie beginnt bei den Ermittlungen. Ein System namens VALCRI wurde bereits entwickelt, um die arbeitsintensiven Aufgaben eines Kriminalanalysten innerhalb von Sekunden zu erledigen – das beinhaltet die Durchsuchung von Unmengen von Daten wie Texten, Laborberichten und Polizeidokumenten, um die Dinge hervorzuheben, die weitere Ermittlungen gewährleisten.

Die Polizei der britischen West Midlands wird VALCRI in den nächsten drei Jahren mit anonymisierten Daten austesten. Der Umfang beträgt 6,5 Millionen Dokumente. Eine ähnliche Testphase hat die Polizei im belgischen Abisher als problematisch eingestuft.

Vorteile für Wenige?

Die Gerichte haben aus der Technil bereits viele Vorteile gezogen – von Fotokopien über DNA-Fingerabrücke bis hin zu hochentwickelten Überwachungstechniken. Doch das bedeutet nicht, dass die Technologie an sich eine Verbesserung darstellt.

Obwohl die Nutzung von KI in Ermittlungen und Verurteilungen potenziell dabei helfen könnte, Zeit und Geld zu sparen, beinhaltet dies auch einige schwerwiegende Probleme. Ein Bericht über Compas von ProPublica stellte klar, dass es im Broward County in Florida für dunkelhäutige Angeklagte „viel wahrscheinlicher als für weiße Angeklagte war, fälschlicherweise mit einer zu hohen Rückfallwahrscheinlichkeit eingestuft zu werden”.

Die aktuelle Arbeit von Joanna Bryson, einer Professorin für Computerwissenschaft an der Universiät Bath, hebt hervor, dass sogar die “hochentwickeltsten” KIs die ethnischen und geschlechtsbezogenen Vorurteile derjenigen, die sie entworfen haben, erben können.

Worin liegt darüber hinaus der Sinn, die Entscheidungsfindung in Angelegenheiten, die besonders menschlich sind, (zumindest teilweise) auf einen Algorithmus abzuwälzen? Warum machen wir uns die Mühe, eine Jury aus Unseresgleichen auszusuchen? Der richterliche Standard war niemals perfekt, sondern eher das Beste, was unsere Fähigkeiten uns Menschen erlaubt. Wir alle machen Fehler, doch im Laufe der Zeit und mit Übung werden wir besser darin, diese nicht wieder zu begehen – und dabei entwickeln wir das System fortwährend weiter.

Was Compas und ähnliche Systeme vertreten, ist das ‚Black Boxing‘ des Rechtssystems. Diesem muss sich konsequent widersetzt werden. Rechtssysteme hängen von Informationskontinuität, Transparenz und Kritikfähigkeit ab. Was wir nicht als Gesellschaft wollen, ist ein Rechtssystem, das in eine Abwärtsspirale für KI-Startups führt, um die Produkte so schnell, günstig und exklusiv wie möglich abzuliefern. Während einige Beobachter für KI-Themen dies bereits seit Jahren haben kommen sehen, ist es jetzt hier – und es ist eine schreckliche Idee.

Eine nachprüfbare Open-Source-Version von Compas wäre ein Fortschritt. Trotzdem müssen wir sicher gehen, dass wir zuerst die Standards im Rechtssystem steigern, bevor wir damit beginnen, Verantwortlichkeiten auf Algorithmen abzuwälzen. KIs sollten nicht nur ein Grund sein, nicht zu ermitteln.

Während viel Geld mit KI gemacht werden kann, gibt es auch eine Menge echter Chancen. Sie kann vieles zum Besseren verändern, wenn wir es richtig machen und sicherstellen, dass die Vorzüge jedem zu Gute kommen und nicht nur die Macht an der Spitze der Pyramide zementieren.

Ich habe zu diesem Zeitpunkt keine perfekte Lösung für all diese Probleme. Aber ich weiß, dass wir in Bezug auf die Rolle der KI in der Rechtsprechung fragen müssen, in welchem Zusammenhang, zu welchem Zweck und mit welcher Aufsichtsführung sie eingesetzt wird. Bis diese Fragen mit Sicherheit beantwortet werden können, ist äußerste Skepsis gefragt. Oder zumindest der Kontakt zu ein paar sehr guten Anwälten.

Dieser Artikel erschien zuerst auf „The Conversation“ unter CC BY-ND 4.0. Übersetzung mit freundlicher Genehmigung der Redaktion.


Image (adapted) „Richter“ by Daniel_B_Photos (CCO Public Domain)


The Conversation


Artikel per E-Mail verschicken
Schlagwörter: , , , , , , , ,
Christopher Markou

Christopher Markou

promoviert zur Zeit an der juristischen Fakultät der University of Cambridge. Er beschäftigt sich unter anderem mit Fragen des Rechts in den Bereichen Technologie, KI und VR.

More Posts - Twitter

2 comments

  1. Das ist bestenfalls Zeit sparend – wenn alle Berichte in Sekunden abgefragt werden können.
    EINE AUSSAGE über einen Be-schuldigten/ einen Täter – ein Opfer – auch ein Missbrauchsopfer – kann nicht erfolgen.
    Es werden nur die Aussagen der Ermittler Gutachter sonstiger Beteiligten erfasst – DAS GRUNDÜBEL bleibt also bestehen!
    Dieses ist: „Mutmasslich““Auf Verdacht hin““Verdachtsdiagnose““vermutlich“ usw
    aber nicht: „Unschuldsvermutung“ noch „Im Zweifel für den Angeklagten!“
    Schon deshalb nicht: Weil unsere Richter es in D gar nicht soweit kommen lassen – müssen …seit 25 Jahren …
    behaupten die einfach irgendwas – bauen sofort eine kleine Armee um sich herum auf von Leuten die ähnliches behaupten – ihnen nach dem Munde reden …verurteilen ohne genaue Angabe von Gründen wie Ort, Datum, Zeit, wem wurde wie was getan o.ä.
    Sie belästigen schliesslich nur. Schreiben Unbekannte an > zerreissen diese alle paar Wochen in der Luft offenbar in der Hoffnung,
    dass sich allein durch Emotionen/Gefühle was bei wem wo heraus stellt …schicken Andere los – verfolgen > stalken!
    An die Schäden die sie verursachen – nur aus Gründen von „Name genügt“! wollte mal wen im Gericht sprechen – denkt niemand.
    Wenn gilt: „Die lügen ja alle“! und „Münchhausen-Syndrom“! dann – kann dagegen auch eine „künstliche Intelligenz“ nicht helfen –
    denn die wurde sehr wahrscheinlich von genau denselben gefüttert – bzw. entwickelt.

  2. Wenn KI ein Assessment-Center ersetzen soll – könnte …dann könnte vielleicht auch heraus gefunden werden – ob ein bestimmtes Gericht
    ein Richter – eine bestimmte Stadt – ein Reg. Bez. – ein Land für einen geeignet ist – oder besser nicht – weil die zu Fremdenfeindlich sind z.B.
    oder Frauenfeindlich oder Bildungsfeindlich oder alles zusammen. Gegen Nicht-Trinkende sind – Nie Drogen – auch keine Versicherungsbetrüger – oder sonstige Freche, Aufschneider, Angeber, Lügner …wogegen besonders ländliche Gebiete alles sein können
    aber auch Groß- Hauptstädte. – Dann könnte KI einen anderen Richter, ein anderes Gericht, eine andere Stadt vorschlagen die sachlich-
    richtiger denken, arbeiten. – KI könnte heraus finden in welcher. ZEIT die verschiedenen „anders gehenden Uhren“ gerade wo ticken
    um die optimale Besetzung für – Zu einander zu finden.><

Deine E-Mail-Adresse wird nicht veröffentlicht. Als Namen kannst Du gerne einen Fantasienamen angeben, wenn Du nicht Deinen echten Namen angeben möchtest. Du kannst jederzeit die Löschung Deines Kommentars verlangen. Bitte beachte die Datenschutzhinweise

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.