Diese Technologie verhindert die Übertragung von Morden bei Facebook Live

Ganze 24 Stunden hat es gedauert, bis Facebook ein Video gelöscht hat, in dem gezeigt wurde, wie ein Mann seine Tochter, die noch ein Säugling war, umgebracht hat. Am 24. April 2017 hatte in Thailand ein Vater den Mord an seiner 11 Monate alten Tochter mithilfe des Live-Video-Services des sozialen Netzwerks gestreamt, bevor er Selbstmord beging. Die beiden Videoclips wurden hunderttausendfach angesehen, bevor sie entfernt wurden.

Dies war nicht das erste Mal, dass Facebook dazu genutzt wurde, um gewalttätiges Verhalten zu verbreiten. Die Seite wurde bereits vorher im April genutzt, um einen Mord in Cleveland und einen Suizid in Alabama zu streamen. Infolgedessen wurde Facebook dahingehend kritisiert, dass es nicht schnell genug auf die derartige Nutzung des Live-Streaming-Services reagiert habe. Das Unternehmen antwortete, dass es die Absicht hat, 3.000 Leute anzustellen, um jedes Video, das kriminelles oder gewalttätiges Verhalten zeigt, zu identifizieren.

Mit 1,86 Milliarden Nutzern ist eine Plattform wie Facebook jedoch viel zu umfangreich, als dass dies ausreichen würde. Facebook steht nicht nur vor einem Managementproblem sondern auch vor einer technologischen Herausforderung. Stattdessen muss das soziale Netzwerk mehr in Software investieren, die Videos mit gewalttätigem Inhalt automatisch erkennt.

Üblicherweise haben soziale Netzwerke bei der Identifizierung von Verbrechen mit Melde- und Beschwerdesystemen auf ihre Nutzer vertraut. Wenn jemand sich bedroht fühlt oder eine illegale Aktivität beobachtet, kann dies der Seite, oder falls notwendig, direkt der Polizei gemeldet werden. Wenn sich im Fall von Facebook jemand über gewalttätigen Inhalt beschwert, dann wird Facebook ermitteln und entscheiden, ob der Inhalt entfernt werden muss.

Aber bei der gegebenen Menge an Inhalten, die jeden Tag gepostet werden, und der Geschwindigkeit, mit der sie sich verteilen, wären wahrscheinlich sogar tausende von Ermittlern zu wenig, um schnell mit gewalttätigen Videos umzugehen. Deshalb dauerte es fast 24 Stunden, bis das Video mit dem Mord entfernt wurde, obwohl es direkt nach Beginn des Livestreams gemeldet wurde.

Die letzten Entwicklungen in der KI-Technologie könnten eine Lösung durch „Text-Mining“, „Bild-Mining“ und „Video-Mining“ bieten. Diese Technologien nutzen maschinelle Lernalgorithmen, um automatisch heikle Wörter oder Verhaltensweisen in digitalen Inhalten aufzuspüren. Facebook könnte ein System aufsetzen, das diese Technologie nutzt, um Inhalte als potenziell gewalttätig zu identifizieren und es daran zu hindern, sich im Netzwerk zu verbreiten. Dies würde den Nutzern mehr Zeit geben, Inhalte zu melden und den Facebook-Mitarbeitern mehr Möglichkeiten, um zu überprüfen, ob sie entfernt werden müssen.

Damit die Algorithmen effektiv sind, müssen sie die Grundlagen der Psychologie und Linguistik beachten, sodass sie verschiedene Typen gewalttätigen Inhalts kategorisieren können. Zum Beispiel ist der Mord an einem Menschen relative leicht als gewalttätig zu erkennen. Aber viele andere potenziell gewalttätige Taten gehen eher mit psychologischen Schäden als körperlichen Verletzungen einher.

Die Algorithmen müssten Nachrichten automatisch sortieren und in Abhängigkeit ihrer linguistischen Merkmale in verschiedene Levels klassifizieren, indem Inhalt mit einer höheren Wahrscheinlichkeit in Bezug auf gewalttätiges Verhalten ein höherer Wert zugeordnet wird. Die Facebook-Mitarbeiter könnten dieses System dann nutzen, um den Inhalt effizienter zu überwachen. Dies könnte möglich machen, dass Mitarbeiten gewalttätige Inhalte verhindern können, bevor sie überhaupt auftauchen. Wenn das System seine Mitarbeiter über leicht beleidigende Worte oder Nachrichten informiert, könnten sie einschreiten, um zu verhindern, dass weiterer Inhalt hochgeladen wird, der tatsächlich physische Gewalt oder schlimmere Nachrichten beinhaltet.

Wenn dann Details an die Polizei weitergeleitet werden würden, könnte dieses System sogar in der Lage sein, Verbrechen komplett zu verhindern. Zum Beispiel lässt der Regierungsbericht über den öffentlichen Mord an dem britischen Soldaten Lee Rigby vermuten, dass Facebook mehr hätte tun können, um die Mörder zu stoppen, die auf der Seite diskutiert hatten, dass sie „einen Soldaten umbringen“ wollten.

Neue Probleme

Diese Art von maschinellem Lernalgorithmus ist bereits weit entwickelt und wird von Verkehrsbehörden dazu genutzt, Autounfällen und Verkehrsbelastungen durch die CCTV-Aufnahmen zu melden. Doch er muss ebenso für Livestream-Videos entwickelt werden. Die Schwierigkeit liegt darin, dass der Inhalt von Livestreams für Algorithmen viel schwieriger zu analysieren ist als der von Fahrzeugen. Die dringende Forderung nach Software zur Inhaltsüberwachung und -verwaltung sollte jedoch die Fortschritte auf diesem Gebiet vorantreiben. Facebook könnte sogar als Anführer auf diesem Gebiet in Erscheinung treten.

Allerdings könnte dies auch dazu führen, dass Inhalte überwacht und sogar zensiert werden, bevor sie veröffentlicht werden. Dies würde die Frage aufwerfen, welche Rechte Facebook über die auf der Seite geposteten Inhalte hat, was die bereits bestehende Kontroverse über die Nutzungsrechte der sozialen Netzwerke über die Nutzerinhalte anheizen würde.

Es würde sich außerdem im Konflikt mit dem konventionellen Ethos stehen, dass soziale Medien eine Möglichkeit für die Nutzer darstellen, um alles zu veröffentlichen, was sie wollen (auch wenn es später entfernt wird), was schon seit Beginn des Internets ein Teil desselben ist. Es würde außerdem bedeuten, dass Facebook mehr Verantwortung für den Inhalt, der auf der Seite gepostet wird, übernimmt, als es bisher bereit war, zu tun. Dies bedeutet, dass Facebook eher ein traditioneller Verleger als eine Plattform werden würde – was eine ganze Reihe neuer Probleme hervorrufen könnte.

Dieser Artikel erschien zuerst auf „The Conversation“ unter CC BY-ND 4.0. Übersetzung mit freundlicher Genehmigung der Redaktion.


Image (adapted) „Blutbad“ by HanahJoe7 (CC0 Public Domain)


The Conversation


Artikel per E-Mail verschicken
Schlagwörter: , , , , , , , , , ,
Honglei Li

Honglei Li

ist Dozentin für Computer- und Informationswissenschaften an der Northumbria University in Newcastle. Sie forscht im Bereich der virtuellen Gemeinschaft, Prozessmanagement, ERP-Management und Smart Cities.

More Posts - Twitter

1 comment

  1. Das bedeutet, wenn eine 80-Jährige Todkranke Hamburgerin ihren blutlosen Suizid übertragen möchte, würde Facebook der die Polizei ins Haus schicken?!?
    Und wenn das nicht so wäre, warum dann beim der 25-Jährigen körperlich gesunden Kölner?
    Er hat das gleiche Recht auf Suizid. So wie der körperlich gesunde junge Deutsche, der in der Schweiz den Giftcocktail bekam, weil er einfach keine Lust mehr hatte zu leben.
    Evtl. war er Ladenschwengel (Ausbildung, Festanstellung bei Rewe, Lidl, Bauhaus…), Jobcenter-Sachbearbeiter, Bürodrohne etc., und war zu Recht deprimiert über den Gedanken sich die nächsten 50 Jahre jeden Werktag zu dieser miesen Arbeit zu schleppen…

    Wenn bei mir die Polizei vor der Türe stünde oder anruft, und sagt „da hat jemand auf Terminal-Decision“ seinen Suizid angekündigt (ach nee, was für ein Zufall aber auch 0_o), sage Ich nur „und?“. Und wenn sie dann so dreist sind von „Gefahr im Verzug“ zu faseln, lache Ich und schlage die Tür zu oder lege auf. Auch wenn sie dann am nächsten Tag durch andere Methoden die Leiche finden, können sie mir NICHTS. http://www.telespiegel.de/news/10/0103-telekom-selbstmord-forum.html
    Auch dann nicht, wenn sich jeden Monat „auf der Webseite“ 100 Menschen umbringen, und sogar die Deutsche Statistik erhöht würde.

    Und es wäre gut, wenn es einen Streamdienst gäbe, der was Suizidübertragungen angeht „gleichgültiger“ ist.
    Laut geleakten Dokumenten löscht Facebook ja auch nicht jeden Suizidstream…
    Warum soll z.B. UStream ein Video löschen, wo man nur ein Schlafzimmer sieht.
    Ein Bett, eine Person darin, evtl. noch sichtbar abgeklebte Fenster und Türen, sichtbar auch der glimmende Holzkohlengrill neben dem Bett… Ist zwar Suizid, aber noch weniger „Action“ kann es wohl kaum geben…
    Und wenn jemand überträgt wie er mit Strick um den Hals aus dem Fenster springt, und vorher unten die Kamera mit Stream aktiviert, dann ist die Sache (Kopf reißt im Fall ab) eh in Sekunden über den Bildschirm gegangen.
    Je nach Kameraposition kann dann noch zu sehen sein wie Notarzt etc. kommen, und es einsammeln.
    Die Kamera kann ein Smartphone etc. versteckt an einem Fahrrad etc. sein.
    Also würde Facebook maximal die Ankündigung der Suizidübertragung lesen.

Deine E-Mail-Adresse wird nicht veröffentlicht. Als Namen kannst Du gerne einen Fantasienamen angeben, wenn Du nicht Deinen echten Namen angeben möchtest. Du kannst jederzeit die Löschung Deines Kommentars verlangen. Bitte beachte die Datenschutzhinweise

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.