All posts under Go

Alpha Go & Co.: So schnell lernt die Google-KI

P2121011 (adapted) (Image by Strelban [CC0 Public Domain] via flickr)

Erst im vergangenen Jahr schlug AlphaGo von Google DeepMind große Wellen in der Welt der Künstlichen Intelligenz, indem es zeigte, dass ein Computerprogramm die besten menschlichen Go-Spieler der Welt schlagen kann.

Wie rasend schnell der Fortschritt in der modernen KI-Forschung voranschreitet, zeigen Details, die die Fachzeitschrift Nature vor wenigen Wochen veröffentlicht hatte. Hier wurde eine verbesserte Version des Programms namens AlphaGo Zero präsentiert. Mit weniger Rechenleistung und nur drei Tagen Trainingszeit schlug AlphaGo Zero das originale AlphaGo in einem 100-Satz Spiel mit 100 zu Null. Eine menschliche Aufsicht war dafür nicht vonnöten.

Das Go-Spielen erlernen

Go ist ein Strategiespiel, in dem zwei Spieler abwechselnd Steine auf ein Spielbrett mit 19 x 19 Feldern platzieren. Das Ziel des Spiels ist es, einen größeren Bereich des Bretts zu umringen als der Gegenspieler.

Go zu meistern, hat sich für Computer als eine bedeutend größere Herausforderung erwiesen als Schach. So gibt es deutlich mehr mögliche Züge in den einzelnen Positionen bei Go als bei Schach. Ebenso wie es deutlich mehr mögliche Spielvarianten gibt.

Das originale AlphaGo erlernte die KI dadurch, dass sie mehr als 30 Millionen Züge von menschlichen Experten studierte. Sie verbesserte sich anschließend auch außerhalb der menschlichen Expertise, indem sie über einen Zeitraum von mehreren Monaten unzählige Spiele gegen sich selbst spielte.

Im Gegensatz dazu sah AlphaGo Zero niemals Menschen beim Spielen zu. Stattdessen begann das Nachfolgeprogramm das Training, indem es lediglich die Spielregeln lernte. Durch eine verhältnismäßig geringe Anzahl von fünf Millionen Spielen gegen sich selbst, für die das Programm nur drei Tage auf einem schwächeren Computer als das originale AlphaGo benötigte, brachte es sich anschließend eine Leistungsfähigkeit jenseits von AlphaGo bei.

Faszinierend ist, dass der Lernprozess des Programms grob einige der Stationen des menschlichen Fortschrittsprozesses beim Meistern des Go-Spielens imitierte. AlphaGo Zero lernte zügig, allzu kurzsichtige Züge zu ignorieren, und entwickelte stattdessen strategischere Denkweisen, durch die es viele der Schemata und Spielzüge generierte, derer sich auch menschliche Weltklasse-Experten häufig bedienen. Bemerkenswerterweise begann es dann, einige dieser Schemata abzulegen und durch neue Strategien zu ersetzen. Die waren so noch nie zuvor in menschlichen Spielen zu sehen.

Jenseits des menschlichen Spiels

Dieses Kunststück gelang AlphaGo Zero dadurch, dass es das Problem anders anging als das originale AlphaGo. Beide Versionen verwenden eine Kombination aus den beiden aktuell leistungsfähigsten KI-Algorithmen: Deep Learning und Bestärkendes Lernen.

Um ein Spiel wie Go zu spielen, muss das Programm zunächst zwei grundlegende Dinge lernen. Das erste ist ein Grundsatz: die Wahrscheinlichkeit, jeden der möglichen Züge in einer gegebenen Position zu machen. Das zweite ist eine Wertigkeit: die Wahrscheinlichkeit, von jeder gegebenen Position aus zu gewinnen.

In dem ausschließlich auf Abwehr basierendem Ansatz von AlphaGo Zero war die einzige Information, die zum Erlernen von Grundsätzen und Wertigkeiten zur Verfügung stand, eine Vorab-Voraussage darüber, wer letztendlich gewinnen wird. Die Grundlage für diese Voraussage bildeten jeweils die aktuellen Grundsätze und Wertigkeiten, wobei diese zu Beginn noch willkürlich gesetzt waren.

Dieser Ansatz ist zwar zunächst deutlich herausfordernder als der des originalen AlphaGo, das sich durch das Beobachten menschlicher Experten-Züge einen Startvorteil für den eigenen Lernprozess verschaffte. Dafür erlernte die frühere Version jedoch Grundsätze und Wertigkeiten auf der Basis separater neuraler Netzwerke.

Der algorithmische Durchbruch bei AlphaGo Zero bestand schließlich daraus, herauszufinden, wie diese zu einem einzigen Netzwerk kombiniert werden können. Dies eröffnete die Möglichkeit, den Trainingsprozess durch das Spielen mit sich selbst deutlich zu vereinfachen. So ermöglichte die KI einen unbeschwerten Neubeginn ihrer Taktiken – frei von den Strategien menschlicher Experten.

Wie AlphaGo Zero das Go-Spiel zu meistern lernte

Beim Elo-Rating handelt es sich um ein weit verbreitetes Messinstrument für die Leistungsstärke von Go- oder Schach-Spielern. Der bisher beste menschliche Go-Spieler namens Ke Jie hat momentan ein Elo-Rating von ca. 3.700. Alpha Go Zero trainierte drei Tage lang und erreichte ein Elo-Rating von mehr als 4.000. Eine erweiterte Version desselben Algorithmus trainierte 40 Tage lang und erzielte ein Rating von beinahe 5.200.

Dies ist ein erstaunlich großer Leistungsunterschied im Vergleich zum besten menschlichen Spieler – deutlich größer als der zwischen dem besten menschlichen Schach-Spieler Magnus Carlsen (ca. 2.800) und dem momentan leistungsstärksten Schach-Programm (ca. 3.400).

Die nächste Herausforderung

Für die Künstliche Intelligenz markiert AlphaGo Zero einen wichtigen Schritt nach vorne, weil es die Umsetzbarkeit eines einzig auf Bewehrung basierenden Lernens demonstriert, das völlig befreit von jeglicher menschlichen Lenkung ist. Auf diese Weise erübrigt sich eine große Ansammlung von menschlichem Expertenwissen, das oft nur schwer zugänglich sein kann, um die KI in Gang zu bringen.

Es bedeutet außerdem, dass der Algorithmus in der Lage ist, völlig neue Ansätze zu entwickeln, die möglicherweise deutlich schwerer zu finden gewesen wären, solange er von Vornherein in einer menschlichen Denkweise verankert sein musste. Bemerkenswerterweise erweist sich diese Strategie auch noch als effizienter im Hinblick auf die benötigte Rechenleistung.

Go ist jedoch ein anspruchsvolles Spiel, das auf perfekter Information basiert. Es kommt ohne die Unordnung aus, die die meisten Probleme in der echten Welt auszeichnet. Das Training von AlphaGo Zero benötigte die akkurate Simulation von Millionen von Spielen, die den Regeln des Go-Spiels folgten. Für viele praktische Probleme sind derlei Simulationen entweder rechnerisch nicht umzusetzen oder die Regeln selbst sind weniger klar definiert.

Bevor eine KI kreiert werden kann, die allgemeinen Zwecken dient, die ein weites Feld an praktischen Problemen ohne bereich-spezifische menschliche Intervention in Angriff nehmen kann, müssen noch viele weitere Probleme gelöst werden.

Doch auch wenn die Menschheit für den Moment den Kampf gegen die Go-Algorithmen verloren hat: Künstliche Intelligenz ist – im Gegensatz zu Go – kein Nullsummen-Spiel. Viele Spiele von AlphaGo Zero wurden jetzt veröffentlicht und bieten eine ganze Lebenszeit inspirierender Studien für menschliche Go-Spieler.

Wichtiger ist allerdings, dass AlphaGo Zero einen Schritt in Richtung einer Welt repräsentiert, in der Menschen leistungsstarke KIs zu Rate ziehen können, um für Menschen unvorstellbare kreative Lösungen für komplizierte Probleme zu finden. In der Welt der Künstlichen Intelligenz gab es niemals eine bessere Zeit, um es einfach einmal zu versuchen.

Dieser Artikel erschien zuerst auf „The Conversation“ unter CC BY-ND 4.0. Übersetzung mit freundlicher Genehmigung der Redaktion.


Image (adapted) „P2121011“ by Strelban (CC0 Public Domain)


The Conversation

Weiterlesen »

Google Bot spielt Go: Der Durchbruch für die KI-Forschung

Another game of Go (adapted) (Image by Chad Miller [CC BY-SA 2.0] via flickr)

Die Forscher von Google DeepMind haben den ersten Computer entwickelt, dem es gelungen ist, einen menschlichen Go-Champion zu besiegen. Aber warum hat der Online-Gigant Millionen Dollar und einige der fähigsten Köpfe der KI-Forschung dazu eingesetzt, einen Computer zu bauen, der ein Brettspiel spielt? Go ist nicht nur irgendein Brettspiel. Es ist über 2000 Jahre alt und wird von mehr als 60 Millionen Menschen weltweit gespielt – inklusive einiger tausend professioneller Spieler. Einen übermenschlichen Computerspieler zu entwickeln, der dazu fähig ist, diese Profis zu besiegen, war seit Jahrzehnten eine der schwierigsten Herausforderungen der Forschung im Bereich Künstliche Intelligenz. Die Regeln sind täuschend einfach: Zwei Spieler setzen abwechselnd weiße und schwarze Steine auf ein leeres, quadratisches Spielbrett. Ziel ist es, das größte Territorium abzustecken. Und dennoch ergeben diese einfachen Spielregeln ein Spiel von außergewöhnlicher Schönheit und Komplexität, voller Muster und Möglichkeiten. Go hat sogar mehr mögliche Spielzüge als Schach – um genau zu sein, kann man in einer Runde Go mehr mögliche Züge ausspielen, als sie je bei einer Runde Schach möglich wären, selbst wenn wir auf jedem Atom im Universum ein Spielbrett aufstellen würden. KI-Forscher sahen deshalb in Go lange eine “großartige Herausforderung”. Während sogar die besten Schachspieler in den 1990er Jahren an einem Computer scheiterten, blieben sie bei Go ungeschlagen. Dies ist wirklich ein epochaler Durchbruch.

Spiele sind die Laborratten der KI-Forschung

Seit der Terminus der “künstlichen Intelligenz” (oder KI) in den 1950er Jahren zum ersten Mal geprägt wurde, hat sich die Anzahl der Probleme, die sie lösen kann, immer mehr und rascher erhöht. Wir gehen davon aus, dass Amazon eine recht gute Vorstellung davon hat, was wir unter Umständen kaufen wollen, oder dass Google unsere Suchbegriffe vervollständigen kann, obwohl beides auf Fortschritten in der KI-Forschung basiert. Computerspiele sind ein bedeutendes Forschungsfeld für die Entwicklung und den Test neuer KI-Techniken – die „Laborratte“ unserer Forschung. Dies hat dazu geführt, dass wir bei Dame, Schach, Scrabble, Backgammon und in jüngerer Zeit auch bei einfacheren Varianten von Poker gegen übermenschliche Spieler antreten können. Spiele stellen einen faszinierenden Ursprung schwieriger Probleme dar – sie haben alle bestimmte Regeln und ein klares Ziel: Gewinnen. Um diese Spiele zu beherrschen, wird die KI darauf programmiert, mögliche zukünftige Spielzüge zu erkennen und zu entscheiden, welcher Weg zum besten Ergebnis führt – ähnlich wie ein guter menschlicher Spieler seine Entscheidungen trifft. Bisher war es bei Go, aufgrund der enormen Ausmaße der Suchabfrage und der Schwierigkeit, zu berechnen, wer siegen wird, am schwierigsten zu gewinnen. Im Jahr 2001 sagte Jonathan Schaeffer, ein brillanter Forscher, der eine perfekte Spieler-KI für das Spiel Dame entwickelte, dass es noch Jahrzehnte der Forschung und Entwicklung dauern würde, bevor ein Programm für Go auf dem Niveau eines Weltchampion existieren wird”. Und bisher erschien uns diese Idee, sogar wenn man die neuesten Entwicklungen berücksichtigt, noch immer mindestens eine Dekade entfernt.

Der Durchbruch

Im Nature-Magazin gab Google kürzlich Details darüber bekannt, wie die Maschine durch das Analysieren von Millionen früherer Profi-Spiele und der Simulation tausender möglicher zukünftiger Spielzüge “gelernt” hat, wie man Go spielt. Genauer gesagt haben die Forscher bei DeepMind einem “verschlungenen neuralen Netzwerk” beigebracht, auf Basis von Algorithmen die höchste Strukturebene des Denk- und Sehvermögens nachzuahmen, was zu einer Effektivitätssteigerung in der Vorhersage der Züge geführt hat, die nur ein Experte durchführen kann. Dieses Lernen wurde mit der Monte-Carlo-Baumsuche kombiniert, welche die Zufälligkeiten und das maschinelle Lernen nutzt, um den Such-“Baum” nach den logischen möglichen Spielabläufen zu durchforsten. Seit ihrer Erfindung vor zehn Jahren hat diese Suche die Stärke der Computergegner bei Go massiv anwachsen lassen, und auch die Suchfunktionen in anderen Anwendungsbereichen hat zugenommen. Der daraus entstandene Spieler hat alle vorher bekannten KI-Spieler überboten und konnte den derzeitigen europäischen Meister, Fan Hui, unter Turnierbedingungen mit einem Stand von Fünf zu Null besiegen.

KI bezwingt Go

Jetzt, wo Go anscheinend geknackt wurde, braucht die KI neue Herausforderungen – eine neue “Laborratte” – und wie es aussieht, werden einige davon aus der mehreren 100 Millionen Dollar teuren Videospielindustrie kommen. Die Fähigkeit, mit oder sogar gegen Millionen menschliche Spieler zu spielen, bietet eine einzigartige Möglichkeit für die KI-Forschung. Am Zentrum für Intelligent Games and Game Intelligence in York arbeiten wir beispielsweise an Projekten wie der Entwicklung einer KI, die auf den Spielspaß ausgerichtet ist, statt auf Stärke zu setzen, oder Spiele, die das Wohlbefinden von Leuten mit Alzheimer verbessern sollen. Die Zusammenarbeit zwischen interdisziplinären Labors wie unserem, der Spieleindustrie und der Großindustrie wird wahrscheinlich den nächsten großen Durchbruch in der KI-Forschung bedeuten. Trotzdem stellte die Realwelt eine Steigerung dar, die zudem voller schwer definierbarer Fragen steckt, die viel komplizierter sind als das komplizierteste Brettspiel. Die Technik, mit der Go bezwungen wurde, kann sicherlich in Medizin, Bildung, Wissenschaft oder jedem anderen Gebiet genutzt werden, in dem Daten greifbar sind und Ergebnisse ausgewertet werden sollen. Die große Frage ist nun, ob Google uns geholfen hat, den nächsten Schritt hin zu einer Generation von Künstlicher Allgemeiner Intelligenz zu gehen, in der die Maschinen wirklich wie Menschen denken lernen – und vielleicht noch ein wenig darüber hinaus. Ob AlphaGo einen Schritt in die Richtung der Träume (und auch der Alpträume) von Hollywood und den KI sein wird, die mit einem eigenen Selbstbewusstsein, eigenen Emotionen und Motivationen ausgestattet sind, wagen wird, bleibt abzuwarten. Doch der neueste Durchbruch zeigt uns eine schöne neue Zukunft, in welcher die KI uns in unserem Leben besser unterstützen wird, um Entscheidungen in einer immer komplexer werdenden Welt zu treffen. Dieser Artikel erschien zuerst auf “The Conversation” unter CC BY-ND 4.0. Übersetzung mit freundlicher Genehmigung der Redaktion.


Image (adapted) “Another game of Go” by Chad Miller (CC BY-SA 2.0)


The Conversation

Weiterlesen »