Eine künstliche Intelligenz hat erstmals Profis im Pokern geschlagen. Das ist nicht nur ein weiterer Meilenstein im Spielbereich, Computer lernen dabei nun auch scheinbar menschliche Fähigkeiten– und werden damit noch alltagstauglicher.

Stuttgart - Computer haben das perfekte Pokerface – nämlich gar keines, und das kann praktisch sein: Sie laufen nicht Gefahr, durch ein ungewolltes Grinsen oder einen entsetzten Blick zu viel Einblick in ihre Karten zu geben. Das könnte im Spiel gegen menschliche Pokerkontrahenten von Vorteil sein, könnte man meinen. Das ist aber auch schon alles: Poker galt nach dem Brettspiel Go als die nächste große Herausforderung für die künstliche Intelligenz – galt, denn laut einer aktuellen Publikation im Fachmagazin „Science“ scheint auch dieses Problem gelöst zu sein.

 

Selbst wenn die Regeln des Spiels für Menschen deutlich einfacher zu verstehen sind als die von Go, ist Poker für Computer schwieriger: Schließlich handelt es sich um ein Spiel mit unvollständigen Informationen. Während bei Spielen wie Go oder Schach alles, was vor sich geht, für alle Beteiligten offen zu sehen ist, hat bei Poker jeder Spieler Karten auf der Hand, die seine Kontrahenten nicht sehen können. Mit Entscheidungen auf der Grundlage von Unbekanntem tun sich Computer schwer. „Das vergrößert den Entscheidungsbaum enorm“, sagt Eneldo Loza Mencia von der Uni Darmstadt, der mit Kollegen bereits an internationalen Computer-Poker-Wettbewerben teilgenommen hat. „Man muss die fehlenden Informationen schließlich trotzdem berücksichtigen.“

Rasante Entwicklung

Wie schon bei Go hatten deshalb viele Experten vermutet, dass Erfolge hier einige Jahre später vermeldet werden. Aber nun haben gleich zwei Teams in jüngster Zeit Systeme programmiert, die Poker-Profis geschlagen haben. Ein Forscherteam um den Kanadier Michael Bowling hatte Hintergründe zu ihrer Software namens Deepstack bereits im Vorfeld ihres nun veröffentlichten „Science“-Artikels im Netz publiziert. Das war genau in jener Woche im Januar, in der ein Team der Carnegie Mellon University von sich reden machte: Tuomas Sandholm und Kollegen ließen damals ihre künstliche Intelligenz in einem dreiwöchigen Wettstreit gegen vier Top-Spieler in Pittsburgh antreten. Als deren Libratus, wie sie ihr System nennen, einen deutlichen Vorsprung hatte, entschied das Konkurrenzteam um Michael Bowling von der University of Alberta, seine Forschung öffentlich zu machen.

Nun ist deren Konzept nicht nur von unabhängigen Kollegen überprüft, sondern auch in einem der angesehensten Fachmagazine veröffentlicht worden. „Sie haben allerdings nicht gegen Profis gespielt“, wendet Konkurrent Sandholm ein. „Dieses Ergebnis hätten wir schon vor zwei Jahren produzieren können.“ Aber sein Ziel sei nicht gewesen, ein menschliches Level zu erreichen, sondern ein übermenschliches. Allerdings ist es bei Poker nicht so einfach wie bei Go oder Schach, den Weltmeister zu bestimmen. Es gibt Spitzenspieler, wer der weltweit Beste ist, ist nicht definiert. Die Konkurrenz der beiden Computer-Poker-Teams zeigt indes deutlich, wie rasant die Entwicklung in diesem Bereich ist.

Spieltheorie liefert die Basis

Informatiker berechnen mithilfe der Spieltheorie, wie sie am besten mit denjenigen unbekannten Informationen umgehen sollen, die von Handlungen anderer abhängen. Dabei wird an jedem Punkt des Spiels berechnet, welche Aktion mit der größten Wahrscheinlichkeit zum optimalen Verlauf des nächsten Zuges führt. Solche Rechenoperationen sind aufwendig, da viele Variablen hineinspielen: Was hat der andere Spieler auf der Hand? Blufft er? Was hat seine Reaktion zu bedeuten?

Da es bei der Poker-Variante „Heads-Up No-Limit Texas Hold‘em“, die beide Systeme gespielt haben, rund 10 hoch 160 verschiedene mögliche Spielkombinationen gibt, lassen sich nicht alle Varianten bis zum Ende durchrechnen. Während dies die Forscher um Sandholm mit einem vereinfachten Modell und einem Supercomputer lösten, der nach jedem Spiel weitere Fehler ausmerzte, kam die Gruppe um Michael Bowling im Spiel mit einem Laptop aus – indem sie den Faktor der Intuition hinzufügte.

Computer arbeiten intuitiv

Dazu nutzte sie im Vorfeld Deep Learning, die derzeit interessanteste Methode im maschinellen Lernen, um das System zu trainieren: Es spielte gegen sich selbst und lernte so 10 hoch 14 abstrakte Situationen. Dabei lernte es zudem laut Bowling eine Art Bauchgefühl, vergleichbar mit der menschlichen Intuition, auf die sich auch viele Profispieler berufen: ein Gespür, welcher Zug in welcher Situation erfolgreich sein könnte, ohne das bis zum Ende durchzurechnen. So berechnete das System im Spiel lediglich die nächsten sieben Spielzüge und entschied sich dann intuitiv für die beste Aktion. „Neuronale Netze können gut extrapolieren“, erklärt Loza Mencia: Sie können gut von bekannten Situationen auf ähnliche, aber unbekannte schließen.

Auch wer Bluffen bisher für eine rein menschliche Fähigkeit gehalten hat, der wird hier enttäuscht: Interessanterweise lernte die künstliche Intelligenz das Bluffen sogar von ganz alleine, ohne sich dabei an menschlichen Spielern zu orientieren: „Deepstack machte im Spiel gegen sich selbst die Erfahrung, dass man erfolgreicher ist, wenn man blufft“, sagt Bowling. Das System gab manchmal vor, bessere Karten zu haben, als es real hatte.

Dieses Können der neuen Algorithmen, mit unvollständigen Informationen umzugehen, ist wesentlich alltagstauglicher als das ihrer Schach- oder Go-Kollegen. „Beinahe jede Entscheidung im echten Leben beruht auf unvollständigen Informationen“, sagt Bowling. So hofft er, dass Systeme wie Deepstack beispielsweise in der Medizin oder bei Verhandlungen relevant sein könnten. Das freilich proklamiert auch Sandholm für sein System: Ein künftiges „Spiel“ könnte die Suche nach Arzneimitteln gegen resistente Keime sein.

Wie Computer lernen

Intelligenz
Bei der Künstlichen Intelligenz (KI) lernen Algorithmen durch Training selbst, wie sie von entsprechenden Eingangsdaten zu guten Ergebnissen kommen. KI wird oft synonym mit maschinellem Lernen verwendet, was aber nicht ganz richtig ist. Kritiker verweisen darauf, dass KI auch ohne selbst lernende Rechner möglich ist: Man könnte sie auch durch Regeln programmieren. Andere sagen, Maschinen die rein nach Regeln programmiert sind, enthielten keine künstliche Intelligenz, sondern gehorchten lediglich von Menschen programmierten Regeln.

Superintelligenz
Wenn Maschinen lernen zu lernen, wenn sie sich ihr Wissen selbst aneignen, warum sollten sie dann nicht eines Tages intelligenter sein als Menschen? Manche Forscher warnen, dass diese superintelligenten Maschinen zu dem Schluss kommen könnten, dass der Mensch die Wurzel allen Übels auf der Welt sei. Andere Forscher geben Entwarnung: Eine solche Entwicklung sei noch sehr weit entfernt – wenn nicht unmöglich.

Neuronale Netze
Maschinelles Lernen funktioniert häufig auf der Struktur Neuronaler Netze. Dabei wird die Funktionsweise des menschlichen Gehirn nachempfunden. Informationen werden zwischen mehreren Schichten weitergegeben, wobei jede Schicht aus verschiedenen Punkten, sogenannten Neuronen, besteht. Dabei nimmt eine Information einen Weg durch das neuronale Netz und führt abhängig von diesem Weg zu einer bestimmten Entscheidung des Systems. Diese wird abgeglichen mit dem erwünschten Ergebnis, etwa einer vorgegeben Lösung, den Trainingsdaten. Trifft sie diese sehr gut, werden die Verbindungen zwischen jenen Neuronen nachträglich gestärkt, über die diese Information gelaufen ist. So werden diese Wege in Zukunft mit größerer Wahrscheinlichkeit genutzt werden. Führt sie hingegen zu einem schlechten Ergebnis, werden die Verbindungen geschwächt. Deep Learning bezeichnet besonders tiefe neuronale Netze mit sehr vielen Schichten.