Das von Künstlicher Intelligenz gesteuerte Sprachmodell sorgt für Diskussionen. Maschinelle Lernsysteme sind eine Blackbox, oft ist nicht klar: Wann lügen sie, wann sagen sie die Wahrheit? Das Problem ist auch ein allzu leicht gläubiges Publikum.
Den Chatbot ChatGPT kann man alles fragen – und fast immer antwortet das System. Und das durchaus eloquent. Aber ist es immer wahr? Seit Kurzem ist ChatGPT öffentlich zugänglich, ein Chatbot auf der Basis eines Sprachmodells des Unternehmens Open AI, und damit werden seine Stärken, aber auch seine Schwächen deutlich. Der Chatbot hat keinen Maßstab für Wahrheit, er erfindet Fakten, und hin und wieder zeigt er ein rassistisches Weltbild. Dennoch zeigen sich auch die enormen Fortschritte, die große Sprachmodelle in den vergangenen Jahren gemacht haben.
Das US-Unternehmen hat sich unter Forschenden bereits seit einiger Zeit einen Namen gemacht, da das Vorgänger-Sprachmodell GPT-3 für Forschungszwecke schon seit etwas mehr als einem Jahr offen zugänglich ist. Seither hat sich einiges verändert: Der Chatbot kann sich neuerdings den Gesprächsverlauf „merken“ und auf vorherige Fragen und Antworten eingehen. Während er zuvor immer wieder unerwartet das Thema wechselte, ist er neuerdings sehr konsistent – viele Gespräche sind kaum von denen mit einem Menschen zu unterscheiden. Allerdings antwortet er nicht mehr auf alles, denn Open AI hat seinem Chatbot offenbar Zügel angelegt nach massiver Kritik in den sozialen Medien, dass dieser lüge.
Aber das hat seine Grenzen: Noch immer sind maschinelle Lernsysteme eine Blackbox. Selbst ihre Entwicklerinnen können nicht vorhersagen, wie sie auf welchen Input reagieren. Deshalb hat Open AI einen Disclaimer, der besagt, dass es jederzeit sein könne, dass ChatGPT unanständige oder grenzüberschreitende Ergebnisse ausspucke. Und dass der Chatbot bisweilen lügt, schreibt der Konzern offen in seinem Blog.
ChatGPT schreibe manchmal plausibel klingende, aber falsche oder unsinnige Antworten. Das zu lösen sei schwierig, denn es gebe bei der Art, wie das System lerne, keine Quelle für die Wahrheit. Man könne das Modell zwar darauf trainieren, vorsichtiger zu sein bei Antworten, die es nicht sicher wisse – dann würde es aber auch viele Fragen nicht beantworten, die es beantworten könne. Es ist also ein klassischer Zielkonflikt, und offenbar hat Open AI lange eher auf „Plappern“ optimiert denn auf Wahrheit. Möglicherweise weil eloquentes Plappern die Menschen mehr beeindruckt als ein Modell, das lieber einmal zu oft sagt: „Das weiß ich nicht.“
Nachdem einige Forscher darauf hingewiesen hatten, dass ChatGPT zwar hervorragend klingende wissenschaftliche Arbeiten verfasse, aber auch mal Quellen erfinde, sah sich auch der CEO von Open AI, Sam Altmann, genötigt, in einer Twitter-Diskussion darauf hinzuweisen, dass man sich nicht auf ChatGPT verlassen dürfe. Es sei „unglaublich begrenzt, aber in einigen Dingen gut genug, um einen irreführenden Eindruck“ zu erwecken. „Wir haben noch viel zu tun in Bezug auf Robustheit und Wahrhaftigkeit.“ Man arbeite hart daran, das zu verbessern. Die Erklärung weiter oben zeigt aber auch, dass sich das Problem nicht vollständig lösen lassen wird – sondern lediglich in die eine oder andere Richtung optimieren. ChatGPT wird immer auch „plappern“, solange es nicht mit anderen Systemen verknüpft ist, die auf Faktensuche, Rechnen und Ähnliches trainiert sind.
Daher ist die große Debatte, ob Studierende künftig mogeln und den Chatbot ihre Abschlussarbeiten schreiben lassen, vermutlich etwas zu panisch: Wann lügt der Chatbot, wann sagt er die Wahrheit? Das ist kaum in Erfahrung zu bringen. Und damit sind viele seiner Aussagen in der akademischen Welt oder bei der Informationssuche relativ. Schließlich bewegt sich jeder Absolvent mit einer wissenschaftlichen Arbeit, die es mit der Wahrheit nicht genau nimmt oder mit einem Quellenverzeichnis voller oder teils erfundener Quellen, auf dünnem Eis.
Auch wenn ChatGPT öffentlichkeitswirksam eine Jura-Prüfung bestanden hat, zeigen sich bei genauem Hinsehen Lücken: So habe das System zwar wunderbare Aufsätze geschrieben, aber Schwierigkeiten gehabt, Probleme bei offenen Aufgabenstellungen zu erkennen: eine Kernkompetenz bei juristischen Prüfungen. In Mathe habe es zudem versagt, so der Juraprofessor Jonathan Choi.
Freilich wird es Systeme brauchen, die wiederum erkennen, ob Texte von Mensch oder Maschine geschrieben wurden – und die wird es geben. Es wird das übliche Katz-und-Maus-Spiel werden wie etwa bei der Erkennung von Spam-Mails. Und natürlich wird immer einer besser sein. Um gefälschte oder erfundene Quellenangaben zu finden, dafür reichen hingegen auch Stichproben – und Konsequenzen für diejenigen, die erwischt werden. Das schreckt ab.
Das Problem ist ein anderes: allzu leicht gläubiges Publikum. Denn ChatGPT ist sehr gut darin, eloquent Unsinn zu behaupten. Und Eloquenz führt dazu, dass wir Menschen glauben, eine Aussage sei inhaltlich wertvoll oder wahr. Eine ähnliche Debatte gab es im Sommer, als der Google-Forscher Blake Lemoine intensiv mit einem Sprachmodell namens Lamda interagierte und ob dessen Eloquenz und tiefsinniger Antworten zur Überzeugung gelangte, dass dieses lebendig sein und ein Bewusstsein haben müsse. Lamda (Language Model for Dialogue Applications) hatte nicht nur ein ähnliches Ziel wie ChatGPT, sondern spielt in der gleichen Liga riesiger Sprachmodelle: Google und Open AI führen hier die Forschung und Entwicklung an.
Auch wenn es auf die Frage „Kann eine Maschine ein Bewusstsein haben?“ keine einfache Antwort gibt, ist es wahrscheinlich, dass Lemoine auf die Eloquenz von Lamda hereingefallen ist. Philosophen und Hirnforscher betonen, dass man allein aufgrund der sprachlichen Ausdrucksweise nicht beurteilen kann, ob Bewusstsein vorhanden ist – weder bei einer Maschine noch bei einem menschlichen Gegenüber. Wir glauben es unseren Mitmenschen, aber sie könnten auch Zombies sein und nur behaupten, sie seien bewusst. Sobald das eloquent genug vertreten wird, beurteilen wir das als glaubhaft. „Wir sind darauf geeicht, die Äußerungen anderer als bedeutungsvoll zu interpretieren“, erklärt Anna Ivanova. Die Neurowissenschaftlerin vom Massachusetts Institute of Technology MIT sagt, selbst wenn das Gesagte Lücken habe oder stellenweise seltsam sei, „füllen wir die Lücken mit Sinn, wir ergänzen Hintergrundwissen und die mutmaßlichen Intensionen, wieso jemand etwas sagt“.
In der Debatte über scheinbar intelligente Chatbots würden viele Begriffe durcheinandergeworfen, sagt Ivanova – Bewusstsein, Intelligenz, Empfindungsfähigkeit. Aber nur weil ein System eloquent daherredet, heißt das noch lange nicht, dass es intelligent oder gar bewusst ist. „Das ist der kognitive Glitch (Fehler im Spiel) von uns Menschen: Wenn wir Sprache hören, konstruieren wir automatisch ein mentales Modell auf der Basis eines menschlichen Vorbilds.“ Wir Menschen gehen von uns aus: Wir reden flüssig und schlau daher, also sind wir intelligent. Die Hirnforschung zeigt aber, dass dies nicht richtig ist. „Es gibt eine lange Tradition in vielen Disziplinen, davon auszugehen, dass Sprache die Grundlage von Intelligenz ist“, sagt Ivanova, „aber das ist falsch.“
So haben Menschen, die bei einem Schlaganfall beispielsweise ihr Sprachfähigkeit verloren haben, weil der entsprechende Teil des Gehirns betroffen ist, durchaus noch Intelligenz: „Sie verstehen Ursache und Wirkung, sie können die Handlungen anderer Menschen interpretieren, manche spielen Schach in ihrer Freizeit.“ Einer habe sogar Musik komponiert, nachdem er seine Sprache verloren hatte. Und es gibt das Gegenteil: Menschen, bei denen das Sprachverstehen von einer Schädigung im Gehirn betroffen ist, die aber fließend sprechen können. „Sie sprechen eloquent, die Grammatik stimmt“, erklärt Ivanova. Dennoch sei ein sinnvolles Gespräch nicht möglich, weil sie nicht verstehen, was ihr Gegenüber sagt. Auch eine Entwicklungsstörung namens Williams Syndrome mache deutlich, dass Sprache und Intelligenz nicht zusammenhängen, sagt Ivanova: „Die Betroffenen sind sehr sozial, sie sprechen sehr viel, ihre sprachlichen Fähigkeiten sind sehr gut, aber sie haben meist einen sehr niedrigen Intelligenzquotienten.“
Wenn ChatGPT also noch so intelligent wirkt, ist das eine Täuschung. Es nutzt unsere kognitive Schwäche aus, die Eloquenz mit Intelligenz in Verbindung bringt. Diese Technologie richtig einzuschätzen wird eine der großen Herausforderungen der Zukunft.
