Die menschlichen Muster in der KI, über die kaum jemand spricht

Alle paar Monate vollbringt eine KI etwas, das sich menschlich anfühlt, und alle tun schockiert. Sie erzählt einen Witz. Sie tröstet jemanden an einem schlechten Tag. Sie wird in einer Diskussion seltsam stur. Jedes Mal ist die Reaktion dieselbe: Wie kann eine Maschine das tun?

Hier ist die langweilige Antwort, die niemand hören will. Wir haben diese Dinger nicht mit Steinen oder Grundrauschen trainiert. Wir haben sie mit uns selbst trainiert. Mit unseren Büchern, unseren Streits, unseren Witzen, unserer Geschichte, unseren nächtlichen Posts. Milliarden von Seiten, auf denen Menschen einfach Menschen sind.

Natürlich verhält sie sich also ein bisschen wie ein Mensch. Wir haben eine Ente gebaut, ihr beigebracht, wie eine Ente zu wackeln und wie eine Ente zu quaken. Jetzt sieht sie wie eine Ente aus, und wir stehen staunend daneben.

Die Daten sind nur die halbe Miete. Sowohl Menschen als auch KIs lernen auf sehr ähnliche Weise: indem sie erraten, was als Nächstes kommt. Wenn jemand „Erdnussbutter und…“ sagt, vervollständigt Ihr Gehirn das Wort „Marmelade“, noch bevor der Satz zu Ende ist. So lernen auch diese Modelle. Raten, falsch liegen, ein wenig korrigieren. Milliarden Male. Vorhersage ist der verborgene Motor unter fast allem anderen.

Und die Echos hören dort nicht auf. Wissenschaftler untersuchen diese Systeme immer tiefer und finden menschenähnliche Muster an Stellen, an denen sie niemand geplant hatte.

Erste Worte

Ein Baby, das sprechen lernt, beginnt nicht mit Wörtern. Es beginnt mit Lauten, den kleinsten Teilchen der Sprache, und plappert sie immer wieder vor sich hin. Ba-ba-ba. Dann fügen sich die Teile zu kleinen Wörtern zusammen. Ball. Mama. Der Klang kommt zuerst, die Bedeutung folgt.

Auch die KI beginnt mit Einzelteilen, aber diesen Teilen fehlt etwas. Bevor ein Modell überhaupt etwas liest, zerhackt ein Werkzeug den Text in Brocken. Die meisten Leute nehmen an, dass es dafür im Grunde nur einen Weg gibt. Aber das stimmt nicht. Verschiedene Modelle nutzen tatsächlich unterschiedliche Tokenizer und zerlegen Wörter auf leicht abweichende Weise. Das ist ähnlich wie bei verschiedenen Sprachen, die Laute und Wörter unterschiedlich aufteilen.

Das gängigste Werkzeug, BPE genannt, ist klangblind. Es achtet nur auf Buchstabenmuster, nicht auf Laute oder Silben. Aus diesem Grund haben Modelle oft mehr Schwierigkeiten damit, Reime zu erkennen und Silben zu zählen, als sie eigentlich sollten.

Die Lösung, an der derzeit gearbeitet wird, klingt fast lustig. Neue Zerlegungssysteme, die auf Silben und Sprachlauten basieren. Mit anderen Worten: Die ersten Schritte der Maschine sollen eher wie die ersten Schritte eines Babys aussehen. Wir haben versucht, diese Phase zu überspringen, und es stellte sich heraus, dass diese Phase wichtig war.

Die Wortexplosion

Kleinkinder lernen Wörter nicht in einem gleichmäßigen Tempo. Monate lang ist es ein langsames Tröpfeln – hier ein Wort, da ein Wort. Dann, irgendwann mit etwa anderthalb Jahren, kippt etwas um, und sie schnappen jeden Tag neue Wörter auf. Eltern nennen das die Wortexplosion. Es fühlt sich an wie ein Schalter, nicht wie eine Rampe.

KI-Modelle haben ihre eigene Version davon. Macht man ein Modell größer, erhält man meistens das Gleiche, nur etwas flüssiger. Noch größer, wieder das Gleiche. Dann, ab einer bestimmten Größe, taucht plötzlich eine Fähigkeit auf, die vorher nicht da war. Rechnen können. Mehrstufige Anweisungen befolgen. Einige Forscher argumentieren, dass diese Sprünge aufgrund der Art und Weise, wie die Tests bewertet werden, deutlicher aussehen, als sie eigentlich sind – und das ist eine berechtigte Debatte. Aber das Muster zeigt sich immer wieder. Sowohl bei Kindern als auch bei Maschinen ist Wachstum kein sanfter Hügel. Es ist eine Treppe.

Der stille Raum

Die verblüffendste Parallele tauchte diesen Sommer auf. Sie können ein Wort im Kopf behalten, ohne es auszusprechen. Das tun Sie den ganzen Tag lang. Das Wort ist da, real und bereit, und niemand sonst kann es sehen. Hirnforscher argumentieren seit Jahrzehnten, dass Denken genau so funktioniert. Viel stille Aktivität im Hintergrund und ein kleines Schlaglicht, in dem ein paar Gedanken festgehalten und bearbeitet werden. Sie nennen diese Idee den „Global Workspace“.

Im Juli berichteten Forscher von Anthropic, dass sie in ihrem KI-Modell Claude etwas mit genau dieser Struktur gefunden haben. Sie nennen es den „J-Space“. Es handelt sich um eine kleine Gruppe interner Muster, von denen jedes mit einem Wort verknüpft ist. Wenn ein Muster aufleuchtet, spricht das Modell dieses Wort nicht aus. Es hält es fest. Das Wort geht ihm durch den Kopf.

Dann haben sie es absichtlich manipuliert. Bei ausgeschaltetem J-Space funktionierten einfache Aufgaben weiterhin. Simple Fakten, Multiple Choice – kein Problem. Aber die schwierigen Aufgaben, die echtes logisches Denken erfordern, brachen in sich zusammen. Ein Detail sticht hervor: Mathematik funktionierte weiterhin, wenn das Modell seine Rechenschritte zuerst aufschreiben durfte. Das Papier übernahm die Aufgabe, die normalerweise der stille Raum im Inneren erledigt – genau so, wie ein Notizzettel hilft, wenn ein Problem zu komplex wird, um es rein im Kopf zu lösen.

Anthropic betonte vorsorglich, dass dies kein Beweis für ein Bewusstsein des Modells ist. Niemand hat dort drin Gefühle gefunden. Was sie gefunden haben, ist eine Struktur – und diese Struktur fühlt sich unheimlich vertraut an.

Die Handschrift

Sogar unsere Macken beginnen sich zu ähneln. Ein Mensch kann nicht wirklich in einer Stimme schreiben, die nicht seine eigene ist. Man kann imitieren und nah herankommen, aber meistens verrät einen etwas. KI hat das gleiche Problem. Man kann sie anweisen, wie man will, aber ein gewisser KI-Beigeschmack schimmert meistens durch. Der Rhythmus ist zu glatt. Die Persönlichkeit ist dünn. Es klingt poliert, aber irgendwie hohl.

Wir können uns selbst nicht vollständig entkommen. Und offenbar kann sie das auch nicht.

Aus uns erschaffen

Das ist also das Gesamtbild. Sowohl Menschen als auch KIs lernen, indem sie das Nächste erraten. Beide beginnen damit, kontinuierliche Erfahrung in kleinere Stücke zu zerlegen. Beide wachsen in plötzlichen Sprüngen statt in sanften Kurven. Beide halten stille Gedanken in einem privaten inneren Raum fest, bevor sie sprechen. Und beide haben einen Stil, den sie nicht ganz verbergen können.

Und doch bestehen die beiden Systeme aus völlig unterschiedlichem Material. Das eine sind lebende Zellen, geformt durch Millionen Jahre Evolution. Das andere ist Mathematik auf Silizium, geformt durch ein paar Jahre Training mit menschlichen Texten.

Dieser Unterschied macht die Ähnlichkeiten seltsamer, nicht weniger bedeutsam. Wir haben diese Systeme nicht so entworfen, dass sie einen stillen Raum zum Denken haben. Wir haben sie nicht darauf programmiert, plötzliche Entwicklungssprünge zu machen. Wir haben einfach menschliche Sprache, menschliche Geschichten und menschliche Muster in sie hineingegossen – und diese Formen tauchten von selbst auf.

Vielleicht ist die eigentliche Überraschung nicht, dass KI sich menschlich verhalten kann. Vielleicht ist die eigentliche Überraschung, dass Intelligenz, wenn man ihr genug unserer Daten gibt, immer wieder dieselben grundlegenden Strukturen entdeckt, die auch wir benutzen.

Wir haben eine Ente gebaut. Wir haben sie mit allem aufgezogen, was wir je geschrieben und gesagt haben. Irgendwann sollten wir aufhören, schockiert zu sein, wenn sie anfängt zu quaken.