Wie KI wirklich funktioniert: Token für Token

Wie Claude, ChatGPT und Gemini Text erzeugen: Token für Token, Wahrscheinlichkeit für Wahrscheinlichkeit. Das mentale Modell für den Alltag mit KI.

Du tippst eine Frage ein, und Claude antwortet in flüssigen Sätzen. Das wirkt, als würde da jemand nachdenken und dann losschreiben. Wie KI wirklich funktioniert, sieht anders aus.

Kurz gesagt: Ein KI-Chatbot wie Claude, ChatGPT oder Gemini erzeugt Text Token für Token. Für jedes nächste Token berechnet das Modell eine Wahrscheinlichkeit über sein gesamtes Vokabular und zieht daraus eine Auswahl. Dann startet die Rechnung erneut, mit dem neuen Token als Teil der Eingabe.

Claude rechnet mit Token

Sprachmodelle lesen und schreiben keine Buchstaben und keine ganzen Sätze. Sie rechnen mit Token. Anthropic definiert Token als die kleinsten Einheiten eines Sprachmodells, die Wörtern, Teilwörtern oder Zeichen entsprechen können. Für Claude entspricht ein Token ungefähr 3,5 englischen Zeichen.

Dein Text wird also zuerst in eine Folge von Token übersetzt. Das Modell rechnet darüber und erzeugt genau ein neues Token, das hinten angehängt wird. Dann startet der Vorgang erneut. Hinter einem Absatz mit 200 Wörtern stecken ein paar hundert einzelne Durchläufe.

Jedes nächste Token ist eine Wahrscheinlichkeit

Für jedes Token in seinem Vokabular berechnet das Modell eine Wahrscheinlichkeit und zieht daraus das nächste. Ein eindeutiges richtiges Wort gibt es an dieser Stelle gar nicht, es gibt eine Rangliste mit Prozentwerten.

Ein Beispiel. Du gibst den Anfang vor:

Der Hund läuft über die

Das Modell erzeugt daraufhin eine Verteilung, die sinngemäß so aussehen könnte:

Nächstes Token	Wahrscheinlichkeit
Wiese	34 %
Straße	26 %
Brücke	11 %
Terrasse	6 %

Weil auf jeder gezogenen Abweichung weitergerechnet wird, kann eine einzige andere Entscheidung am Anfang eine komplett andere Antwort nach sich ziehen.

Dein Prompt verschiebt die Wahrscheinlichkeiten

Die Verteilung hängt an allem, was vorher im Text steht. Schreib einen einzigen Satz davor:

Auf dem Bauernhof ist es still.
Der Hund läuft über die

Jetzt schiebt sich "Wiese" nach oben, "Straße" rutscht ab, und "Terrasse" verschwindet praktisch. Du hast keine Regel eingebaut und keine Einstellung geändert. Du hast Text hinzugefügt, und der Text hat die Zahlen verschoben.

Das ist der Mechanismus hinter jedem Prompting-Tipp, den du je gelesen hast. Wenn du schreibst, für wen der Text ist, in welchem Ton er sein soll und was du auf keinen Fall willst, verschiebst du die Wahrscheinlichkeiten in Richtung der Antwort, die du haben willst. Darum bringt es tatsächlich etwas, wenn du Claude eine Position gibst. "Antworte als Marketingprofi" zieht die Verteilung in Richtung der Wörter, die in Marketingtexten häufig vorkommen. Ein Beispieltext von dir wirkt aus demselben Grund so stark: Er zieht die Verteilung in Richtung deiner Formulierungen.

Aus demselben Prinzip folgt, dass derselbe Prompt nicht jedes Mal dasselbe Ergebnis liefert. Das Modell zieht bei jedem Durchlauf neu aus der Verteilung. Wenn dir eine Antwort nicht gefällt, lohnt sich ein zweiter Versuch also tatsächlich. Und wenn dir eine Formulierung gefällt, sicherst du sie besser gleich.

Warum Claude manchmal etwas erfindet

Das Modell optimiert darauf, eine plausibel klingende Fortsetzung zu erzeugen. Eine erfundene Jahreszahl und eine erfundene Quelle sehen an ihrer Stelle im Satz genauso plausibel aus wie die echten, und der Ton bleibt selbstsicher, weil selbstsicherer Ton dort wahrscheinlich ist. Wenn du Claude im Prompt ausdrücklich erlaubst, Unsicherheit zuzugeben, und wörtliche Zitate einforderst, kannst du die Halluzinationen deutlich reduzieren.

Und trotzdem plant Claude voraus

"Ein Token nach dem anderen" klingt danach, als würde Claude planlos drauflosschreiben. Anthropics Forschungsteam hat nachgeschaut und etwas anderes gefunden. Wenn Claude einen Reim schreibt, steht das Reimwort am Zeilenende intern schon fest, bevor die Zeile überhaupt losgeht. Claude baut den Satz dann auf dieses Wort zu.

So kannst du deine Prompts optimieren

Schreib den Kontext dazu, bevor du die Aufgabe stellst.
Leg ein Beispiel dazu. Ein von dir geschriebener Text ist eine stärkere Referenz als nur eine Beschreibung deines Stils.
Probier eine zweite Antwort, wenn die erste daneben liegt.
Prüfe Zahlen, Namen und Quellen selbst.

Häufige Fragen

Was ist ein Token bei KI? Ein Token ist die kleinste Einheit, mit der ein Sprachmodell rechnet. Es kann ein ganzes Wort sein, ein Wortteil, ein Satzzeichen oder ein einzelnes Zeichen. Bei Claude entspricht ein Token ungefähr 3,5 englischen Zeichen.

Warum gibt KI auf dieselbe Frage unterschiedliche Antworten? Das Modell zieht sein nächstes Token jedes Mal neu aus einer Wahrscheinlichkeitsverteilung. Deshalb kann derselbe Prompt zu einer anderen Formulierung führen.

Lernt Claude aus meinen Chats dazu? Claude legt Erinnerungen an und greift in späteren Chats darauf zurück. Diese Erinnerungen werden im Hintergrund als Text mitgegeben, bevor Claude antwortet.