Wie lernt eine KI? Einfach erklärt

Q: Wofür steht RLHF?

RLHF steht für *Reinforcement Learning from Human Feedback*, auf Deutsch Verstärkungslernen aus menschlichem Feedback. Menschen bewerten dabei Antworten des Modells, und das Modell lernt, ähnlich gut bewertete Antworten zu bevorzugen.

Wie ein KI-Modell trainiert wird, ohne Vorwissen erklärt: die drei Lernarten, das Vortraining aus reinem Text und warum Menschen Claudes Antworten bewerten.

Claude antwortet dir in flüssigen Sätzen, und davon, dass im Hintergrund Mathematik läuft, merkst du nichts. Diese Seite erklärt dir, was da technisch passiert, von den ersten Trainingsdaten bis zu dem Satz, der bei dir auf dem Bildschirm landet. Du brauchst dafür kein Vorwissen, jeder Fachbegriff wird an der Stelle erklärt, an der er zum ersten Mal auftaucht.

Wie eine KI überhaupt lernt

Bevor es um Claude im Besonderen geht, lohnt sich der Blick auf die drei Arten, wie eine KI überhaupt lernen kann. Stell dir zwei Aufgaben vor: Eine KI soll Katzen von Hunden unterscheiden. Eine andere KI soll ein Videospiel spielen. Für diese beiden Aufgaben braucht es zwei völlig verschiedene Trainingsarten.

Überwachtes Lernen

Beim überwachten Lernen bekommt die KI Beispiele, die ein Mensch vorher beschriftet hat. Das funktioniert wie Lernen mit Karteikarten: vorne das Bild, hinten die Antwort.

Für die Katzen-und-Hunde-Aufgabe zeigst du dem Modell also Millionen Fotos, und bei jedem steht dabei, was darauf zu sehen ist. Nach genügend Beispielen hat das Modell die Merkmale herausgerechnet, die typisch sind. Schlappohren sprechen eher für einen Hund, und so weiter. Niemand hat diese Regel einprogrammiert, sie fällt aus den Beispielen heraus.

Der Haken am überwachten Lernen: Jemand muss all diese Beispiele beschriften, und das ist aufwendig.

Unüberwachtes Lernen

Beim unüberwachten Lernen fehlen die Beschriftungen. Das Modell bekommt nur die Daten und sucht sich die Struktur darin selbst.

Stell dir ein Kind vor, das eine durcheinandergewürfelte Kiste Lego sortieren soll, ohne dass jemand ihm sagt wonach. Es wird anfangen, nach Farbe zu gruppieren, oder nach Form, oder nach Größe. Genau das macht ein Modell beim unüberwachten Lernen: Es gruppiert, was zusammengehört, und findet Muster, nach denen niemand gefragt hat.

Verstärkungslernen

Beim Verstärkungslernen, auf Englisch Reinforcement Learning, lernt die KI aus Belohnung und Bestrafung, ganz ohne Beispiele.

Zurück zum Videospiel. Die KI probiert einfach los. Läuft sie gegen eine Wand, gibt es einen Punktabzug. Sammelt sie eine Münze ein, gibt es Punkte. Nach vielen Durchläufen hat sie die Strategie gefunden, die ihr die meisten Punkte bringt. Dieselbe Methode steckt hinter KI-Systemen, die Menschen im Brettspiel Go geschlagen haben.

Wie Claude sprechen gelernt hat

Sprachmodelle wie Claude, ChatGPT oder Gemini nutzen eine Variante des unüberwachten Lernens, und die ist ziemlich elegant.

Das Trainingsmaterial ist Text, riesige Mengen davon. Dieser Text hat keine Beschriftungen, er ist einfach Text. Anthropic beschreibt diesen ersten Schritt als Vortraining auf einem großen, nicht beschrifteten Textbestand.

Das Modell baut sich seine Übungsaufgaben deshalb selbst. Es nimmt einen Satz, deckt ihn an einer Stelle ab und rät, wie es weitergeht. Danach schaut es nach, was tatsächlich dastand. Die richtige Antwort steckte also schon im Text, es musste sie nur verdecken. Weil das Modell sich die Aufgaben selbst stellt, heißt diese Variante selbstüberwachtes Lernen.

Wiederholt man das milliardenfach, lernt das Modell dabei Grammatik, Zusammenhänge und eine Menge Weltwissen. Nicht weil ihm jemand Regeln beigebracht hätte, sondern weil man das nächste Wort nur dann zuverlässig trifft, wenn man verstanden hat, worum es geht.

Nach diesem Schritt ist ein Modell allerdings noch kein Assistent. Es setzt Text fort, mehr nicht. Anthropic beschreibt vortrainierte Modelle ausdrücklich als noch nicht gut darin, Fragen zu beantworten oder Anweisungen zu befolgen. Deshalb kommen zwei weitere Schritte dazu:

Feinabstimmung. Das vortrainierte Modell wird mit zusätzlichen Daten weitertrainiert, damit es sich wie ein Assistent verhält statt wie eine Textmaschine.
Verstärkungslernen aus menschlichem Feedback. Menschen bekommen mehrere Antworten des Modells vorgelegt und bewerten sie. Das Modell lernt daraufhin, Antworten zu bevorzugen, die den besser bewerteten ähneln. Der Fachbegriff dafür ist RLHF, das steht für Reinforcement Learning from Human Feedback. Genau so wurde Claude zu einem hilfreichen Assistenten trainiert.

Wie daraus deine Antwort entsteht

Wenn du Claude eine Frage stellst, denkt Claude nicht erst nach und schreibt dann los. Claude erzeugt die Antwort Stück für Stück.

Diese Stücke heißen Token. Ein Token ist die kleinste Einheit, mit der ein Sprachmodell rechnet, also ein Wort, ein Wortteil oder ein einzelnes Zeichen. Bei Claude entspricht ein Token ungefähr 3,5 englischen Zeichen.

Für jedes nächste Token berechnet das Modell eine Wahrscheinlichkeit über sein gesamtes Vokabular und zieht daraus eine Auswahl. Dann startet die Rechnung erneut, jetzt mit dem gerade erzeugten Token als Teil der Eingabe. Hinter einem Absatz stecken also ein paar hundert einzelne Durchläufe.

Zwei Dinge, die dir im Alltag auffallen, folgen direkt daraus. Dieselbe Frage bringt unterschiedliche Antworten, weil das Modell jedes Mal neu aus der Verteilung zieht. Und Claude erfindet manchmal etwas, weil eine plausibel klingende Fortsetzung und eine wahre Fortsetzung an dieser Stelle gleich aussehen.

Wie sich diese Wahrscheinlichkeiten durch deine Formulierung verschieben lassen, und was das für deine Prompts bedeutet, steht ausführlich im Guide Wie KI wirklich funktioniert: Token für Token.

Häufige Fragen

Was ist der Unterschied zwischen überwachtem und unüberwachtem Lernen? Beim überwachten Lernen hat ein Mensch die Trainingsbeispiele vorher beschriftet, das Modell lernt also aus vorgegebenen richtigen Antworten. Beim unüberwachten Lernen fehlen diese Beschriftungen, das Modell sucht die Struktur in den Daten selbst.

Wie lernt ein Sprachmodell ohne beschriftete Daten? Es baut sich die Beschriftungen selbst, indem es einen Satz an einer Stelle abdeckt, das nächste Wort rät und danach mit dem echten Text abgleicht. Diese Variante heißt selbstüberwachtes Lernen.

Lernt Claude aus meinen Chats weiter? Das Training ist abgeschlossen, dein Chat verändert das Modell nicht. Claude legt aber Erinnerungen an und greift in späteren Chats darauf zurück, diese Erinnerungen werden im Hintergrund als Text mitgegeben.

Wofür steht RLHF? RLHF steht für Reinforcement Learning from Human Feedback, auf Deutsch Verstärkungslernen aus menschlichem Feedback. Menschen bewerten dabei Antworten des Modells, und das Modell lernt, ähnlich gut bewertete Antworten zu bevorzugen.