Warum KI-Modelle nach dem Training nicht mehr lernen – und Googles „Schlaf“-Idee

Das Problem

Ein Sprachmodell ist das KI-System hinter einem Chatbot. Es lernt im Training aus riesigen Textmengen. Das Training nutzt Texte bis zu einem Stichtag. Deshalb weiß das Modell vielleicht nichts über Dinge, die danach passiert sind.

Zwei Dinge machen es schwer, einem Modell danach neue Fakten beizubringen:

• Nur ein Kurzzeitgedächtnis: In einem Chat kann das Modell nutzen, was im Gespräch steht. Das nennt man das Kontextfenster. Dieser Text wird nicht im Modell selbst gespeichert, deshalb verändert sich das Modell nicht.
• Vergessen: Wenn man das Modell mit neuen Fakten erneut trainiert, wird es oft schlechter bei Dingen, die es schon wusste. Forschende nennen das katastrophales Vergessen (Catastrophic Forgetting).

Die „Schlaf“-Idee

Forschende bei Google haben sich vom menschlichen Schlaf inspirieren lassen. Das Modell wechselt zwischen zwei Phasen:

1. Wach: Das Modell arbeitet wie gewohnt und speichert neue Informationen in einem schnellen Kurzzeitgedächtnis.
2. Schlafend: Das Modell nimmt keine neuen Fragen mehr an. Es überträgt das Gelernte in sein Langzeitgedächtnis, also in seine Parameter (die riesige Menge an Zahlen im Modell, in denen sein Wissen steckt). Dafür schafft es sich etwas zusätzlichen Platz, damit altes Wissen nicht verdrängt wird. Danach leert es das Kurzzeitgedächtnis.

Im Schlaf „träumt“ das Modell auch: Es schreibt eigene Übungsbeispiele, behält die nützlichsten und trainiert damit.

Was sie herausgefunden haben

Laut den Forschenden zeigte sich in ihren Tests:

• Das Modell lernte Schritt für Schritt zwei seltene Sprachen (Mandschurisch und Kalamang) und vergaß dabei fast nichts aus früheren Schritten. Andere Methoden vergaßen viel mehr.
• Es lieferte auch in einem Test mit sehr langen Texten von bis zu 10 Millionen Tokens weiterhin gute Ergebnisse. Ein Token ist ein kleines Stück Text, etwa so groß wie ein kurzes Wort oder ein Teil eines Wortes.
• Bei Tests zu neuen Fakten und zu Mathematik schnitt es besser ab als die Methoden, mit denen es verglichen wurde.

Grenzen

Diese Ergebnisse stammen aus den eigenen Tests des Forschungsteams. Andere Teams haben sie noch nicht wiederholt. Ob und wann Chat-Apps diese Methode nutzen werden, ist unklar.

Was das für Sie bedeutet, wenn Sie mit ChatPrime chatten

Die KI-Modelle hinter Chat-Apps lernen das meiste, was sie wissen, während des Trainings. Wenn Sie mit ChatPrime chatten:

• Bei aktuellen Ereignissen: Prüfen Sie, von wann die Informationen stammen, oder schauen Sie in eine aktuelle Nachrichtenquelle.
• Wiederholen Sie in einem langen Chat wichtige Details (Namen, Zahlen, Ihr Ziel), wenn es darauf ankommt.
• Wenn Sie einen Fehler korrigieren, hilft das in diesem Gespräch. Das ändert aber nicht sofort, was das Modell weiß.

Quelle

Ali Behrouz, Farnoosh Hashemi, Adel Javanmard und Vahab Mirrokni (Google Research), „Language Models Need Sleep: Learning to Self-Modify and Consolidate Memories“, arXiv, 2026: arxiv.org/abs/2606.03979

Zusammenfassung im Blog von Google Research, 27. Oktober 2026: Der Schlaf-Ansatz