Pourquoi les modèles d'IA arrêtent d'apprendre après l'entraînement, et l'idée du « sommeil » de Google

Le problème

Un modèle de langage est le système d'IA qui fait fonctionner un chatbot. Il apprend à partir d'énormes quantités de texte pendant son entraînement. Cet entraînement utilise des textes jusqu'à une date limite, donc le modèle ne connaît pas forcément ce qui s'est passé ensuite.

Après l'entraînement, il est difficile d'apprendre de nouveaux faits à un modèle, pour deux raisons :

• Une mémoire à court terme seulement : dans une discussion, le modèle peut utiliser ce qui est écrit dans la conversation. C'est ce qu'on appelle la fenêtre de contexte. Ce texte n'est pas enregistré dans le modèle lui-même, donc le modèle ne change pas.
• L'oubli : si on entraîne de nouveau le modèle sur de nouveaux faits, il devient souvent moins bon sur ce qu'il savait déjà. Les chercheurs appellent cela l'oubli catastrophique.

L'idée du « sommeil »

Des chercheurs de Google se sont inspirés du sommeil humain. Le modèle alterne entre deux phases :

1. Éveillé : le modèle fonctionne normalement et garde les nouvelles informations dans une mémoire à court terme rapide.
2. Endormi : le modèle n'accepte plus de nouvelles questions. Il transfère ce qu'il a appris dans sa mémoire à long terme, ses paramètres (l'immense ensemble de nombres, à l'intérieur du modèle, qui contient ce qu'il a appris). Il ajoute un peu de place pour cela, afin que les nouvelles connaissances ne prennent pas la place des anciennes. Ensuite, il vide sa mémoire à court terme.

Pendant son sommeil, le modèle « rêve » aussi : il écrit ses propres exercices d'entraînement, garde les plus utiles et s'entraîne avec.

Ce qu'ils ont découvert

Selon les chercheurs, lors de leurs tests :

• Le modèle a appris deux langues rares (le mandchou et le kalamang) étape par étape, et n'a presque rien oublié des étapes précédentes. D'autres méthodes ont oublié bien plus.
• Il a continué à bien fonctionner sur un test avec des textes très longs, jusqu'à 10 millions de jetons (tokens). Un jeton est un petit morceau de texte : en gros, un mot court ou une partie de mot.
• Il a fait mieux que les méthodes auxquelles il était comparé sur des tests portant sur de nouveaux faits et sur les maths.

Limites

Ces résultats viennent des tests menés par les auteurs eux-mêmes, et d'autres équipes ne les ont pas encore reproduits. On ne sait pas quand, ni même si, les applications de chat utiliseront cette méthode.

Ce que cela veut dire pour vous quand vous discutez avec ChatPrime

Les modèles d'IA derrière les applications de chat apprennent l'essentiel de ce qu'ils savent pendant leur entraînement. Quand vous discutez avec ChatPrime :

• Pour les événements récents, vérifiez de quand date l'information, ou consultez une source d'actualités à jour.
• Dans une longue discussion, rappelez les détails clés (noms, chiffres, votre objectif) quand ils sont importants.
• Corriger une erreur est utile dans cette conversation. Cela ne change pas instantanément ce que le modèle sait.

Source

Ali Behrouz, Farnoosh Hashemi, Adel Javanmard et Vahab Mirrokni (Google Research), « Language Models Need Sleep: Learning to Self-Modify and Consolidate Memories », arXiv, 2026 : arxiv.org/abs/2606.03979

Résumé sur le blog de Google Research, 27 octobre 2026 : L'approche « sommeil »