Por qué los modelos de IA dejan de aprender después del entrenamiento, y la idea del "sueño" de Google

El problema

Un modelo de lenguaje es el sistema de IA detrás de un chatbot. Aprende de enormes cantidades de texto durante el entrenamiento. El entrenamiento usa textos hasta una fecha de corte, así que es posible que el modelo no sepa de cosas que pasaron después.

Hay dos cosas que hacen difícil enseñarle datos nuevos a un modelo una vez entrenado:

• Solo memoria a corto plazo: en un chat, el modelo puede usar lo que está escrito en la conversación. Esto se llama ventana de contexto (context window). Ese texto no se guarda dentro del propio modelo, así que el modelo no cambia.
• Olvido: si vuelves a entrenar el modelo con datos nuevos, muchas veces empeora en cosas que ya sabía. Los investigadores llaman a esto olvido catastrófico.

La idea del "sueño"

Investigadores de Google se inspiraron en el sueño humano. El modelo alterna entre dos fases:

1. Despierto: el modelo funciona como siempre y guarda la información nueva en una memoria rápida a corto plazo.
2. Dormido: el modelo deja de recibir preguntas nuevas. Pasa lo que aprendió a su memoria a largo plazo, sus parámetros (el enorme conjunto de números dentro del modelo que guarda lo que ha aprendido). Para esto agrega un poco de espacio extra y así no desplaza el conocimiento anterior. Después borra la memoria a corto plazo.

Mientras duerme, el modelo también "sueña": escribe sus propios ejemplos de práctica, se queda con los más útiles y entrena con ellos.

Qué encontraron

Los investigadores informan que, en sus pruebas:

• El modelo aprendió dos idiomas poco comunes (manchú y kalamang) paso a paso y casi no olvidó nada de los pasos anteriores. Otros métodos olvidaron mucho más.
• Siguió funcionando bien en una prueba con textos muy largos, de hasta 10 millones de tokens. Un token es un pedazo pequeño de texto, más o menos del tamaño de una palabra corta o de una parte de una palabra.
• Le fue mejor que a los métodos con los que se comparó en pruebas de datos nuevos y de matemáticas.

Límites

Estos resultados vienen de las propias pruebas de los autores, y otros equipos todavía no los han repetido. No está claro si las apps de chat usarán este método, ni cuándo.

Qué significa esto para ti cuando chateas con ChatPrime

Los modelos de IA detrás de las apps de chat aprenden la mayor parte de lo que saben durante el entrenamiento. Cuando chateas con ChatPrime:

• Sobre hechos recientes, revisa de cuándo es la información o consulta un medio de noticias actual.
• En un chat largo, repite los datos clave (nombres, números, tu objetivo) cuando sean importantes.
• Corregir un error ayuda en esa conversación. No cambia al instante lo que sabe el modelo.

Fuente

Ali Behrouz, Farnoosh Hashemi, Adel Javanmard y Vahab Mirrokni (Google Research), "Language Models Need Sleep: Learning to Self-Modify and Consolidate Memories", arXiv, 2026: arxiv.org/abs/2606.03979

Resumen en el blog de Google Research, 27 de octubre de 2026: El marco del sueño