Perché i modelli di IA smettono di imparare dopo l'addestramento, e l'idea del «sonno» di Google

Il problema

Un modello linguistico è il sistema di IA che sta dietro a un chatbot. Impara da enormi quantità di testo durante l'addestramento. L'addestramento usa testi fino a una data limite (cutoff), quindi il modello potrebbe non sapere cose successe dopo.

Due cose rendono difficile insegnare fatti nuovi a un modello in un secondo momento:

• Solo memoria a breve termine: in una chat, il modello può usare quello che è scritto nella conversazione. Questa si chiama finestra di contesto (context window). Quel testo non viene salvato dentro il modello, quindi il modello non cambia.
• Dimenticanza: se addestri di nuovo il modello su fatti nuovi, spesso diventa meno bravo in cose che sapeva già. I ricercatori lo chiamano oblio catastrofico (catastrophic forgetting).

L'idea del «sonno»

I ricercatori di Google hanno preso spunto dal sonno umano. Il modello alterna due fasi:

1. Da sveglio: il modello lavora come sempre e tiene le nuove informazioni in una memoria veloce, a breve termine.
2. Nel sonno: il modello smette di ricevere nuove domande. Sposta quello che ha imparato nella sua memoria a lungo termine, cioè nei suoi parametri (l'enorme insieme di numeri dentro il modello che contiene ciò che ha imparato). Per farlo aggiunge un po' di spazio in più, così le vecchie conoscenze non vengono rimpiazzate. Poi svuota la memoria a breve termine.

Mentre dorme, il modello «sogna» anche: scrive da solo degli esempi per esercitarsi, tiene quelli più utili e si allena con quelli.

Cosa hanno scoperto

I ricercatori riferiscono che, nei loro test:

• Il modello ha imparato due lingue rare (il mancese e il kalamang) un passo alla volta e non ha dimenticato quasi nulla dei passi precedenti. Altri metodi hanno dimenticato molto di più.
• Ha continuato a funzionare bene in un test con testi molto lunghi, fino a 10 milioni di token. Un token è un piccolo pezzo di testo, più o meno una parola corta o una parte di parola.
• Nei test sui fatti nuovi e sulla matematica ha fatto meglio dei metodi con cui è stato confrontato.

Limiti

Questi risultati vengono dai test degli stessi autori, e altri gruppi di ricerca non li hanno ancora ripetuti. Non è chiaro quando, o se, le app di chat useranno questo metodo.

Cosa significa per te quando chatti con ChatPrime

I modelli di IA dietro le app di chat imparano gran parte di quello che sanno durante l'addestramento. Quando chatti con ChatPrime:

• Per i fatti recenti, controlla a quando risalgono le informazioni, oppure consulta una fonte di notizie aggiornata.
• In una chat lunga, ripeti i dettagli chiave (nomi, numeri, il tuo obiettivo) quando sono importanti.
• Correggere un errore aiuta in quella conversazione. Non cambia subito quello che il modello sa.

Fonte

Ali Behrouz, Farnoosh Hashemi, Adel Javanmard e Vahab Mirrokni (Google Research), «Language Models Need Sleep: Learning to Self-Modify and Consolidate Memories», arXiv, 2026: arxiv.org/abs/2606.03979

Riassunto sul blog di Google Research, 27 ottobre 2026: Il framework del sonno