Por que os modelos de IA param de aprender depois do treinamento, e a ideia de "sono" do Google

O problema

Um modelo de linguagem é o sistema de IA por trás de um chatbot. Ele aprende com enormes quantidades de texto durante o treinamento. O treinamento usa textos até uma data de corte, então o modelo pode não saber de coisas que aconteceram depois.

Duas coisas dificultam ensinar fatos novos a um modelo depois disso:

• Só memória de curto prazo: em um chat, o modelo pode usar o que está escrito na conversa. Isso se chama janela de contexto. Esse texto não fica guardado dentro do próprio modelo, então o modelo não muda.
• Esquecimento: se você treina o modelo de novo com fatos novos, muitas vezes ele piora em coisas que já sabia. Os pesquisadores chamam isso de esquecimento catastrófico.

A ideia do "sono"

Pesquisadores do Google pegaram uma ideia emprestada do sono humano. O modelo alterna entre duas fases:

1. Acordado: o modelo funciona normalmente e guarda informações novas em uma memória rápida, de curto prazo.
2. Dormindo: o modelo para de receber novas perguntas. Ele passa o que aprendeu para sua memória de longo prazo, os seus parâmetros (o enorme conjunto de números dentro do modelo que guarda o que ele aprendeu). Para isso, ele cria um pouco de espaço extra, assim o conhecimento novo não toma o lugar do antigo. Depois, ele limpa a memória de curto prazo.

Enquanto dorme, o modelo também "sonha": ele cria seus próprios exemplos para praticar, fica com os mais úteis e treina com eles.

O que eles descobriram

Os pesquisadores relatam que, nos testes deles:

• O modelo aprendeu duas línguas raras (manchu e kalamang) passo a passo e quase não esqueceu nada das etapas anteriores. Outros métodos esqueceram muito mais.
• Ele continuou funcionando bem em um teste com textos muito longos, de até 10 milhões de tokens. Um token é um pedacinho de texto, mais ou menos do tamanho de uma palavra curta ou de parte de uma palavra.
• Ele se saiu melhor do que os métodos com que foi comparado em testes de fatos novos e de matemática.

Limites

Esses resultados vêm dos testes dos próprios autores, e outras equipes ainda não os repetiram. Não está claro quando, ou se, os apps de chat vão usar esse método.

O que isso significa para você ao conversar com o ChatPrime

Os modelos de IA por trás dos apps de chat aprendem a maior parte do que sabem durante o treinamento. Quando você conversa com o ChatPrime:

• Para acontecimentos recentes, confira de quando é a informação ou consulte uma fonte de notícias atual.
• Em uma conversa longa, repita os detalhes principais (nomes, números, seu objetivo) quando eles forem importantes.
• Corrigir um erro ajuda naquela conversa. Isso não muda na hora o que o modelo sabe.

Fonte

Ali Behrouz, Farnoosh Hashemi, Adel Javanmard e Vahab Mirrokni (Google Research), "Language Models Need Sleep: Learning to Self-Modify and Consolidate Memories", arXiv, 2026: arxiv.org/abs/2606.03979

Resumo no blog do Google Research, 27 de outubro de 2026: A abordagem do sono