Por que uma resposta de IA bem escrita ainda pode estar errada

Primeiro, duas palavras

• Alucinação: quando uma IA afirma algo falso como se fosse verdade, por exemplo, uma data, um nome ou uma citação inventados.
• Fluente: que flui bem e soa natural, como alguém que escreve bem.

O que os pesquisadores fizeram

Pesquisadores da Universidade Radboud, na Holanda, mostraram a cada pessoa uma de quatro conversas com chatbots sobre O Senhor dos Anéis. Todos que participaram já conheciam a história.

• Dois chatbots escreviam de forma fluente, parecida com a de uma pessoa. Os outros dois davam respostas curtas e objetivas.
• Em cada estilo, um chatbot estava correto e o outro inseria discretamente pequenos fatos inventados.

Depois, as pessoas avaliaram o quanto o chatbot parecia inteligente e agradável, e o quanto confiavam nele.

O que eles descobriram

• O chatbot fluente com fatos falsos foi avaliado como praticamente tão inteligente e agradável quanto o chatbot de respostas curtas que estava correto.
• Até 80% das pessoas nem perceberam os fatos inventados.
• O chatbot fluente que estava correto recebeu as melhores avaliações.
• Quem achou um chatbot mais inteligente também confiou mais nele e quis usá-lo mais.

Um modelo de linguagem é o sistema de IA por trás de um chatbot: ele aprende com enormes quantidades de texto para prever quais palavras vêm a seguir. Os pesquisadores explicam que esses modelos são treinados principalmente para escrever textos que pareçam certos e sejam fáceis de ler. Estar correto é um objetivo separado.

Eles também defendem que um aviso geral, como "A IA pode cometer erros", não basta, e que os chatbots deveriam mostrar quando não têm certeza.

Limites do estudo

O estudo usou um único tema, uma série de livros muito conhecida, e conversas curtas. Os resultados podem ser diferentes para outros temas, como saúde ou trabalhos da escola.

O que isso significa para você ao conversar com o ChatPrime

As respostas de qualquer ferramenta de chat com IA, incluindo o ChatPrime, podem estar bem escritas e mesmo assim ter erros.

• Avalie os fatos, não o estilo. Um tom confiante não significa que a resposta está certa.
• Confira o que é importante, como saúde, dinheiro, leis ou trabalhos da escola, em uma fonte confiável.
• Pergunte quais partes podem estar erradas. Isso pode ajudar você a encontrar pontos fracos, mas essa resposta também pode estar errada.
• Abra as fontes que receber e confirme se elas dizem o que a resposta afirma. Uma fonte citada por uma IA também pode estar errada ou ser inventada.

Fonte

Marianna A. de Sá Siqueira, Tibor Bosse e Barbara C. N. Müller (Universidade Radboud), "Users' perception of chatbot language fluency and hallucination", Computers in Human Behavior: Artificial Humans, 2026: doi.org/10.1016/j.chbah.2026.100412

Resumo curto da universidade, 29 de outubro de 2026: Notícia da Universidade Radboud