Pourquoi une réponse d'IA bien écrite peut quand même être fausse

Deux mots pour commencer

• Hallucination : quand une IA affirme quelque chose de faux comme si c'était vrai, par exemple une date, un nom ou une citation inventés.
• Fluide : naturel et facile à lire, comme chez une personne qui écrit bien.

Ce qu'ont fait les chercheurs

Des chercheurs de l'université Radboud, aux Pays-Bas, ont montré à chaque participant l'une de quatre conversations avec un chatbot portant sur Le Seigneur des anneaux. Tous les participants connaissaient déjà l'histoire.

• Deux chatbots écrivaient de façon fluide, comme un humain. Les deux autres donnaient des réponses courtes et impersonnelles.
• Dans chaque style, un chatbot était exact et l'autre glissait de petits faits inventés.

Les participants ont ensuite noté à quel point le chatbot leur semblait intelligent et agréable, et à quel point ils lui faisaient confiance.

Ce qu'ils ont découvert

• Le chatbot fluide qui donnait de fausses informations a été jugé à peu près aussi intelligent et agréable que le chatbot bref qui était exact.
• Jusqu'à 80 % des participants n'ont pas du tout remarqué les faits inventés.
• Le chatbot fluide et exact a obtenu les meilleures notes.
• Les personnes qui trouvaient un chatbot plus intelligent lui faisaient aussi plus confiance et avaient plus envie de l'utiliser.

Un modèle de langage est le système d'IA qui fait fonctionner un chatbot : il apprend, à partir d'énormes quantités de texte, à prédire quels mots viennent ensuite. Les chercheurs expliquent que ces modèles sont surtout entraînés à écrire des textes qui sonnent juste et se lisent bien. Être exact est un objectif à part.

Ils estiment aussi qu'un seul avertissement général, comme « L'IA peut faire des erreurs », ne suffit pas, et que les chatbots devraient signaler quand ils ne sont pas sûrs.

Les limites de l'étude

L'étude portait sur un seul sujet, une série de livres très connue, et sur des conversations courtes. Les résultats pourraient être différents pour d'autres sujets, comme la santé ou les études.

Ce que cela veut dire pour vous quand vous discutez avec ChatPrime

Les réponses de n'importe quel outil de chat IA, y compris ChatPrime, peuvent être bien écrites et contenir quand même des erreurs.

• Jugez les faits, pas le style. Un ton assuré ne veut pas dire que la réponse est juste.
• Vérifiez ce qui compte, comme la santé, l'argent, le droit ou les études, auprès d'une source fiable.
• Demandez quelles parties pourraient être fausses. Cela peut vous aider à repérer les points faibles, mais cette réponse-là peut aussi être fausse.
• Ouvrez les sources qui vous sont données et vérifiez qu'elles disent bien ce qu'affirme la réponse. Une source citée par une IA peut aussi être fausse ou inventée.

Source

Marianna A. de Sá Siqueira, Tibor Bosse et Barbara C. N. Müller (université Radboud), « Users' perception of chatbot language fluency and hallucination », Computers in Human Behavior: Artificial Humans, 2026 : doi.org/10.1016/j.chbah.2026.100412

Court résumé publié par l'université, 29 octobre 2026 : Actualités de l'université Radboud