Warum eine gut geschriebene KI-Antwort trotzdem falsch sein kann

Zuerst zwei Begriffe

• Halluzination: wenn eine KI etwas Falsches so darstellt, als wäre es wahr, zum Beispiel ein erfundenes Datum, einen erfundenen Namen oder ein erfundenes Zitat.
• Flüssig: gut lesbar und natürlich, so wie bei einem Menschen, der gut schreibt.

Was die Forschenden gemacht haben

Forschende der Radboud-Universität in den Niederlanden zeigten Menschen jeweils eines von vier Chatbot-Gesprächen über Der Herr der Ringe. Alle Teilnehmenden kannten die Geschichte bereits.

• Zwei Chatbots schrieben flüssig und menschlich. Zwei antworteten kurz und sachlich.
• Bei jedem Stil lag ein Chatbot richtig, der andere baute kleine erfundene Fakten ein.

Danach bewerteten die Teilnehmenden, wie klug und sympathisch der Chatbot wirkte und wie sehr sie ihm vertrauten.

Was sie herausgefunden haben

• Der flüssige Chatbot mit falschen Fakten wurde als etwa genauso klug und sympathisch bewertet wie der knappe Chatbot, der richtig lag.
• Bis zu 80 % der Teilnehmenden bemerkten die erfundenen Fakten überhaupt nicht.
• Der flüssige Chatbot, der richtig lag, bekam die besten Bewertungen.
• Wer einen Chatbot für klüger hielt, vertraute ihm auch mehr und wollte ihn öfter nutzen.

Ein Sprachmodell ist das KI-System hinter einem Chatbot. Es lernt aus riesigen Textmengen, vorherzusagen, welche Wörter als Nächstes kommen. Die Forschenden erklären, dass diese Modelle vor allem darauf trainiert werden, Texte zu schreiben, die richtig klingen und sich gut lesen. Dass der Inhalt stimmt, ist ein eigenes Ziel.

Außerdem argumentieren sie, dass ein einzelner allgemeiner Hinweis wie „KI kann Fehler machen“ nicht ausreicht und Chatbots zeigen sollten, wann sie unsicher sind.

Grenzen der Studie

Die Studie nutzte ein einziges Thema, eine bekannte Buchreihe, und kurze Gespräche. Bei anderen Themen, etwa Gesundheit oder Schule, können die Ergebnisse anders aussehen.

Was das für Sie bedeutet, wenn Sie mit ChatPrime chatten

Die Antworten jedes KI-Chat-Tools, auch die von ChatPrime, können sich gut lesen und trotzdem Fehler enthalten.

• Bewerten Sie die Fakten, nicht den Stil. Ein selbstsicherer Ton heißt nicht, dass die Antwort stimmt.
• Prüfen Sie wichtige Themen wie Gesundheit, Geld, Recht oder Schule mit einer verlässlichen Quelle nach.
• Fragen Sie, welche Teile falsch sein könnten. Das kann Ihnen helfen, Schwachstellen zu finden. Aber auch diese Antwort kann falsch sein.
• Öffnen Sie die genannten Quellen und prüfen Sie, ob dort wirklich steht, was die Antwort behauptet. Auch eine Quelle, die eine KI nennt, kann falsch oder erfunden sein.

Quelle

Marianna A. de Sá Siqueira, Tibor Bosse und Barbara C. N. Müller (Radboud-Universität), „Users' perception of chatbot language fluency and hallucination“, Computers in Human Behavior: Artificial Humans, 2026: doi.org/10.1016/j.chbah.2026.100412

Kurze Zusammenfassung der Universität, 29. Oktober 2026: Nachrichten der Radboud-Universität