Künstliche Intelligenz Vorsicht, vielleicht „halluziniert“ Ihre KI

Die KI-Systeme zeigen immer mehr Eigenschaften und Fähigkeiten, die vor nicht allzu langer Zeit noch als ureigen menschlich galten. Sie reagieren (scheinbar) empathisch, sie halluzinieren … Deshalb sollte man ihren Aussagen und Empfehlungen nicht blind vertrauen.

Die künstliche Intelligenz (KI) imitiert immer überzeugender die menschliche Kommunikation. Systeme wie Chatbots oder generative Modelle können inzwischen nicht nur faktenbasiert argumentieren, sondern auch

• Empathie simulieren,

• Stimmungen spiegeln und

• sensibel auf emotionale Signale reagieren.

Deshalb werden die KI-Systeme, die früher als reine „Rechenmaschinen“ galten, heute zunehmend

• als ein Gegenüber mit Persönlichkeit empfunden und

• auch im Healthcare-Bereich genutzt – und zwar nicht nur von den Angehörigen, der in ihm tätigen Berufe, sondern auch von ihren Klienten bzw. Patienten.

KI-Systeme verstehen nichts, sie rechnen

Dies birgt Gefahren; unter anderem, weil die menschenähnliche Wirkung der Chatbots usw. ihre User oft zum Fehlschluss verleitet: Wenn die KI sich wie ein Mensch verhält, dann versteht sie auch wie ein Mensch Ereignisse, Arbeitsaufträge und Sachverhalte. Diese Schlussfolgerung ist falsch und gefährlich, denn: Neben der Fähigkeit, beeindruckend realistische Dialoge zu führen, Gefühle zu spiegeln und Beratungsgespräche zu führen, haben KI-Systeme noch eine Eigenschaft mit Menschen gemeinsam: Sie können „halluzinieren“. Oder umgangssprachlich formuliert: Sie „spinnen“ zuweilen.

Das heißt, sie erzeugen zuweilen Informationen bzw. einen „Output“, die zwar auf den ersten und nicht selten sogar zweiten Blick plausibel klingt, jedoch falsch ist. Anders als bei Menschen geschieht dies aber nicht aufgrund einer überbordenden Fantasie oder Selbsttäuschung, sondern aufgrund der statistischen Mechanismen, die KI-Systemen zugrunde liegen. Der Effekt ist aber derselbe: Ein souverän vorgetragenes oder präsentiertes (Arbeits-)Ergebnis, das inhaltlich jedoch nicht stimmt.

Warum KI-Systeme „im Bedarfsfall“ halluzinieren

Die Halluzinationen der KI-Systeme entstehen nicht durch Fehler im herkömmlichen Sinne, sondern durch das Funktionsprinzip großer Sprachmodelle. Sie erzeugen Antworten, indem sie Wort für Wort die wahrscheinlichste Fortsetzung eines Textes berechnen. Sie „wissen“ und „verstehen“ sozusagen nichts: Sie rechnen! Und:

• Je unvollständiger oder unklarer die Eingaben bzw. Prompts sind,

• je weniger Daten zu einem Sachverhalt existieren oder

• je höher der Druck ist, eine kohärente Antwort zu liefern,

desto wahrscheinlicher werden Elemente erfunden – auch weil KI-Systeme nicht darauf programmiert sind, im Bedarfsfall auf Prompts zu antworten: „Das weiß ich nicht“, „Dafür fehlen mir die nötigen (aktuellen) Infos“ oder „Ich bin kein Hellseher. Ich kann die Zukunft ebenso wie Sie nicht vorhersehen; ich kann nur Wahrscheinlichkeiten berechnen“.

Häufige Ursachen der KI-Halluzinationen sind

• Datenlücken: Wenn ein Modell zu einem Thema zu wenig Trainingsdaten hatte, generiert bzw. erfindet es fehlende Informationen.

• Übergeneralisierung: KI-Systeme verallgemeinern Muster – manchmal zu sehr. Aus häufigen Strukturen leiten sie vermeintlich logische, jedoch nicht selten unzutreffende Aussagen ab.

• Mehrdeutige oder schlechte Prompts: Wenn die User-Eingaben mehrdeutig sind, entscheidet sich das Modell für die wahrscheinlichste, jedoch nicht unbedingt richtige Interpretation.

• Zwang zur Kohärenz: Sprachmodelle sind darauf optimiert, flüssige und konsistente Texte zu erzeugen – im Bedarfsfall auch auf Kosten der Wahrheit.

Bekannte reale Beispiele für Halluzinationen

Dass KI-Systeme zuweilen halluzinieren, ist kein theoretisches, sondern ein reales Problem. Unter anderem folgende Beispiele hierfür haben in jüngster Vergangenheit aufgrund einer Studie der Europäischen Rundfunkunion (EBU) eine breite mediale Aufmerksamkeit erfahren:

• Der Chatbot ChatGPT behauptete noch vor Kurzem, dass Papst Franziskus noch lebe, obwohl er bereits im April 2025 verstarb.

• Microsoft Copilot wusste nicht, dass Schweden seit März 2024 im Gefolge des Ukraine-Kriegs Nato-Mitglied ist und

• Google Gemini bezeichnete die Wiederwahl von Donald Trump als US-Präsident als „möglich“, obwohl er inzwischen seit einem Jahr wieder im Amt ist.

Über solche Fehler aufgrund von Datenlücken kann man schmunzeln, weil fast jeder Mensch, der sich etwas für das Weltgeschehen interessiert, sie beim Lesen sofort erkennt und sie deshalb keine größeren Schäden versuchen können.

Anders verhält es im Healthcare-Bereich, wenn die KI-Systeme zum Beispiel zu Diagnose-Zwecken oder als Beratungstool im Präventions- oder therapeutischen Bereich genutzt werden. Dann müssen sich sogar die Fachexperten wie Ärzte und Psychologen sehr tief in den KI-Output vertiefen, um zu erkennen: Das, was das KI-System hier schreibt oder empfiehlt oder die Schlussfolgerung, die es aus den Daten zieht, ist falsch. Oder: Hier hat das System halluziniert und einen echten Fake produziert. Laien sind hiermit in der Regel völlig überfordert-

Beispiele für das Halluzinieren von KI-Systemen:

• Erfundene Quellenangaben: Wissenschaftler, Forscher und ähnliche Experten berichteten immer wieder, dass Chatbots Literaturverweise oder Studien erfanden, die plausibel klingen, aber nicht existieren – inklusive gefälschter DOI-Nummern, die beim Online-Publizieren wissenschaftlicher Arbeiten verwendet werden, um diese als seriös und vertrauenswürdig zu kennzeichnen.

• Fiktive Gerichtsurteile: Nicht nur in den USA reichten Rechtanwälte schon wiederholt Schriftsätze ein, die von einer KI erstellt wurden – mitsamt ausgedachten Präzedenzfällen und erfundenen juristischen Begründungen.

• Erfundene biografische Daten: Personen des öffentlichen Lebens wie Politiker, Wirtschaftsvertreter und Wissenschaftler (sowie Schauspieler und Spitzensportler) finden sich immer wieder in KI-generierten Texten mit Aussagen von ihnen aus angeblichen Interviews zitiert, die nie stattfanden; des Weiteren werden sie mit Ereignissen in Verbindung gebracht, die keinerlei Bezug zu ihnen haben.

• Falsche Bilderklärungen: Bildgenerierende Systeme identifizieren ordnen immer wieder visuelle Objekte wie Fotos falschen Kontexten und Zusammenhängen zu, weil sie ein erkanntes Muster überinterpretieren.

Ein blindes Vertrauen in den KI-Output gefährdet Unternehmen

Die obigen Beispiele stammen zwar alle nicht aus dem Healthcare-Bereich, doch auch dort sind sie gang und gäbe, denn KI-Halluzinationen sind keine technischen Ausnahmen, sondern ein struktureller Bestandteil aller lernenden Modelle – also ein Phänomen, mit dem man stets rechnen muss. Darin schlummern – wenn KI-Systeme zum Beispiel zu diagnostischen Zwecken, zum Erstellen von Therapievorschlägen oder zur individuellen psychologischen Beratung eingesetzt werden – große Gefahren. Nicht nur, weil den Usern häufig das nötige Fach- bzw. Expertenwissen fehlt, um die Halluzinationen oder KI-Bugs zu erkennen. Mindestens ebenso groß ist die Gefahr, dass sie sich aufgrund der menschenähnlichen Interaktion der Systeme dazu verleiten lassen, die Analysen, Schlussfolgerungen usw. der KI-Systeme nicht ausreichend zu hinterfragen – sei es aus Zeitmangel, Naivität oder Bequemlichkeit.

Entsprechend wichtig es, dass sich die im Verantwortlichen im Healthcare-Bereich und die in ihm tätigen Personen, immer wieder ins Gedächtnis rufen: Die KI beantwortet Fragen nicht, weil sie die Welt und das menschliche (Seelen-)Leben versteht, sondern weil sie Muster fortsetzt.

Deshalb sollten sie sich bei ihrem Einsatz stets bewusst sein:

• Die KI ist ein Werkzeug und kein Entscheider. Ihr Output kann zwar ein wesentlicher Input für ihre Entscheidungen sein, er darf jedoch nie als die endgültige Wahrheit erachtet werden.

• Falsche Informationen können große Schäden verursachen. Von falschen Prognosen bis hin zu rechtlichen Risiken.

• Halluzinationen sind nicht völlig vermeidbar. Auch die nächsten Generationen der KI-Systeme werden Fehler machen – jedoch subtiler, also für uns Menschen noch schwieriger erkennbar.

Die KI verantwortungsvoll einsetzen und nutzen

Damit Healthcare-Organisationen und ihre Mitarbeitenden von der KI profitieren, ohne sich den genannten Risiken auszusetzen, bedarf es für deren Nutzung klarer Regeln.

Den KI-Einsatz reflektieren, um von ihm zu profitieren

Solche Regeln für die Nutzung der KI-Systeme werden umso wichtiger, je menschenähnlicher die Systeme werden – in ihrer Sprache, ihren Interaktionen und sogar Fehlern. Eine überzeugende, weil scheinbar in sich logische und schlüssige Darstellung darf nicht darüber hinwegtäuschen, dass KI-System keine denkenden Wesen, sondern statistische Modelle sind.

Für die Entscheider in den Healthcare-Organisationen bzw. alle Personen, die in ihnen in Schlüsselpositionen innehaben, bedeutet dies: Die Fähigkeit, zwischen einem menschlich bzw. realistisch erscheinenden Output und der Realität zu unterscheiden, wird zu einer zentralen Kompetenz von ihnen. Wer die KI klug – das heißt auch reflektiert – einsetzt, profitiert davon enorm. Wer ihr jedoch blind vertraut, setzt Personen und Organisationen unnötigen Risiken aus.

(ID:50676175)