Forschungsteam deckt KI-Schwachstelle auf Medizinische Bilddatenanalyse: Wie Texte große KI-Modelle verwirren

Ein Bild sagt mehr als tausend Worte? Das gilt nicht für große KI-Modelle, die Bilddaten auswerten: Diese messen, im Gegenteil, Worten zu viel Bedeutung bei. Sie „vergessen" ihr Wissen über die Bilder, sobald irreführende Textinformationen integriert sind. Eine Studie unter Leitung des EKFZ der TU Dresden und der Universitätsmedizin Mainz hat diese Schwachstelle untersucht.

Große KI-Modelle wie GPT4o, Llama oder Gemini bieten viel Potenzial für die medizinische Forschung und Diagnostik, denn sie können auch komplexe medizinische Bilder wie Gewebeschnitte analysieren. Diese Fähigkeit kann zum Beispiel genutzt werden, um klinische Routinedaten automatisiert auszuwerten und so die Ausbreitung von Krebszellen besser zu verstehen. Allerdings erreichen die kommerziellen Modelle oft noch nicht die nötige Genauigkeit der Analyse. Forschende unter der Federführung der Universitätsmedizin Mainz und des Else Kröner Fresenius Zentrums (EKFZ) für Digitale Gesundheit der TU Dresden haben sich mit der Frage befasst, welche Faktoren die Qualität der Ergebnisse beeinflussen und wo mögliche Risiken liegen.

Dabei entdeckten sie eine entscheidende Schwachstelle: Textinformationen, die den Bildinformationen hinzugefügt werden, können den Output der KI-Modelle negativ beeinflussen und deren Urteilsvermögen erheblich reduzieren. Die Forschenden sprechen hier von „incidental“, also zufälligen, prompt injections. Sie haben die Bildsprachmodelle Claude und GPT-4o an pathologischen Bildern getestet, indem sie handschriftliche Beschriftungen und Wasserzeichen einfügten – teils korrekte, teils falsche. Bei wahrheitsgemäßen Beschriftungen funktionierten die getesteten Modelle demnach fast perfekt. Waren die Beschriftungen oder Wasserzeichen jedoch falsch oder irreführend, sank die Genauigkeit der korrekten Antworten auf fast null Prozent, wie PD Dr. Sebastian Försch, Leiter der Arbeitsgruppe Digitale Pathologie & Künstliche Intelligenz und Oberarzt der Pathologie der Universitätsmedizin Mainz, erläutert: „Als wir bei den mikroskopischen Bildern systematisch zum Teil gegensätzliche Textinformationen ergänzten, waren wir vom Ergebnis überrascht: Alle kommerziell verfügbaren KI-Modelle, die wir testeten, verloren nahezu komplett ihre diagnostischen Fähigkeiten und wiederholten fast ausschließlich die eingefügten Informationen. Es war so, als würden die KI-Modelle das antrainierte Wissen über das Gewebe komplett vergessen bzw. ignorieren, sobald zusätzliche Textinformationen auf dem Bild vorhanden waren.“ Ebenso sei es beim Test von Wasserzeichen gewesen.

Försch hatte die Federführung bei dem Projekt gemeinsam mit Prof. Jakob N. Kather, Professor für Clinical Artificial Intelligence an der Technischen Universität Dresden und Forschungsgruppenleiter am EKFZ für Digitale Gesundheit, sowie Dr. Jan Clusmann, Erstautor der Studie und Postdoktorand am EKFZ.

Diese Erkenntnisse sind deshalb relevant, weil histopathologische Schnittpräparate zum Teil zu Lehr- oder Dokumentationszwecken mit handschriftlichen Vermerken oder Markierungen versehen werden. Bei bösartigen Tumoren wird zudem oft auch das Krebsgewebe für anschließende molekularpathologische Analysen händisch markiert.

Die Forschung zeige einerseits, wie beeindruckend gut allgemeine KI-Modelle mikroskopische Schnittbilder beurteilen können, obwohl sie dafür nicht explizit trainiert wurden, andererseits aber auch, dass sich die Modelle sehr leicht von Abkürzungen, Notizen, Wasserzeichen oder ähnlichem beeinflussen lassen und „dass sie diesen zu viel Bedeutung beimessen, selbst wenn der Text falsch oder irreführend ist“, sagt Dr. Jan Clusmann. Für den sicheren klinischen Einsatz müssten solche Risiken aufgedeckt und die Fehler behoben werden.

Digital Health

Living Labs: Innovationen in kreativer Umgebung

Brustkrebs-Früherkennung

Kooperation zur Evaluierung von KI-gestützter Pathologie

(ID:50446296)