KI und Ärzte „Vertrauen ist ein sehr hohes Gut in der Medizin“

Künstliche Intelligenz soll Ärzten unter die Arme greifen und lockt außerdem mit beeindruckenden Ergebnissen: KI unterstützt bei Krebs, Lebererkrankungen, Mammographien, usw. Aber können wir uns auf das verlassen, was die KI uns sagt? Die Deutsche Gesellschaft für Innere Medizin diskutierte in den „DGIM-Talks“ die ethischen Herausforderungen und das Vertrauen zwischen Ärzten und KI.

Vertrauen gilt als zentrales Element in der Medizin. Ärztinnen und Ärzte müssen sich nicht nur auf die Geräte und Technologien verlassen können, die sie täglich verwenden, sondern auch auf die Zusammenarbeit mit Kolleginnen und Kollegen. Und auch das Vertrauen seitens der Patienten spielt eine große Rolle. In der Geschichte der Medizin wurden daher zahlreiche Mechanismen etabliert, um Vertrauen zu sichern: von Gesetzen und Verordnungen über Selbstverpflichtungen wie den hippokratischen Eid bis hin zum Genfer Gelöbnis. Diese Regelwerke garantieren, dass sowohl der Arzt als auch der Patient sich auf den Prozess der Heilbehandlung verlassen können.

Die Einführung von Künstlicher Intelligenz in die medizinische Praxis verändert jedoch diese etablierten Strukturen. KI bietet den Ärzten wertvolle Unterstützung, etwa bei Diagnoseverfahren. Doch mit diesen fortschrittlichen Technologien stellen sich auch neue Fragen: Können wir dem, was die KI uns sagt, wirklich vertrauen?

Studie

KI verbessert die Brustkrebserkennung

Hessen

KI im Einsatz gegen Krebs

Im Rahmen der dritten Serie des DGIM-Talks der Deutschen Gesellschaft für Innere Medizin wurde das Thema „Künstliche Intelligenz in Medizinethik und ärztlichem Selbstverständnis“ beleuchtet. Besonders im Fokus standen dabei die Herausforderungen und Chancen, die Künstliche Intelligenz (KI) für die ärztliche Praxis und die damit verbundenen ethischen Fragestellungen mit sich bringt.

Vertrauen in die Künstliche Intelligenz – ein zweischneidiges Schwert

„Vertrauen ist ein sehr hohes Gut in der Medizin“, sagte Prof. Dr. Martin Hirsch, Institutsleiter für KI in der Medizin an der Universität Marburg. Vertrauen wird oft als die Bereitschaft beschrieben, sich verletzlich zu machen, was vor allem in der Medizin von größter Bedeutung ist: Für Patienten bedeutet das beispielsweise sich in verletzlichen Situationen auf die Kompetenz und Integrität eines anderen zu verlassen. Die Psychologin und Wissenschaftlerin im Institut für KI und Medizin in Marburg, Nadine Schlicker, unterscheidet zwischen Vertrauen, Vertrauensverhalten (das Vertrauen, das wir bei anderen beobachten können) und Vertrauenswürdigkeit.

Das Problem ist, dass KI intransparent und nicht perfekt ist. Nicht immer sind ihre Antworten korrekt. Wir können auch nicht immer nachvollziehen, wie sie zu einem Ergebnis gekommen ist. Der Einsatz ist vor allem in der Medizin mit einem Risiko verbunden. Mit Tipps und mit Wissen greift künstliche Intelligenz auch aktiv in das ethisch regulierte Denken von Ärzten ein. Sollte die KI unter diesem Aspekt nicht auch gewissen ethischen Grundprinzipien verpflichtet sein?

Die Unklarheit darüber, wie und warum eine KI zu einem bestimmten Ergebnis kommt, macht es schwierig, ihre Vertrauenswürdigkeit zu beurteilen – vor allem, wenn Fehldiagnosen schwerwiegende Auswirkungen auf das Leben von Patienten haben können.

Die Rolle des Menschen – Aufsicht und Kontrolle im EU AI-Act

Seit dem 1. August 2024 ist der AI-Act der Europäischen Union in Kraft, der eine verantwortungsvolle Entwicklung und Nutzung von KI fördern soll. Ein zentrales Element dieses Gesetzes ist die menschliche Aufsicht. Demnach muss jedes KI-System so entwickelt werden, dass es von einer natürlichen Person überwacht werden kann. Diese Person muss über die Fähigkeiten und Grenzen der KI informiert sein, die Ergebnisse richtig interpretieren können und die Fähigkeit besitzen, bei Bedarf einzugreifen und das System außer Kraft zu setzen. Dies soll sicherstellen, dass KI-Systeme nicht eigenständig Entscheidungen treffen, die den Menschen gefährden.

Im Hinblick auf die Zusammenarbeit von Mensch und KI zeigen einige Studien, dass die Kombination aus menschlicher Expertise und künstlicher Intelligenz die besten Ergebnisse erzielt. Doch in anderen Untersuchungen wurde festgestellt, dass Menschen dazu neigen, die Leistung eines sehr zuverlässigen Systems durch eigenes Eingreifen zu verschlechtern, insbesondere unter Zeitdruck. Und je zuverlässiger und besser das System, desto stärker der Effekt. Schlicker wies diesbezüglich auf die klinischen Studie „LLM Influence on Diagnostic Reasoning – A Randomized Clinical Trial“ hin. Sie teilte mit, dass dies gerade in der medizinischen Praxis problematisch sein könnte, wenn Ärzte die KI als überlegene Instanz anerkennen und trotzdem in das System eingreifen.

Digitalisierung

Das Potenzial zweckmäßiger KI im Gesundheitswesen

KI in der Rheumatologie

Ärzte vs. ChatGPT

KI als Unterstützung in der Ethik-Beratung

Ein weiterer spannender Aspekt ist der Einsatz von KI in der Ethik-Beratung. Medizinethische Fragen – von einfachen Entscheidungen wie der Wartezeit im Arztzimmer bis hin zu schwerwiegenden, lebensentscheidenden Fragen – stellen Ärzte vor große Herausforderungen. Prof. Dr. Kurt Schmidt, Medizinethiker am Agaplesion-Markus-Krankenhaus in Frankfurt, hat zusammen mit Kollegen Experimente durchgeführt, bei denen ethische Fragen an KI-Systeme gestellt wurden. Das Ziel war zu überprüfen, ob KI als Unterstützung bei der Entscheidungsfindung dienen kann. Obwohl die KI in vielen Fällen fachlich korrekt und präzise antwortete, gab es auch Mängel: Zum Beispiel war die Rechtslage in einigen Antworten veraltet und das wiederum beeinträchtigte das Vertrauen in die KI.

Eine der zentralen Fragen bleibt zudem, wohin die Daten gehen, die in KI-Systeme eingegeben werden. Denn da wären LLM-Server aus den USA, China, Europa und andere. Schmidt betonte, dass die Daten alle im geschlossenen System bleiben. Deepseek, Meta AI und auch andere weniger bekannte wie Phi-4, Qwen oder Mistral AI sind gerade dabei solche lokalen Modelle zu entwickeln. Für Schmidt ist klar: Für ihn könnte KI als ethische Entscheidungsfindung genutzt werden, ähnlich wie ein realer Gesprächspartner – aber vielmehr als einer von vielen und nicht als einziger. Außerdem bietet KI bekanntlich auch Vorteile bei der Entlastung von Arbeit und Fachkräften. Demnach könnte sie auch das Ethik-Komitee entlasten und künftig Routinefragen beantworten.

Die Reflexion und die menschliche Verantwortung

Ein weiterer wichtiger Punkt, den Schmidt hervorhob, ist das Grundprinzip der Ethik: das Reflektieren und Argumentieren. Auch wenn die KI Empfehlungen gibt, muss der Arzt oder die Ärztin in der Lage sein, diese kritisch zu hinterfragen. Es könnte sogar sein, dass die KI durch ihre Vorschläge den Arzt zum Nachdenken anregt und so die Entscheidung verbessert. Ein solcher Dialog zwischen Mensch und Maschine könnte zur qualitativen Verbesserung der Entscheidungsfindung beitragen.

Doch KI kann auch eine falsche Sicherheit vermitteln. Wenn Ärzte sich zu sehr auf die Empfehlungen der KI verlassen, könnte dies dazu führen, dass wichtige menschliche Aspekte übersehen werden. Zudem fehlt es vielen KI-Modellen an der Berücksichtigung relevanter Wertvorstellungen, insbesondere derer von religiösen Minderheiten, was zu Diskriminierung führen könnte.

Fazit: KI als wertvolle, aber nicht unersetzliche Unterstützung

Die Integration von Künstlicher Intelligenz in die Medizin bringt viele Chancen mit sich, aber auch erhebliche Herausforderungen. Sie kann dazu beitragen, die Diagnose zu verbessern, die Arbeitsbelastung der Ärzte zu verringern und ethische Entscheidungsfindungen zu unterstützen. Dennoch bleibt die menschliche Kontrolle unabdingbar, um die ethischen, rechtlichen und sozialen Implikationen der KI-Nutzung zu steuern. KI sollte als Werkzeug und nicht als Ersatz für die ärztliche Verantwortung verstanden werden – eine Verantwortung, die weiterhin beim Menschen bleibt.

Forschungsprojekt KI-Cockpit

Mehr menschliche Kontrolle über KI

Kontrollierte KI

KI und Patientensouveränität in der Gesundheitsversorgung

(ID:50307940)