EU AI Act, Datenschutz und Behandlungshaftungsrecht Haftung für KI in der Medizin – die Herausforderungen

Anbieter zum Thema

Governikus GmbH & Co. KG

Künstliche Intelligenz birgt enormes Potenzial für die Medizin, nicht nur beim Datenmanagement und in der Forschung, sondern auch in der Diagnose und Therapie. Doch wer haftet, wenn durch menschliche oder technische Fehler bei KI-gestützter Behandlung Patienten geschädigt werden? Unsere Gastautoren geben einen Überblick zum aktuellen Stand.

Die Einführung benutzerfreundlicher künstlicher Intelligenz (KI) markiert einen Wendepunkt in unserem Alltag, auch in der Medizin. Im Rahmen der ärztlichen Heilbehandlung kann KI vielfältig eingesetzt werden, beispielsweise für Routineaufgaben wie Terminvergabe oder Dokumentation. Aber auch bei der medizinischen Behandlung – von der Anamnese über die Diagnose bis zur Therapie – kann KI unterstützen. Schon jetzt werden KI-basierte Programme in der Radiologie eingesetzt: Sie unterstützen bei der Positionierung von Patienten, führen automatische Messungen durch und interpretieren Befunde. In der Dermatologie zeigen Forschungsergebnisse, dass KI-Systeme bei der Erkennung von Hauttumoren in vielen Fällen eine höhere Genauigkeit als Fachärzte erreichen, insbesondere bei der Früherkennung und der Klassifizierung bestimmter Tumorarten.

Auch in anderen Bereichen lässt die Fähigkeit der KI, große Datenmengen schnell zu verarbeiten, auf deutlich bessere Behandlungsergebnisse hoffen. Was heute noch in Studien großer Universitätsklinika getestet wird, wird bald auch in kleineren Häusern und ambulanten Behandlungssettings nicht mehr wegzudenken sein.

Allerdings ist KI nicht vollkommen und wird es vermutlich auch nie sein. Dabei sind die möglichen Fehlerquellen vielfältig: Zunächst sind die Ergebnisse von KI stets nur so gut wie ihre Trainingsdaten. Waren diese bereits fehlerhaft oder voreingenommen, sind keine vertrauenswürdigen Ergebnisse möglich. Darüber hinaus ist schon jetzt bekannt, dass generative KI zu sogenannten Halluzinationen neigt, also mitunter objektiv falsche Ergebnisse erzeugt, die auf den ersten Blick überzeugend wirken. Nicht zuletzt können auch auf Ebene der Nutzer Fehler auftreten: Sie können falsche Daten eingeben, das Ergebnis falsch interpretieren, ein fehlerhaftes Ergebnis nicht erkennen oder das Programm von Anfang an für Zwecke einsetzen, für die es nicht ausgelegt ist. Wenn durch menschliche oder technische Fehler im Rahmen einer medizinischen Behandlung mittels KI Patienten geschädigt werden, stellt sich die Frage, wer hierfür haftungsrechtlich einzustehen hat.

Der EU AI Act als regulatorischer Rahmen

In Bezug auf die Regulierung von KI ist die Europäische Union Spitzenreiter: Am 13. Juni 2024 hat sie den sogenannten EU AI Act erlassen, den ersten Gesetzestext weltweit, der den Anspruch hat, künstliche Intelligenz umfassend zu regeln. Insbesondere an Betreiber hochriskanter KI-Systeme stellt die Verordnung hohe Anforderungen. Alle Programme, die für die Anwendung am Menschen bestimmt sind und medizinischen Zwecken dienen, sind als Hochrisiko-KI-Systeme zu klassifizieren, wenn sie KI-basiert arbeiten. Zu den besonderen Pflichten beim Einsatz von hochriskanten KI-Systemen gehören nach dem EU AI Act unter anderem eine grundrechtliche Folgenabschätzung und die menschliche Aufsicht über den Einsatz der Systeme. Betreiber des KI-Systems ist im Falle einer Krankenhausbehandlung der Krankenhausträger. Nutzt ein Krankenhaus nicht nur KI-Systeme von Drittanbietern, sondern entwickelt sie im Rahmen von Forschungsprojekten selbst, gilt das Krankenhaus als Anbieter des Systems. Mit dieser Rolle sind zusätzliche Pflichten verbunden. So unterliegen Anbieter von hochriskanten KI-Systemen nach dem EU AI Act strengen Sorgfaltspflichten. Insbesondere sind sie verpflichtet, ein Risikomanagementsystem zu implementieren und ihr Produkt nach den Anforderungen des EU AI Acts zu entwickeln.

Haftungsfragen für Betreiber und Anbieter

Der EU AI Act enthält kein eigenes Haftungssystem. Werden seine Anforderungen durch den Anbieter oder Betreiber nicht erfüllt und kommt dadurch ein Patient zu Schaden, greift derzeit das allgemeine Schadensersatzrecht. Der Betreiber kann danach in Haftung genommen werden, wenn die rechtswidrige Handlung einer Person, für die er einzustehen hat, ursächlich für eine Gesundheitsverletzung war. Anknüpfungspunkt ist also stets menschliches Verhalten, insbesondere der Verstoß gegen Sicherheitspflichten.

Der Anbieter haftet zudem nach dem allgemeinen Produkthaftungsrecht. Dieses ist allerdings auch noch nicht auf die Herausforderungen künstlicher Intelligenz zugeschnitten. Das zeigt sich schon daran, dass nach derzeitigem Stand nur bewegliche Sachen und Elektrizität ausdrücklich als Produkte eingestuft werden. Software wird erst ab dem 9. Dezember 2026 eindeutig als Produkt qualifiziert. Die Produkthaftung kann insbesondere dann zum Tragen kommen, wenn der Anbieter die Vorgaben des EU AI Acts nicht umsetzt.

Herausforderungen bei der Nachweisführung

Schon der Nachweis eines Pflichtenverstoßes dürfte für den Geschädigten nicht immer einfach sein. Noch viel komplizierter dürfte es aber in vielen Fällen sein, den erforderlichen Ursachenzusammenhang zwischen der Pflichtverletzung und der entstandenen Gesundheitsschädigung nachzuweisen. Ursache für diese Schwierigkeiten ist der sogenannte „Black Box Effekt“: KI liefert häufig Ergebnisse, ohne einen Einblick in die zugrundeliegenden Entscheidungsprozesse und inneren Abläufe zu geben, sodass nicht immer nachvollziehbar ist, ob bei pflichtgemäßem Verhalten des Anbieters oder Betreibers ein anderes Ergebnis zustande gekommen wäre.

Um der lückenhaften Rechtslage zur Haftung für KI Rechnung zu tragen, sollte zunächst eine neue Richtlinie hierzu erlassen werden. Diese zielte darauf ab, die beschriebenen Haftungslücken im derzeitigen Recht zu schließen. Der Entwurf wurde allerdings am 12. Februar 2025 von der neuen EU-Kommission zurückgezogen. Für die Betreiber und Anbieter von künstlicher Intelligenz ist dies aber keinesfalls ein Anlass zur Freude: Wie im Entwurf dargelegt, werden Gerichte, „die mit den besonderen Merkmalen der KI konfrontiert sind, ihre Auslegung der bestehenden Vorschriften ad hoc anpassen, um zu einem gerechten Ergebnis für das Opfer zu gelangen. Dies wird zu Rechtsunsicherheiten führen. Den Unternehmen wird es schwerfallen, vorherzusagen, wie die bestehenden Haftungsvorschriften angewandt werden, und somit eigenes Haftungsrisiko zu bewerten und zu versichern.“ Deshalb bleibt auch aus Sicht der Krankenhäuser nur zu hoffen, dass die Europäische Union bald einen neuen Ansatz für eine Regelung des KI-Haftungsrechts findet.

Datenschutz als eigene Herausforderung

Daneben dürfen auch sonstige Haftungsquellen beim Einsatz von KI nicht übersehen werden: Zwangsweise werden bei der Nutzung von KI-Systemen Daten verarbeitet, was den Anforderungen der Datenschutz-Grundverordnung unterliegt. Da es sich im klinischen Kontext um Gesundheitsdaten handelt, die besonderem Schutz unterstehen, und KI in der Medizin eine neue Technologie darstellt, ist eine Datenschutzfolgeabschätzung unerlässlich. Werden Dritte in die Verarbeitung miteingebunden, beispielsweise weil das KI-System als Webapplikation in der Umgebung des Anbieters genutzt wird, muss zusätzlich durch eine Auftragsdatenverarbeitung oder die Einwilligung des Patienten sichergestellt werden, dass die Verarbeitung rechtmäßig erfolgt.

Auswirkungen von KI auf das Behandlungshaftungsrecht

Nicht zuletzt verändert der Einsatz von KI auch das Recht der Behandlungshaftung. Da die ärztliche Behandlung mithilfe KI-gestützter Programme (noch) die Ausnahme ist, hat sich noch kein Behandlungsstandard entwickelt, an dem das ärztliche Handeln gemessen werden könnte. Dadurch ist die Behandlung mittels künstlicher Intelligenz nicht untersagt, schließlich genießt der Arzt Therapiefreiheit. Die Anforderungen an die Aufklärung des Patienten sind allerdings erhöht. Insbesondere muss auch darüber aufgeklärt werden, dass es sich um eine sogenannte Neulandmethode handelt. Außerdem obliegt es dem Arzt, sich in Bezug auf KI stetig fortzubilden, um die anhaltende Standardbildung nachvollziehen und die Behandlung entsprechend anpassen zu können. Beides gehört zu den ärztlichen Pflichten.

Zum einen, um dem Kontrollgebot zu genügen, zum anderen, um die erforderliche Aufklärung der Patienten leisten zu können. Darüber hinaus können zum jetzigen Zeitpunkt schon Handlungen definiert werden, die bei der Nutzung eines KI-Systems eindeutig einen Behandlungsfehler darstellen, beispielsweise die Eingabe falscher Daten. Hier müssen die regelmäßigen Risikokontrollen sowie die Qualitätskontrolle im Krankenhaus und in der Arztpraxis angepasst werden.

Fazit

Insgesamt geht der Einsatz von KI bei der Heilbehandlung mit vielfältigen Haftungsrisiken einher. Um das Haftungsrisiko zu minimieren, müssen Krankenhäuser sich möglichst schnell mit den gesetzlichen Vorgaben zum Umgang mit künstlicher Intelligenz vertraut machen und ein entsprechendes Compliance-System entwickeln beziehungsweise bestehende Systeme anpassen. Dazu gehört insbesondere die Entwicklung strategischer Richtlinien und operativer Anweisungen sowie der Aufbau einer Dokumenten- und Berichtsstruktur. Das Personal muss im Umgang mit KI-Programmen und KI-Systemen geschult und für die Risiken sensibilisiert werden. Darüber hinaus empfiehlt sich der Aufbau einer ganzheitlichen KI-Sicherheitsstruktur sowie eines ganzheitlichen Datenmanagements für KI-Systeme. Werden diese Maßnahmen nicht umgesetzt, droht im Schadensfall schlimmstenfalls auch die Inanspruchnahme der Geschäftsführung wegen Organisationsverschuldens.

Teleradiologie

Wie Technologie die Radiologie revolutioniert

KI und Ärzte

„Vertrauen ist ein sehr hohes Gut in der Medizin“

Kontrollierte KI

KI und Patientensouveränität in der Gesundheitsversorgung

(ID:50363068)