Die neue Verantwortungslücke im Gesundheitswesen Die KI therapiert – aber niemand reguliert

Anbieter zum Thema

Governikus GmbH & Co. KG

Künstliche Intelligenz unterstützt bei Verwaltungstätigkeiten, aber auch bei der Diagnose. Doch wer trägt die Verantwortung, wenn eine Empfehlung des digitalen Assistenten falsch ist?

Künstliche Intelligenz (KI) ist nicht länger ein Versprechen – sie ist die neue Realität im Klinikalltag. Heute helfen KI-Systeme bei der Diagnose, priorisieren Patientendaten oder formulieren Arztbriefe – mitunter auf Basis generativer Sprachmodelle. Während diese Entwicklungen Zeit und Ressourcen sparen, rückt eine unbequeme Frage in den Vordergrund: Wer übernimmt die Verantwortung, wenn eine automatisierte Empfehlung in die Irre führt?

Die Europäische Union hat darauf eine eindeutige Antwort gefunden und neue Regeln aufgestellt. Mit dem EU AI Act hat sie ein umfassendes Gesetz zur Regulierung von KI-Systemen verabschiedet. Was bislang technologisch möglich war, muss nun auch regulatorisch belastbar sein. Vor allem Systeme mit hohem Risikopotenzial, wie etwa medizinische Entscheidungsunterstützung, werden künftig stärker kontrolliert. Der gesetzliche Rahmen ist dabei ebenso ambitioniert wie konkret: Sicherheit, Nachvollziehbarkeit, menschliche Kontrolle und robuste Datenqualität sind nicht länger wünschenswert, sondern sie sind verpflichtend.

Zwischen Regulatorik und Realität: Die Herausforderung für Kliniken und Hersteller

Die Herausforderung für Kliniken, Softwareentwickler und Medizintechnikunternehmen besteht darin, diese Vorgaben in die Praxis zu überführen. Denn so klar die Ziele formuliert sind, so komplex ist auch ihre Umsetzung: KI-Systeme müssen technisch sicher sein und zugleich ethisch vertretbar, auditierbar und erklärbar. Dabei geht es nicht nur um technische Details, sondern auch um grundlegende Governance-Fragen:

• Wer darf KI-Systeme einsetzen?

• Wer prüft ihre Qualität?

• Und wie bleibt die Kontrolle beim Menschen?

Parallel zur EU passen auch Drittstaaten ihre Regeln an. Die US-amerikanische FDA hat ihre Leitlinien für KI-gestützte Medizinprodukte überarbeitet und fordert darin u. a. nachvollziehbare Dokumentation, kontinuierliches Monitoring und Konzepte zur Risikominimierung. Auch die Schweiz und Österreich orientieren sich zunehmend an europäischen Vorgaben. Inmitten dieser regulatorischen Dynamik fehlt es jedoch bislang an einem praktischen Werkzeug, mit dem sich all diese Anforderungen integriert umsetzen lassen, ohne Innovation zu blockieren.

ISO 42001: Governance, die sich operationalisieren lässt

Mit ISO/IEC 42001 liegt erstmals eine internationale Norm vor, die speziell auf Managementsysteme für künstliche Intelligenz ausgerichtet ist. Anders als viele gesetzliche Vorgaben, die mit unbestimmten Rechtsbegriffen arbeiten, konkretisiert ISO 42001 die Anforderungen an eine verantwortungsvolle KI-Governance. Organisationen müssen den Einsatzkontext jeder Anwendung systematisch analysieren: Zweck, Zielgruppe, Betriebsumgebung. Darauf aufbauend fordert die Norm eine strukturierte Bewertung potenzieller Risiken wie systematischer Verzerrungen, Datenlücken oder unerwünschter Automatisierungseffekte. Maßnahmen zur Risikominimierung müssen dokumentiert und über den gesamten Lebenszyklus wirksam verankert werden.

Zentral ist dabei die Transparenz: ISO 42001 verlangt nachvollziehbare Dokumentationen für Trainingsdaten, Modellversionen, Entscheidungslogiken und Änderungen im laufenden Betrieb. Unternehmen schaffen damit prüfbare Grundlagen für interne Reviews, externe Audits und regulatorische Nachweise – etwa im Rahmen einer CE-Kennzeichnung oder FDA-Zulassung.

Verankerung von Verantwortlichkeit

Ein weiterer Schwerpunkt liegt auf der klaren Rollenverteilung innerhalb der Organisation. Für jede KI-Anwendung sind Verantwortlichkeiten festzulegen: von Entwicklung und Betrieb über Monitoring und Dokumentation bis hin zu Eskalationsmechanismen. Die Norm fordert außerdem kontinuierliche Überprüfung, Feedbackmechanismen sowie verpflichtende Schulungen für alle beteiligten Rollen – gerade in sicherheitskritischen Bereichen wie dem Gesundheitswesen ein entscheidender Faktor.

Diese Governance-Struktur ist international anschlussfähig: ISO 42001 orientiert sich an etablierten Rahmenwerken wie dem NIST AI RMF (USA), dem AI und Data Act (Kanada) und den ethischen Prinzipien der OECD und UNESCO. Für international tätige Unternehmen entsteht so ein kohärenter Ordnungsrahmen, der auch in unterschiedlichen regulatorischen Systemen tragfähig bleibt.

Regulatorische Schnittmengen systematisch adressieren

Besonders relevant wird ISO 42001 dort, wo mehrere Vorschriften gleichzeitig greifen – etwa wenn ein KI-System als aktives Medizinprodukt gilt und sowohl dem EU AI Act als auch der europäischen MDR unterliegt. Die MDR verpflichtet Hersteller, Datenherkunft, Modellveränderungen und klinische Leistung über den gesamten Lebenszyklus hinweg nachzuweisen. Der EU AI Act ergänzt diese Anforderungen um strenge Vorgaben zu Risikomanagement, Transparenz und menschlicher Aufsicht – insbesondere bei Hochrisiko-Anwendungen wie der medizinischen Entscheidungsunterstützung.

Während MDR und AI Act das „Was“ definieren, beantwortet ISO 42001 das „Wie“:

• Wie lassen sich Anforderungen konkret in Abläufe, Dokumentationen und Verantwortlichkeiten überführen?

• Wie wird Nachvollziehbarkeit hergestellt – nicht nur im Training, sondern auch im Realbetrieb?

• Wie wird verhindert, dass KI-basierte Systeme sich unkontrolliert weiterentwickeln oder durch Daten-Drift an Wirksamkeit verlieren?

Ein theoretisches Beispiel: Ein klinisches Entscheidungsunterstützungssystem verändert auf Basis neuer Patientendaten seine Gewichtung zugunsten bestimmter Risikofaktoren. Ohne wirksames Monitoring und definierte Kontrollmechanismen könnte sich das System in eine Richtung entwickeln, die zwar mathematisch konsistent, aber medizinisch nicht mehr vertretbar ist, z.B. durch Übergewichtung seltener, aber auffälliger Korrelationen.

Globale Perspektive: FDA, Schweiz, internationale Harmonisierung

Auch außerhalb Europas steigen die regulatorischen Anforderungen. Die FDA erwartet von Herstellern u. a. vollständige Modellbeschreibungen, Bias-Tests, lebenszyklusbegleitende Überwachung und Änderungsmanagement über sogenannte Predetermined Change Control Plans. Diese Pläne – auch als Predetermined Change Protocols bezeichnet – definieren vorab, welche Änderungen am KI-Modell (z. B. an den Trainingsdaten oder der Modellarchitektur) im Betrieb zulässig sind, unter welchen Bedingungen sie erfolgen dürfen und wie sie überwacht werden, ohne dass für jede Anpassung ein neues Zulassungsverfahren erforderlich ist. Sie schaffen damit regulatorisch abgesicherte Entwicklungsspielräume für lernende Systeme nach der Markteinführung. ISO 42001 unterstützt diese Anforderungen, indem sie kontinuierliche Performanceüberwachung, Änderungsprotokollierung und die Erfassung demografischer Merkmale als Standardbestandteile eines KI-Managementsystems definiert.

Die Schweiz übernimmt den AI Act bereits in Form von nationalem Recht, Österreich prüft ein entsprechendes Modell. Gleichzeitig stehen viele außereuropäische Anbieter vor der Herausforderung, ihre Systeme grenzüberschreitend zu zertifizieren. In diesem Umfeld fungiert ISO 42001 als verbindendes Framework: Die Norm bündelt regulatorische Erwartungen in einen gemeinsamen organisatorischen Ordnungsrahmen, ohne regionale Anforderungen außer Acht zu lassen.

Zukunftssicherheit durch Struktur

Die regulatorischen Anforderungen rund um KI in der Medizin werden sich weiter differenzieren – etwa durch neue Vorgaben für Explainable AI, domänenspezifische Richtlinien in der Onkologie oder separate Prüfverfahren für LLM-basierte Anwendungen. Organisationen, die bereits heute mit ISO 42001 arbeiten, schaffen ein strukturelles Fundament, das aktuellen Normen genügt und auch zukünftigen Entwicklungen gewachsen ist.

Gerade Unternehmen im Gesundheitswesen vereinen künftig regulatorische Sicherheit, interne Prozessstabilität und technologische Resilienz auf Basis eines Standards, der nicht auf Reaktion, sondern auf verantwortungsvolle Gestaltung ausgelegt ist.

KI-gestützte Dokumentation

Charité erprobt Dragon Copilot

Forschungsteam deckt KI-Schwachstelle auf

Medizinische Bilddatenanalyse: Wie Texte große KI-Modelle verwirren

(ID:50470453)