Kontrollierte KI KI und Patientensouveränität in der Gesundheitsversorgung

Um das volle Potenzial digitaler Infrastrukturen auszuschöpfen, ist der Einsatz von KI unerlässlich. Im Gesundheitswesen ist es aber zunächst wichtig, für Vertrauen, Transparenz und einen klaren rechtlichen Rahmen zu sorgen.

Das Gesundheitssystem steht vor der dringenden Notwendigkeit, seine Effizienz vor dem Hintergrund des wachsenden Bedarfs an Gesundheitsleistungen, des Fachkräftemangels und der steigenden Kosten zu verbessern. Digitalisierung und mit ihr auch der Einsatz künstlicher Intelligenz (KI) spielen dabei eine wichtige Rolle. Mit ihr lassen sich Prozesse automatisieren, große Mengen medizinischer Daten gezielt analysieren und die Kommunikation mit Patientinnen und Patienten verbessern.

Herausforderungen stellen sich jedoch im Hinblick auf den regulatorischen Rahmen und das Vertrauen der Patienten. Noch dominieren US-Technologie-Riesen den Markt für KI-Anwendungen. Um eigene Antworten für die europäischen Gesundheitsmärkte zu finden, bedarf es nicht zuletzt auch eines klaren regulatorischen Rahmens. Der EU Artificial Intelligence Act (EU AI Act) bietet hierfür einen ersten Ansatz, wirft aber auch Fragen auf.

1. Die Notwendigkeit von KI-gestützten Systemen und der Nutzen für die Patientensouveränität

Patientenportale und andere digitale Gesundheitsanwendungen werden zunehmend von KI-Technologien unterstützt. Beispiele sind hierfür ChatBots oder VoiceBots, auf deren Basis die Patienten durch die Online-Terminvergabe, den Check-In (Aufnahme) oder die Anamnese geführt werden. Für Patienten bedeuten KI-gestützte Systeme potenziell schnellere Kommunikationsmöglichkeiten und Versorgungsleistungen. KI-gestützte Systeme könnten sie dabei unterstützen, fundierte Entscheidungen zu treffen und ihre Gesundheitsdaten eigenverantwortlich zu verwalten.

Studie

Digitales Gesundheitswesen: Altsysteme bremsen, KI treibt die Entwicklung

Leistungserbringer wiederum werden entlastet, erhalten Unterstützung bei Diagnosen und Auswertungen und können sich stärker auf die persönliche Behandlung konzentrieren. Gleichwohl hängt die Praxistauglichkeit von KI im Gesundheitswesen maßgeblich von der Akzeptanz durch die Patienten und Patientinnen ab. Nur wenn diese darauf vertrauen können, dass ihre Daten sicher und transparent verarbeitet werden und sie die Kontrolle über ihre Informationen behalten, kann die Patientensouveränität durch KI effektiv gestärkt werden.

Eine Hürde für die Transparenz ist zugleich die Funktionsweise von KI: Eingabebefehle werden in einer Black-Box mittels durch Datensätze trainierter Algorithmen verarbeitet. Derartige Entscheidungsprozesse der KI sind selbst für Experten nur schwer nachvollziehbar. Um dennoch Vertrauen zu fördern, sind klare rechtliche Rahmenbedingungen und eine starke europäische IT-Industrie notwendig.

2. Die technologische Vorherrschaft der USA im Bereich KI

Eine zentrale Herausforderung besteht in der starken Dominanz von Tech-Konzernen aus den USA, die den globalen KI-Markt derzeit maßgeblich prägen. Vor allem ist hier der Technologieanbieter OpenAI mit der KI-Lösung ChatGPT genannt, die bereits von 200 Millionen Menschen wöchentlich genutzt wird (Reuters 2024) und auch in Deutschland gemäß Umfrage des TÜV-Verbands bereits von 85 Prozent der Befragten ab 16 Jahren bekannt ist (Bühler 2023). Die marktführenden Technologien für KI-basierte Anwendungen stammen meist aus den USA, was eine Abhängigkeit schafft, die für den Datenschutz und die Datensouveränität in Europa problematisch ist.

Gerade für den deutschen Gesundheitssektor ist es von strategischer Bedeutung, Technologien einzusetzen, die den strengen europäischen Datenschutzanforderungen und hiesigen ethischen Werteentscheidungen entsprechen sowie gleichzeitig den Bedürfnissen des Marktes gerecht werden. Wenn KI-Systeme und digitale Plattformen auf Lösungen angewiesen sind, die primär von US-Konzernen entwickelt wurden, lässt sich Vertrauen in die Integrität und Sicherheit der Patienten-Daten in Deutschland schwerer vermitteln.

Besonders deutlich wurde dies in den (mittlerweile gelösten) rechtlichen Diskussionen um das Hosting von Daten auf Servern von US-Konzernen, die durch die Schrems-Urteile des Europäischen Gerichtshofs (EuGH) hervorgerufen wurden. Der Bedarf an technologischer Unabhängigkeit im Bereich KI für die Gesundheitsversorgung wird hier klar erkennbar.

3. Der „EU AI Act“ und seine Herausforderungen

Mit dem EU AI Act hat die Europäische Union ein weltweit erstes Rahmenwerk geschaffen, das die Entwicklung, den Einsatz und die Vermarktung von KI-Systemen innerhalb der EU regeln soll. Erstmals enthält der EU AI Act auch eine Legaldefinition für KI, auch wenn es sich hierbei keinesfalls um eine technisch allgemeingültige Beschreibung handelt. Im Vordergrund steht dabei nicht die technische Spezifikation, sondern ein Black-Box-Gedanke, nach welchem ein von KI erzieltes Ergebnis die Anwender beeinflussen kann. Die wesentlichen Elemente lassen sich anhand der Bereiche Risikoeinstufung (1), Sicherheitsvorkehrungen (2) und Meldepflichten (3) grob zusammenfassen.

• 1. Eine wesentliche Komponente des Gesetzes ist die Risikoeinstufung von KI-Systemen: unzulässig, hoch, gering. Ob und welche KI-basierten Gesundheitsanwendungen als hochriskant gelten, ist dabei noch fraglich. Einen verlässlichen Praxisleitfaden hierzu gibt es noch nicht. Der Umgang mit sensiblen Gesundheitsdaten und potentielle Gefahren für die Gesundheit (im Falle fehlerhafter KI-Systeme) dürften aber eine regelmäßige Annahme hoher Risiken mit sich bringen. Eben diese Ungewissheit stellt derzeit indes noch ein Hindernis für Leistungserbringer und IT-Industrie dar. Verboten sind u.a. a) soziale Bewertungssysteme durch den Staat, b) Echtzeit-Biometrische Überwachung im öffentlichen Raum und c) manipulative oder ausbeuterische KI-Systeme, die Schwächen oder die Schutzbedürftigkeit bestimmter Gruppen (z. B. Kinder oder psychisch beeinträchtigte Menschen) ausnutzen.

• 2. Hersteller von KI-Systemen, insbesondere in hochriskanten Bereichen, sind nach dem EU AI Act verpflichtet, umfangreiche Sicherheitsvorkehrungen zu treffen und strenge Anforderungen zu erfüllen. Dazu gehören Konformitätsbewertungen, regelmäßige Qualitätskontrolle der genutzten Daten, umfassende Tests und Dokumentationen der Algorithmen sowie die Gewährleistung von Transparenz, damit Entscheidungen der KI nachvollziehbar bleiben. Hersteller müssen zudem Maßnahmen zur Risikominimierung und zur Erkennung und Behebung möglicher Fehler implementieren.

• 3. Nutzer solcher KI-Systeme, beispielsweise Leistungserbringer, sind verpflichtet, die Systeme gemäß den Anweisungen des Herstellers einzusetzen, eine angemessene Überwachung sicherzustellen und Vorfälle oder Unregelmäßigkeiten zu melden. Beide Seiten – sowohl Hersteller als auch Nutzer – tragen damit zur Einhaltung hoher Standards bei, sind jedoch ebenso mit administrativem Aufwand konfrontiert.

Mit seinen enormen administrativen Anforderungen könnte der EU AI Act auch eine Wettbewerbsverzerrung zwischen EU-Unternehmen und außereuropäischen Akteuren begünstigen. Der EU AI Act hat einen Bürokratie-fördernden Ansatz, da er Unternehmen signifikanten Mehraufwand an technischen und organisatorischen Maßnahmen sowie an Dokumentation aufbürdet. Diese Pflichten treffen zwar auch US-Unternehmen, wenn sie auf dem europäischen Markt tätig werden. Doch stellen administrative Aufwendungen für US-Technologie-Riesen kaum ein Hindernis dar. Europäische IT-Industrie ist zwangsläufig auf Mittelstandsfreundlichkeit angewiesen.

Gleichzeitig erhöht der EU AI Act das Vertrauen in den Datenschutz und die Sicherheit europäischer KI-Anwendungen. „Made in the EU“ kann hier zu einem Qualitätssiegel werden. Gelingt es, einen pragmatischen und zugleich Compliance-basierten Umgang mit KI-System zu pflegen, kann KI im Gesundheitsbereich eine vertrauensvolle Weiterentwicklung für Patienten und Leistungserbringer werden.

Fazit

Digitalisierung und der gezielte Einsatz Künstlicher Intelligenz (KI) bieten für die im Gesundheitswesen notwendigen Effizienzsteigerungen entscheidende Ansätze, indem sie automatisierte Prozesse, fundierte Datenanalysen und eine verbesserte Kommunikation ermöglichen. Um die Vorteile der KI jedoch voll zu nutzen, sind Vertrauen, Transparenz und ein klarer rechtlicher Rahmen unverzichtbar.

Der EU AI Act schafft hier erstmals greifbare Ansätze und fördert die Akzeptanz KI-basierter Systeme auf Basis von Risikoeinstufungen, Sicherheitsvorkehrungen und Meldepflichten. Die zunehmende Unabhängigkeit von US-Technologieanbietern und ein eigenes, europäisches Verständnis für Datenschutz und Patientensouveränität sind langfristig notwendig, um das Potenzial der KI verantwortungsvoll auszuschöpfen. Gelingt dies, kann KI das Gesundheitssystem effizienter und zukunftssicher gestalten und die Qualität der Gesundheitsversorgung entscheidend verbessern.

Digitalisierung

Das Potenzial zweckmäßiger KI im Gesundheitswesen

Generative KI

Neue Wege für die Digitalisierung des Gesundheitswesens

(ID:50249176)