Definition Was bedeutet der EU-AI-Act für das Gesundheitswesen?

Anbieter zum Thema

Governikus GmbH & Co. KG

Der im Jahr 2024 verabschiedete EU-AI-Act wirkt sich unmittelbar auf die Nutzung künstlicher Intelligenz im Gesundheitswesen aus. Aber welche Hürden und Anforderungen sind tatsächlich mit den gesetzlichen Rahmenbedingungen der Europäischen Union verbunden?

Im AI-Act hat die Europäische Union (EU) offiziell und relativ detailliert festgeschrieben, wie mit Künstlicher Intelligenz gesetzeskonform umzugehen ist. Teil des EU-AI-Acts ist zugleich ein Verbot von inakzeptablen KI-Praktiken: Jegliche Anwendungen und Systeme, die ein gesellschaftlich inakzeptables Risiko darstellen, wurden pauschal verboten. Brüssel selbst nannte als Beispiel hierfür unter anderem nationales Social Scoring, wie es unter anderem die Volksrepublik China nutzt. KI-Systeme dürften zu keinem Zeitpunkt eine Sicherheitsbedrohung darstellen oder die Grundrechte der Menschen innerhalb der EU einschränken.

Grundsätzlich sieht der EU-AI-Act drei Risikostufen vor:

• Ein hohes Risiko tragen Systeme, die beispielsweise im Gesundheitswesen, der Strafverfolgung, kritischer Infrastruktur oder Bildung zum Einsatz kommen. Diese Systeme unterliegen besonders strengen Auflagen und Kontrollen.

• Begrenzt risikobehaftet sind Anwendungen, bei denen Transparenzpflichten bestehen, wie etwa bei Chatbots, Emotionserkennung oder bei der Erzeugung synthetischer Inhalte („Deep Fakes“). Hier sind spezifische Kennzeichnungspflichten vorgesehen.

• Ein minimales Risiko wird KI-Anwendungen wie Spam-Filtern, Videospielen oder einfache Empfehlungssystemen zugeschrieben. Diese lassen sich daher ohne zusätzliche Anforderungen integrieren bzw. verwenden.

Die Einstufung in eine der Risikoklassen ist der erste Teil vom EU-AI-Act, anschließend ergeben sich je nach Einstufung verschiedene Auflagen. Hierbei greift eine einfache Faustregel: Je höher die Risikoeinstufung des KI-Systems und seiner Nutzung, desto strenger sind die Auflagen und Transparenzpflichten für ihre Betreiber. Wichtig zu beachten ist, dass die Regelungen nicht alle gleichzeitig in Kraft treten. Der EU-AI-Act sieht eine gestaffelte Implementierung vor, wobei verschiedene Bestimmungen in einem Zeitraum von 6 bis 36 Monaten nach Inkrafttreten umgesetzt werden.

Implikationen für das Gesundheitswesen

Wenig überraschend erhält der Gesundheitssektor durch den EU-AI-Act automatisch eine Hochrisiko-Einstufung, schließlich kommen KI-Systeme dort mit potenziell empfindlichen Patientendaten in Kontakt. Diese unterliegen, sowohl inner- als auch außerhalb der Welt der Künstlichen Intelligenz, stets strikten und engmaschigen Anforderungen. Ebenfalls notwendig ist die Hochrisiko-Einstufung, weil KI-Systeme, zum Beispiel in der Diagnostik, konkret Einfluss auf das menschliche Leben nehmen könnten.

Organisationen aus dem Gesundheitswesen, die derartige KI-Systeme nutzen oder diese sogar eigenständig (weiter-)entwickeln, müssen in der Folge alle Anforderungen aus dem EU-AI-Act für Hochrisiko-Systeme konsequent erfüllen und sind zur regelmäßigen Berichterstattung verpflichtet. Zu diesen umfassenden Anforderungen gehören:

Datenqualität: Alle innerhalb des KI-Systems genutzten Daten müssen fortlaufend transparent, hochwertig und frei von jeglichen Verzerrungen sein. Es ist außerdem notwendig, dass die genauen Quellen der Daten fortlaufend erhoben und bei Bedarf gegenüber dem Gesetzgeber offengelegt werden können.

Risikomanagementsystem: Betreiber müssen ein kontinuierliches Risikomanagementsystem implementieren, das potenzielle Risiken identifiziert, bewertet und minimiert.

Technische Dokumentation: Eine umfassende technische Dokumentation muss erstellt und aktuell gehalten werden, die alle Aspekte des KI-Systems abdeckt.

Konformitätsbewertung: Vor dem Inverkehrbringen muss eine Konformitätsbewertung durchgeführt werden, die nachweist, dass das System alle Anforderungen erfüllt.

Registrierung in der EU-Datenbank: Hochrisiko-KI-Systeme müssen in einer speziellen EU-Datenbank registriert werden, bevor sie auf den Markt gebracht werden dürfen.

Menschliche Überprüfungen und Patientenrechte

Eine weitere Vorgabe widmet sich dem Faktor Mensch: Gerade in einem kritischen Umfeld wie dem Gesundheitswesen kann und soll das KI-System die menschliche Expertise nicht vollständig außen vor lassen. Die endgültige Entscheidungsgewalt obliegt in der Regel den behandelnden Ärzten sowie dem medizinischen Fachpersonal, wobei unter bestimmten Umständen und mit entsprechenden Sicherheitsvorkehrungen auch ein höherer Autonomiegrad der KI-Systeme möglich ist. Das Personal steht zudem in der Pflicht, die KI-Systeme fortlaufend zu überwachen und etwaige Unstimmigkeiten zu melden, damit diese anschließend näher untersucht werden können.

Daran angelehnt etabliert der EU-AI-Act eine weitere essenzielle Rahmenbedingung: Medizinisches Fachpersonal, das auf irgendeine Weise in Kontakt mit KI-Systemen kommt, muss eine ausreichend hohe Expertise dafür mitbringen – was nicht bedeutet, dass Ärztinnen und Ärzte im Detail wissen müssen, wie die Künstliche Intelligenz technisch funktioniert. Mediziner und weiteres Personal im Gesundheitswesen müssen aber eine Vorstellung darüber haben, wie eine KI vorgeht und wie sie zu ihren jeweiligen Schlüssen kommt.

Ebenso sind die zu Behandelnden darüber in Kenntnis zu setzen, wenn KI in irgendeiner Form tätig wird. Patientinnen und Patienten haben außerdem ein dauerhaftes Recht, eine KI-Analyse und -Entscheidung in Frage zu stellen, indem sie eine menschliche Überprüfung einfordern. Diese Transparenz- und Aufklärungspflichten gehören zu den zentralen Säulen des EU-AI-Act im Gesundheitsbereich und sollen das Vertrauen in KI-gestützte medizinische Entscheidungen stärken.

(ID:50382533)