KI in der Rheumatologie Ärzte vs. ChatGPT

Arzt oder KI? Wie hilfreich sind die Antworten der KI, wenn es um die wirklich wichtigen Fragen geht, die die eigene Gesundheit betreffen? Aktuelle Studien untersuchen, wie qualitativ wertvoll die KI in der Patienteninformation ist und wie empathisch sie auf medizinische Fragen reagieren kann.

Insbesondere im medizinischen Bereich beschäftigen sich Fachkräfte mit den offensichtlichen Fragen, die der demographische Wandel und die Moderne aufwirft: Wie kann der Praxisalltag für Patientinnen und Patienten verbessert oder wie kann der Fachkräftemangel in Zukunft entkräftet werden? Die Suche nach Antworten in der Patientenversorgung führt einen schließlich zur KI – und auch hier gibt es Studien, die belegen, ob und wie Künstliche Intelligenz geeignet ist.

Nachdem sich die Auswirkungen des Mangels an Spezialisten im Bereich der Rheumatologie stark verschlechtert haben, verglichen verschiedene Studien die Antworten von Large-Language-Models (LLM)-Chatbots mit denen von Ärzten in der Patienteninformation. Das war auch dahingehend wichtig, weil bisherige Studien über die Antwort-Qualität von LLM-Chatbots rheumatologische Fragen noch ausschlossen. Dabei ist die Zahl an Rheuma-Erkrankten nicht gerade niedrig und wirft auf Seiten der Betroffenen viele Fragen auf. Rheuma ist in der Regel nicht heilbar, kann mit deutlichen Einschränkungen der Lebensqualität einhergehen und erfordert eine oft lebenslange Behandlung.

Zu den zwei aktuellsten Studien gehört die „Arthritis and Rheumatology“ und die ChatSLE-Studie. Beide ergänzen sich thematisch und kommen im Bereich der Qualität sogar auf ähnliche Ergebnisse. Die deutsche Studie ChatSLE kommt von Forschenden aus Hamburg und Marburg, erschien im Fachblatt Lancet Rheumatology und untersuchte zudem, wie empathisch Künstliche Intelligenz auf die Fragen von Rheuma-Patienten reagieren kann.

In beiden Studien wurden echte und anonyme Patientenfragen genutzt. Sowohl die Fragen als auch die Antworten wurden jeweils online entnommen. Zum Beispiel wurden Fragen von Patienten über Therapien, Nebenwirkungen, Symptome, Impfstoffsicherheit und Arzneimittel auf der Website der Alberta Rheumatology gepostet, die einmal im Monat von einem Rheumatologen beantwortet wurden. Die gleiche Prozedur erfolgte auf dem Forum „Lupus100.org“, die für die ChatSLE-Studie genutzt wurde: Etwa 100 Fragen mit den dazugehörigen Antworten wurden dem Online-Forum von Lupus Europe entnommen.

Die Methodik der Studie über die Qualtität von LLM

Die Querschnittsbefragung der „Arthritis and Rheumatology“ konzentrierte sich vor allem auf die Qualität der Antworten und bestand aus der Bewertung der Antwortpaare (KI vs. Arzt) sowie der Identifizierung von KI-generierten Antworten. Im Mai 2023 wurden ca. 30 Fragen aus der Website in Microsoft Bing Chat eingegeben. Der Vorteil von Bing besteht darin, dass die Version auf der aktuellsten Generation von ChatGPT-4 läuft und zudem genauere Antworten liefert. In der Studie heißt es, dass Bing auch für die Auswertung der Wortzahl aller Antworten wichtig war, da sie ihre Antworten der Textlänge von Menschen anpasst. ChatGPT-4 dagegen präsentiert oft deutlich längere Texte.

17 Patienten und vier Rheumatologen prüften und bewerteten jede Antwort auf Lesbarkeit, Verständlichkeit, Vollständigkeit und Genauigkeit auf einer Likert-Skala von eins bis zehn, wobei eins „schlecht“ und zehn „ausgezeichnet“ darstellte. Da die Teilnehmer das eigentliche Ziel der Studie nicht kannten, waren sie in der Lage, eine Antwort auszuwählen, die sie bevorzugten – ohne Wahrnehmungsverzerrungen wie vorgefasste Meinungen oder Vorurteile gegenüber der KI. Die Ärzte sollten die Antwortmöglichkeiten vor allem auf Genauigkeit überprüfen und anschließend auch die beste Option auswählen.

Auf der nächsten Seite: Ergebnisse der ChatSLE zur Empathie von LLM.

(ID:50009111)