Computer tablet
Bildrechte: IMAGO/Bihlmayerfotografie

WISSEN-NEWS Test: ChatGPT insgesamt besser als Ärzte bei medizinischen Schlussfolgerungen

03. April 2024, 17:26 Uhr

ChatGPT hat in einem Vergleichstest in den USA bei der Diagnose von Krankheiten bessere Punktzahlen erreicht als gut ausgebildetes medizinisches Personal. Allerdings streute die KI auch haarsträubende Fehler ein.

ChatGPT-4 hat die Leistungen von Ober- und Assistenzärzten bei der Verarbeitung medizinischer Daten und im Hinblick auf klinische Argumentation übertroffen. Der Vergleichstest wurde am Beth Israel Deaconess Medical Center (BIDMC) in Boston durchgeführt. Grundlage war ein bei Medizinern anerkanntes Punktesystem, der sogenannte "r-IDEA Score".

Die Forscher rekrutierten 21 Oberärztinnen und -ärzte sowie 18 Assistenzärztinnen und -ärzte, die jeweils einen von 20 ausgewählten klinischen Fällen bearbeiteten, die aus vier aufeinanderfolgenden Phasen des diagnostischen Denkens bestanden. Die Autoren wiesen die Ärzte an, ihre Differentialdiagnosen in jeder Phase aufzuschreiben und zu begründen. Der Chatbot GPT-4 erhielt identische Anweisungen für alle 20 Fälle. Die Antworten wurden dann hinsichtlich des klinischen Urteilsvermögens (r-IDEA-Score) und verschiedener anderer Maßstäbe für das logische Denken bewertet.

Beim r-IDEA-Score lag ChatGPT am Ende mit durchschnittlich zehn von zehn Punkten vorn. Die Oberärztinnen und -ärzte kamen auf durchschnittlich neun von zehn, das Assistenzpersonal auf acht von zehn Punkte. In einzelnen Teilbereichen machte der Chatbot aber auch offensichtliche Fehler, die das menschliche Personal nicht beging. Das Ergebnis unterstreicht deshalb laut der Forschungsgruppe, dass KI wahrscheinlich dann am nützlichsten ist, wenn sie den menschlichen Denkprozess unterstützt, aber nicht ersetzt.

"Es sind weitere Studien erforderlich, um festzustellen, wie große Sprachmodelle am besten in die klinische Praxis integriert werden können", sagen die Studienautoren, "aber schon jetzt könnten sie als Kontrollinstanz nützlich sein und uns helfen, sicherzustellen, dass wir nichts übersehen."

Logo MDR 54 min
Bildrechte: MITTELDEUTSCHER RUNDFUNK

rr

Dieses Thema im Programm: MDR AKTUELL | 03. April 2024 | 15:36 Uhr

404 Not Found

Not Found

The requested URL /api/v1/talk/includes/html/2a1b0dd5-ee28-42e0-ac5d-db800ea1600f was not found on this server.

Mehr zum Thema

Mann sitzt auf der Couch mit Decke und Laptop auf dem Schoß und hält eine Thermometer und eine Teetasse in den Händen.
Wer kennt es nicht? Bei großen und kleinen medizinischen Fragen konsultieren die meisten Menschen erst einmal Dr. Google und Co. Das kann aber auch nach hinten losgehen. Bildrechte: IMAGO / Westend61