ChatGPT-4 hat die Leistungen von Ober- und Assistenzärzten bei der Verarbeitung medizinischer Daten und im Hinblick auf klinische Argumentation übertroffen. Der Vergleichstest wurde am Beth Israel Deaconess Medical Center (BIDMC) in Boston durchgeführt. Grundlage war ein bei Medizinern anerkanntes Punktesystem, der sogenannte "r-IDEA Score".

Die Forscher rekrutierten 21 Oberärztinnen und -ärzte sowie 18 Assistenzärztinnen und -ärzte, die jeweils einen von 20 ausgewählten klinischen Fällen bearbeiteten, die aus vier aufeinanderfolgenden Phasen des diagnostischen Denkens bestanden. Die Autoren wiesen die Ärzte an, ihre Differentialdiagnosen in jeder Phase aufzuschreiben und zu begründen. Der Chatbot GPT-4 erhielt identische Anweisungen für alle 20 Fälle. Die Antworten wurden dann hinsichtlich des klinischen Urteilsvermögens (r-IDEA-Score) und verschiedener anderer Maßstäbe für das logische Denken bewertet.

Beim r-IDEA-Score lag ChatGPT am Ende mit durchschnittlich zehn von zehn Punkten vorn. Die Oberärztinnen und -ärzte kamen auf durchschnittlich neun von zehn, das Assistenzpersonal auf acht von zehn Punkte. In einzelnen Teilbereichen machte der Chatbot aber auch offensichtliche Fehler, die das menschliche Personal nicht beging. Das Ergebnis unterstreicht deshalb laut der Forschungsgruppe, dass KI wahrscheinlich dann am nützlichsten ist, wenn sie den menschlichen Denkprozess unterstützt, aber nicht ersetzt.

"Es sind weitere Studien erforderlich, um festzustellen, wie große Sprachmodelle am besten in die klinische Praxis integriert werden können", sagen die Studienautoren, "aber schon jetzt könnten sie als Kontrollinstanz nützlich sein und uns helfen, sicherzustellen, dass wir nichts übersehen."

rr