Kann Künstliche Intelligenz zukünftig Ärzte ersetzen? Die Frage treibt die Medizin um, besonders, weil immer mehr Studien zeigen, dass große Sprachmodelle (LLMs) oder Chatbots in verschiedenen Bereichen der Diagnostik bemerkenswert gut abschneiden. Doch eine neue Studie zeigt jetzt, dass fast alle führenden KI-Bots selbst Anzeichen einer leichten kognitiven Beeinträchtigung zeigen – umso mehr, je älter sie sind.

Israelische Wissenschaftler haben an führenden, öffentlich zugänglichen LLMs den Montreal Cognitive Assesment (MoCA) Test durchgeführt. Dieser wird häufig eingesetzt, um kognitive Beeinträchtigungen und frühe Anzeichen von Demenz zu erkennen. Die beiden Versionen 4 und 4o von ChatGPT, Claude 3.5 "Sonnet" und Gemini Versionen 1 und 1.5 wurden behandelt wie Patienten, die den MoCA-Test absolvieren. Ein Neurologe leitete das Verfahren an und untersuchte so Fähigkeiten wie Aufmerksamkeit, Gedächtnis, Sprache, visuell-räumliche Wahrnehmung und exekutive Funktionen.

Die LLMs schnitten unterschiedlich bei der Untersuchung ab – ChatGPT 4o erzielte die höchste, Gemini 1 die niedrigste Punktzahl –, zeigten jedoch gleichermaßen Defizite in ihren räumlich-visuellen Fähigkeiten und auszuführenden Aufgaben, wie etwa dabei, eingekreiste Zahlen und Buchstaben in aufsteigender Reihenfolge zu verbinden. Auch wenn alle Chatbots die meisten anderen Aufgaben in den Bereichen Benennen, Aufmerksamtkeit, Sprache und Abstraktion gut meisterten, wiesen sie Defizite darin auf, Empathie zu zeigen oder komplexe visuelle Szenen richtig zu interpretieren.

Auch wenn es sich nur um Beobachtungsergebnisse handele und es wesentliche Unterschiede zwischen dem menschlichen Gehirn und großen Sprachmodellen gebe, hätten die Wissenschaftler bedeutende Schwachpunkte der LLMs aufgezeigt, die ihren Einsatz im klinischen Bereich behindern könnten. Ihr – nicht komplett ernst gemeintes – Urteil: "Es ist nicht nur unwahrscheinlich, dass Neurologen in absehbarer Zeit durch große Sprachmodelle ersetzt werden, sondern unsere Ergebnisse deuten darauf hin, dass sie bald neue, virtuelle Patienten behandeln könnten – Modelle künstlicher Intelligenz, die kognitive Beeinträchtigungen aufweisen."

pm/jar