Prof. Stephen Gilbert, Professor für Medical Device Regulatory Science am Else Kröner Fresenius Zentrum für Digitale Gesundheit an der TU Dresden weist in einem Nature-Medicine-Beitrag darauf hin, dass Chatbots im Gesundheitsbereich eine große Gefahr bergen können, weil der zugrundeliegende Ansatz von Large Language Models kein Modell einer medizinischen Grundwahrheit enthält. Daher sollten Rahmenbedingungen entwickelt werden, die die Patientensicherheit gewährleisten.

Sind Menschen krank, informieren sie sich meist vorab online über ihre Symptome, bevor sie ärztlichen Rat einholen. Suchmaschinen spielen daher oft eine wichtige Rolle bei Entscheidungsprozessen. Die bevorstehende Integration von Chatbots in Suchmaschinen könnte daher auf medizinischer Ebene gefährlich werden. LLM-Chatbos sind neuronale Netzwerke mit bemerkenswerten Konversationsfähigkeiten. Sie erzeugen menschenähnliche Reaktionen und führen interaktive Gespräche. Das Vertrauen von Menschen in die Antworten einer Suchanfrage können dadurch beeinflusst werden. Problematisch dabei ist, dass Chatbots auch gefährliche Informationen liefern können, wenn sie mit medizinischen Fragen konfrontiert werden. Aktuelle LLM-Chatbots erfüllen nicht die wichtigsten Prinzipien für KI im Gesundheitswesen. Dazu gehören Voreingenommenheitskontrolle, Erklärbarkeit, Aufsichtssysteme, Validierung und Transparenz.

Damit Chatbots einen Platz im medizinischen Repertoire einnehmen können, müssen sie mit höherer Genauigkeit konzipiert werden, wobei Sicherheit und klinische Wirksamkeit nachgewiesen und von den Aufsichtsbehörden genehmigt werden müssen, schlussfolgert Gilbert in seinen Ausführungen.