Künstliche Intelligenz ChatGPT kann nur teilweise mit Menschen mithalten
Hauptinhalt
10. Februar 2023, 09:43 Uhr
Der im November 2022 veröffentlichte Chatbot ChatGPT bestimmt derzeit die Schlagzeilen. Forschende vom Max-Planck-Instituts für biologische Kybernetik in Tübingen haben nun das zugrundeliegende Sprachmodell GPT-3 einem Praxistest unterzogen und festgestellt: In manchen Bereichen kann GPT-3 schon mit Menschen mithalten, in anderen mangelt es dagegen, weil ihm offenbar die aktive Interaktion mit der Welt fehlt.
Für die Studie wurde GPT-3 einer Reihe psychologischer Tests unterzogen, die Aspekte allgemeiner Intelligenz prüfen sollten. Die Ergebnisse des Sprachmodells wurden daraufhin mit den Antworten menschlicher Probanden verglichen – sowohl in Hinblick auf die Korrektheit der Antwort als auch darauf, ob GPT-3 ähnliche Fehler macht wie Menschen. Bei der Beantwortung einer klassischen Fragestellung der kognitiven Psychologie (dem "Linda-Problem") zeigte sich, dass GPT-3 nicht nur nach logischen Gesichtspunkten entscheidet, sondern auch menschliche Denkfehler reproduziert. Das Sprachmodell hatte offensichtlich aus riesigen Textmengen aus verschiedenen Datensätzen gelernt, wie Menschen normalerweise Sprache einsetzen.
Die Forschenden testeten zusätzlich, ob GPT-3 wirklich menschenähnliche Intelligenz aufweist oder die Antworten nur "auswendig wusste". Bei der Erledigung von neuartigen Aufgaben schnitt das Programm annähernd so gut ab wie Menschen ab, wenn es darum ging, rationale Entscheidungen zu treffen. Bei gezielter Informationssuche oder kausalem Schlussfolgern war die künstliche Intelligenz dagegen deutlich schlechter. Das liegt laut den Experten daran, dass GPT-3 seine Informationen nur passiv aus Texten ziehe und nicht aktiv mit der Umwelt interagiere. Aus dem Umgang mit Menschen könne das Programm aber weiter lernen und in Zukunft auch auf diesem Gebiet besser werden.
Link zur Studie: Using cognitive psychology to understand GPT-3
