Dass KI-Bots wie ChatGPT mitunter Unsinn reden, ist hinlänglich bekannt. Eine neue Studie zeigt nun aber, dass sie auch Schwierigkeiten haben, sprachlichen Unsinn als solchen zu erkennen und ihn stattdessen für natürliche Sprache halten. Für das Forschungsteam von der Columbia University könnten diese Schwächen Hinweise darauf liefern, wie die Performance von Chatbots verbessert und auch das menschliche Sprachverarbeitungsverhalten besser verstanden werden kann.

In der Studie schildern die Wissenschaftler, wie sie zuerst echte Menschen und dann neun verschiedene Sprachmodelle mit Hunderten von Satzpaaren herausgefordert haben. Bei jedem Paar wählten die Studienteilnehmer den Satz aus, der ihnen natürlicher erschien. Die Modelle wurden dann darauf getestet, ob sie jedes Satzpaar genauso bewerten würden wie die menschlichen Teilnehmer. Fortschrittlichere KIs (Künstliche Intelleigenz Algorithmen), die auf neuronalen Transformernetzen basieren, schnitten in der Regel besser ab als einfachere Modelle. Doch alle Modelle machten Fehler und wählten manchmal Sätze, die für den menschlichen Verstand unsinnig klingen.

"Dass einige der großen Sprachmodelle so gut abschneiden, zeigt, dass sie etwas Wichtiges erfassen, was einfachere Modelle übersehen", sagt Studien-Hauptautor Dr. Nikolaus Kriegeskorte. Er fügt aber hinzu, dass selbst die besten untersuchten Modelle durch unsinnige Sätze getäuscht werden können, was darauf hinweist, dass ihren Berechnungen immer noch etwas über die Art und Weise fehlt, wie Menschen Sprache verarbeiten.

(rr)