FOTOMONTAGE -  Kleiner Roboter und menschliches Gehirn auf einer Computertastatur.
Wie gut kommt Künstliche Intelligenz schon an ein menschliches Gehirn heran? Noch nicht besonders nah: Alle in einer Studie untersuchten Sprachmodelle erkennen sprachlichen Unsinn nicht zuverlässig als Unsinn. Bildrechte: IMAGO/Christian Ohde

Wissen News Künstliche Intelligenz: Sprachmodelle haben Schwierigkeiten, Unsinniges zu erkennen

15. September 2023, 11:25 Uhr

Chatbots interpretieren Unsinn noch zu oft als natürliche Sprache. Die Studie dazu deckt Unterschiede zwischen menschlichem und maschinellem Sprachverständnis auf, was helfen könnte, die KI weiter zu verbessern.

Dass KI-Bots wie ChatGPT mitunter Unsinn reden, ist hinlänglich bekannt. Eine neue Studie zeigt nun aber, dass sie auch Schwierigkeiten haben, sprachlichen Unsinn als solchen zu erkennen und ihn stattdessen für natürliche Sprache halten. Für das Forschungsteam von der Columbia University könnten diese Schwächen Hinweise darauf liefern, wie die Performance von Chatbots verbessert und auch das menschliche Sprachverarbeitungsverhalten besser verstanden werden kann.

In der Studie schildern die Wissenschaftler, wie sie zuerst echte Menschen und dann neun verschiedene Sprachmodelle mit Hunderten von Satzpaaren herausgefordert haben. Bei jedem Paar wählten die Studienteilnehmer den Satz aus, der ihnen natürlicher erschien. Die Modelle wurden dann darauf getestet, ob sie jedes Satzpaar genauso bewerten würden wie die menschlichen Teilnehmer. Fortschrittlichere KIs (Künstliche Intelleigenz Algorithmen), die auf neuronalen Transformernetzen basieren, schnitten in der Regel besser ab als einfachere Modelle. Doch alle Modelle machten Fehler und wählten manchmal Sätze, die für den menschlichen Verstand unsinnig klingen.

"Dass einige der großen Sprachmodelle so gut abschneiden, zeigt, dass sie etwas Wichtiges erfassen, was einfachere Modelle übersehen", sagt Studien-Hauptautor Dr. Nikolaus Kriegeskorte. Er fügt aber hinzu, dass selbst die besten untersuchten Modelle durch unsinnige Sätze getäuscht werden können, was darauf hinweist, dass ihren Berechnungen immer noch etwas über die Art und Weise fehlt, wie Menschen Sprache verarbeiten.

Links/Studien

Die Studie "Testing the limits of natural language models for predicting human language judgements" ist im Journal Nature Machine Intelligence erschienen.

(rr)

Mehr zum Thema

404 Not Found

Not Found

The requested URL /api/v1/talk/includes/html/2fd813ae-19cc-4179-8803-a3366ea4318d was not found on this server.