Gescheiter scheitern mit KI - AutoGPT
AutoGPT - eine KI, die eigene Entscheidungen trifft, um einen vorgegebenen Plan umzusetzen.
Die Entscheidungen müssen allerdings nicht immer gut sein.
Bildrechte: IMAGO / aal.photo / MDR Wissen

KI-Kolumne Gescheiter scheitern mit KI. Heute: AutoGPT

14. August 2023, 16:12 Uhr

Schöne neue Welt. Schönes neues AutoGPT. Man gibt der KI einen Plan vor, den sie dann eigenständig erfüllt. Die nötigen Schritte findet AutoGPT selbst. Kilian Irrgang hat's getestet und ist, nun ja, frustriert.

Ich bin Kilian Irrgang*. Vor kurzem habe ich mich noch mit Visual ChatGPT beschäftigt, da waren die Ergebnisse bescheiden. Aber ein paar Vorteile brachte das Ganze mit sich. Ich habe dadurch nun GIT und Python auf meinem Rechner installiert, kann mit der Windows-Eingabeaufforderung umgehen, und ich habe auch meinen eigenen OpenAI-API-Key. Was das alles genau ist, können Sie in meinem Erfahrungsbericht zu Visual ChatGPT nachlesen. Auf jeden Fall brauche ich das alles heute wieder, denn heute stürze ich mich ins Abenteuer AutoGPT.

AutoGPT

Eine Revolution! Wahnsinn! AutoGPT wird alles verändern! So war es in den letzten Tagen und Wochen überall zu hören und lesen.
Und tatsächlich klingt AutoGPT für mich nach einer KI im besten Sinne. Der Mensch, in diesem Fall ich, denkt sich einen gescheiten Plan aus. Dann lehnt er sich zurück. Denn den Rest macht die KI eigenständig. Sie überlegt sich die nötigen Schritte, um den Plan zu erfüllen, sie durchsucht das Internet, sie schreibt selbst Programmcode oder anderen Text, wenn nötig. Und am Ende ist der Plan umgesetzt. Herrlich, oder?

Im Internet kursieren viele Ideen, was man mit AutoGPT alles machen könnte. Ich will aber nicht fremde Ideen umsetzen, sondern meine eigenen. Mein Plan ist nicht gänzlich unambitioniert, aber für eine gescheite KI sollte er ein Klacks sein. Ich möchte auf dem neuesten Stand sein, was KI-Neuigkeiten angeht. AutoGPT soll mir dabei helfen. Ich lade mir also das GitHub-Repository von AutoGPT herunter, installiere es wie beschrieben und starte das Script in der Windows-Eingabeaufforderung.

AutoGPT begrüßt mich und fragt, unter welchem Namen er mir helfen kann. Ich taufe ihn "KI-News-Sammler". Leider spricht er nur Englisch mit mir, aber sei's drum, dann antworte ich eben auch auf Englisch. Übersetzungsprogramme gibt es ja zur Not genügend.
Ich soll dann seine Rolle beschreiben und erwidere, er sei eine KI, die mir dabei hilft, auf dem neuesten Stand zu bleiben, was Neuigkeiten und Entwicklungen im Bereich der Künstlichen Intelligenz und des maschinellen Lernens angeht.

Schließlich darf ich noch bis zu fünf Ziele vorgeben. Ich beschränke mich auf vier und formuliere sie auf Englisch so wie im folgenden Screenshot:

KI Kolumne: AutoGPT - 01 - Rolle und Ziele
Bildrechte: MDR Wissen

Auf Deutsch lauten die vier Ziele:

1. Durchsuche das Internet nach deutschsprachigen Webseiten, Newslettern, Youtube-Kanälen und Twitter-Kanälen, die regelmäßig und ausführlich über Nachrichten und Entwicklungen im Bereich von Künstlicher Intelligenz und maschinellem Lernen berichten. Benutze deutsche Suchbegriffe.
2. Tue das Gleiche wie in Schritt 1 für Quellen in englischer Sprache mit englischen Suchbegriffen.
3. Sammle von diesen Quellen News, Video-Links und Tweets zum Thema KI und maschinelles Lernen, die nicht älter als zwei Wochen sind. Bei den News genügen die Überschrift und ein kurzer Zusammenfassungstext.
4. Erstelle eine Webseite, die HTML, PHP und MySQL verwenden darf, die sich regelmäßig selbst aktualisiert, die in der linken Spalte alle deutschen Inhalte zeigt und in der rechten Spalte alle englischen. Die Einträge sind nach Erscheinungsdatum sortiert, sodass das Neueste immer oben steht. Verlinke die Titel der Einträge so, dass sie zur jeweils originalen Quelle führen, also zu einer Internetseite, woher die News stammt oder zu einem Youtube-Video oder zu einem Tweet. Nutze kleine Vorschaubilder für jeden Eintrag, wenn möglich.

Ein guter Plan!

Ich bin ganz zufrieden mit den vier Zielen. Sie sind nicht schwammig formuliert, sondern machen klare Vorgaben. Und sie beinhalten nur Dinge, die AutoGPT aus meiner Sicht können sollte: Internet durchsuchen, Texte und Links abspeichern, Code für eine Internetseite schreiben.

Also los! Ich drücke auf Enter, das Wort "Thinking" erscheint und einige Zeit später zeigt mir die KI, wie sie die Arbeit angeht. Jeder Schritt besteht aus fünf Teilschritten, die man vielleicht am besten so übersetzt:
Idee, Begründung, Plan, Gegenargumente, Entscheidung.

AutoGPT
"Thoughts, Reasoning, Plan, Criticism, Speak"
So trifft AutoGPT also seine Entscheidungen. Nicht schlecht, Herr Specht.
Bildrechte: MITTELDEUTSCHER RUNDFUNK

Wow! Meine Bewunderung kennt kaum noch Grenzen. Jeder "Gedankengang" der KI wird mir also aufgeschlüsselt. Und dann steht da am Ende immer "Input:", wo ich entscheiden muss, ob die KI so weitermachen soll. Natürlich soll sie das, ist doch ein guter Plan. Also drücke ich y und Enter.

Probleme sind auch nur Herausforderungen

AutoGPT macht mir dann klar, dass er ganz ohne mich doch nicht zurechtkommt. Wenn Maschinen wie er googeln wollen, muss ihnen der Mensch einen Google-API-Key an die Hand geben. Ich habe mich dann bei ChatGPT schlau gemacht, woher ich den kriege und bei der Gelegenheit auch gleich noch einen YouTube-API-Key erstellt. Für beides braucht man natürlich ein Google-Benutzerkonto. Hab ich. Also kein Problem. Nur eine knapp zwei Stunden Zeit klauende Herausforderung.

Aber dann lief alles, ich startete meinen KI-News-Sammler nochmal, gab ihm dieselben Befehle und war bereit für das ganz große Ding.

Politik der kleinen Schritte

Herrje, das ist ganz schön viel, was mir AutoGPT da bei jedem einzelnen Schritt mitteilt. Ich gebe mir Mühe, alles zu lesen und vor allem zu verstehen.

AutoGPT
Jeder Schritt wird begründet. Es gibt viel zu lesen, wenn man alles verfolgen will. Bildrechte: MITTELDEUTSCHER RUNDFUNK

Langsam dämmert mir, dass ich hier ziemlich viel Zeit verbringen könnte und ziemlich oft y und Enter drücken dürfte, wenn das so weitergeht. Aber gut, sei's drum. Erst mal genauer verstehen, was die KI nach und nach tut.

Ich stelle fest, dass AutoGPT erst googelt, die Adressen der Google-Treffer abspeichert und dann die gespeicherten Seiten aufruft und durchforstet. Bei letzterem öffnet sich ein ganz neues Browser-Fenster.
Mir fällt auf, dass bei den aufgerufenen Seiten sehr oft eine Cookie-Einverständniserklärung angeklickt werden soll. Ich tue das, so schnell ich kann, händisch im Browserfenster, das AutoGPT geöffnet hat, weil er selbst offensichtlich keine Cookies akzeptieren kann. Aber ich habe keine Ahnung, ob mein Klicken etwas bringt (wohl eher nicht, weil ich viel zu langsam bin) oder ob es überhaupt nötig ist. In der Konsole (Windows-Eingabeaufforderung) wechseln sich Erfolgs- und Fehlermeldungen jedenfalls ab. Ich fürchte, dass AutoGPT durch das Cookie-Problem auf den Seiten nicht so schalten und walten kann, wie es nötig wäre.

KI Kolumne: AutoGPT - 07 - Website und Cookie-Akzeptieren
AutoGPT hat eine Internetseite geöffnet, akzeptiert die Cookies am unteren Bildrand aber nicht von selbst. Das ist in Sachen Sicherheit bestimmt gut, dürfte aber für die Arbeit des Bots problematisch sein. Bildrechte: MDR Wissen

Und selbst wenn ...

Und selbst wenn er es könnte: Was ich da beobachte, gefällt mir immer weniger. AutoGPT geht beim Googeln ziemlich plump vor und verwendet keine "kreativen" Suchbegriffe, sondern ziemlich wortgetreu das, was ich zwar als Ziel formuliert habe, aber nicht als Suchbegriff. Dann durchforstet er die ersten wenigen (ich glaube, zehn) ergoogelten Seiten nach passendem Inhalt. Durch das plumpe Googeln sind da aber auch viele eher unbrauchbare Seiten wie Wikipedia dabei, die zwar im Google-Ranking weit oben sind, aber mir gewiss keine KI-News liefern. Dazu das wahrscheinliche Cookie-Problem.

Im Ergebnis führt das dazu, dass sich die Misserfolge häufen, oder wie es AutoGPT formuliert: "The website I visited in the previous step did not contain the information I was looking for." (Die Internetseite, die ich im vorherigen Schritt untersucht habe, enthielt nicht die gewünschten Informationen.)

AutoGPT
... did not contain the information... Bildrechte: MITTELDEUTSCHER RUNDFUNK

Alles eine Frage von Zeit und Geld

Mir geht nun ein Licht auf, allerdings kein besonders warmes, einladendes, sondern es ist eher so eine kalt flackernde Neonröhre, die sich in meinem Kopf meldet: Bei all diesen Einzelschritten, die oft auch noch Misserfolge sind, wird es elendiglich lange dauern, bis AutoGPT überhaupt das erste meiner vier gesteckten Teilziele erreicht. Außerdem kostet es eben nicht nur Zeit, sondern auch Geld.

Als ich meinen OpenAI-Key erstellt hatte, habe ich gesehen, dass ich bei OpenAI 18 US-Dollar auf dem Konto zur API-Nutzung habe, ohne dass ich echtes Geld eingezahlt hätte. Aha, schön. Das mit dem Kein-echtes-Geld-Einzahlen würde ich natürlich gern beibehalten. Also mal sehen, wie lange ich von den "geschenkten" 18 Dollar leben kann. Denn jeder Token-Zugriff auf ChatGPT über eine Schnittstelle wie bei AutoGPT kostet. Nur ganz wenig, aber bei vielen Anfragen summiert sich das dann vielleicht doch recht schnell. Also schnell ein Blick auf meinen "Kontostand".

KI Kolumne: AutoGPT - 09 - Credits 1,59
1,51 von 18 $ sind schon verbraucht. Bildrechte: MDR Wissen

Mit ein bisschen erfolglosem Rumdaddeln auf verschiedenen GPT-Ebenen habe ich also schon mal 1,51 Dollar verbraucht. Na, das kann ja heiter werden.

Eine gute und eine schlechte Nachricht

Ich beende mein (jedenfalls für 18 Dollar) wohl viel zu umfangreiches Projekt, verabschiede mich also von dem Gedanken, Internetseiten, YouTube-Kanäle UND Twitter-Kanäle einsammeln zu lassen. Eines davon muss reichen. Weil das mit den Internetseiten und den Cookies so fehlerhaft wirkte und ich nicht weiß, ob man für Twitter-Suche auch einen API-Key braucht, ich aber auf jeden Fall einen YouTube-API-Key habe, entscheide ich mich für die Video-Plattform.

Ich formuliere die Ziele versehentlich auf Deutsch und stelle zwei Sachen fest.
1. AutoGPT "spricht" zwar nur Englisch, aber versteht auch Deutsch. Klar, warum auch nicht. Ich hätte mir die ganzen Übersetzungen also schon die ganze Zeit sparen können.
2. AutoGPT tut trotzdem nicht das, was ich will. Statt auf YouTube selbst, sucht er auf Google nach YouTube-Videos.

Nee, mein Freund, so nicht. Ich starte neu und konkretisiere die Ziele.

Text auf schwarzem Grund
Konkretisierte, knappe, klare Ziele, mit denen AutoGPT gut arbeiten können müsste. Bildrechte: MITTELDEUTSCHER RUNDFUNK

Außerdem bin ich des ständigen y-und-Enter-Drückens müde und gehe dazu über, "y -5" oder gar "y -10" einzugeben, was bewirkt, dass AutoGPT die entsprechende Anzahl an Schritten nacheinander ausführt, ohne dass ich jedes Mal y eingeben muss. So sollten der Bot und ich doch endlich bald zum Ziel kommen ...

Einen Gutteil der so beginnenden "Erfolgsgeschichte" habe ich in einem Video festgehalten. Ja, es dauert sieben Minuten. Ja, AutoGPT ist am Ende in einer Schleife gefangen und kommt zu keinem Ergebnis. Aber es gibt dennoch zwei Gründe, sich das Video anzusehen:
1. So sehen Sie die Benutzeroberfläche und die Arbeitsgeschwindigkeit in Echtzeit.
2. Geteiltes Leid ist halbes Leid.

Vorschaubild Video AutoGPT 7 min
Bildrechte: MDR Wissen
7 min

Di 02.05.2023 12:21Uhr 07:12 min

https://www.mdr.de/wissen/videos/video-autogpt-thinking-100.html

Rechte: MITTELDEUTSCHER RUNDFUNK

Video

Ich fasse zusammen, was da im Video (nach meinem Verständnis) zu sehen war und sich danach auch weiter fortsetzte:
- AutoGPT kennt meinen YouTube-API-Key (gut!)
- AutoGPT schreibt sich selbst eine Python-Datei, um mit diesem Key YouTube zu durchsuchen (sehr gut!)
- AutoGPT führt die Datei aus (folgerichtig!)
- es kommt irgendeine Fehlermeldung, dass das System die Datei nicht finden kann (schlecht!)
- AutoGPT durchsucht das Verzeichnis nach der Datei (anständig!)
- AutoGPT findet die Datei (klar, sie ist ja auch da!)
- AutoGPT führt die Datei aus (erneut folgerichtig!)
- es kommt irgendeine Fehlermeldung, dass das System die Datei nicht finden kann (schon wieder schlecht!)
- Wiederholung der letzten vier Schritte (nein!)
- und nochmal (frustrierend!)
- und nochmal (Frust ist kein Ausdruck mehr!)

Überschlagen, nicht vor Freude

Ich breche natürlich irgendwann ab. Lohnt es sich, nochmal neu anzufangen? Die Zeit würde ich mir vielleicht sogar nehmen, wenn ich wüsste, was ich besser machen kann, um den eben erlebten Mist zu verhindern. Und wenn ich wüsste, dass ich mit meinen kostenlosen 18 Dollar hinkomme.
Also ein neuerlicher Blick auf meinen OpenAI-Kontostand:

KI Kolumne: AutoGPT - 14 - Credits 2,30
Jetzt sind schon 2,30 $ weg, und nichts wurde erreicht. Bildrechte: MDR Wissen

79 Cent hat dieses blöde Rödeln gekostet? Ich war immer ganz gut bei Schätzungen und Überschlagsrechnungen. Die jetzige sagt mir, dass ich mit 18 (oder jetzt noch knapp 16) Dollar niemals an mein Endziel kommen werde. Und ich wage zu behaupten: selbst mit fehlerfreien Eingaben meinerseits nicht. Dafür macht AutoGPT viel zu viele kleine Schritte, die für ihn sicherlich nötig sind, aber eben immer ein ganz klein wenig Geld kosten.

Lass mich in Ruhe!

Meine Anfangseuphorie, die definitiv da war, ist übergroßem Frust gewichen. Ich bin mir sicher, dass man für wirklich gute AutoGPT-Projekte mindestens vier Dinge braucht:
1. ein besseres programmiererisches Verständnis, als ich es habe, um nach Fehlermeldungen zu begreifen, was man selbst verbessern kann oder muss
2. sehr viel Zeit
3. wahrscheinlich recht viel Geld
4. ein widerstandsfähiges Nervenkostüm

Und weil ich das alles im Moment nicht habe, lasse ich meinem Frust freien Lauf. Ich starte AutoGPT ein letztes Mal neu und mache ihm deutliche Vorgaben. Ich nenne ihn diesmal "Ratgeber für alles außer KI". Er soll mir Empfehlungen geben, was ich Sinnvolleres tun kann, statt stundenlang vor dem Computer zu sitzen und mich mit einer KI zu beschäftigen, die sich im Kreis dreht. Er soll eine Top-5-Liste erstellen, wobei Zufriedenheit und Gesundheit besonders wichtig sind. Er soll dafür sorgen, dass ich bei allen genannten Empfehlungen keinen Kontakt mit Computern, geschweige denn sogenannter Künstlicher Intelligenz habe.

Anschließend soll er noch seine Nachteile beschreiben. Und mich schließlich in Ruhe lassen.

Text auf schwarzem Grund
Meine frustgeborenen vorerst letzten Befehle an AutoGPT. Bildrechte: MITTELDEUTSCHER RUNDFUNK

Die Top-5-Liste der Empfehlungen spuckt er dann schnell aus, ich glaube, sogar ohne zu googeln: Spaziergang, Buch lesen, Meditieren oder Yoga, gesundes Essen kochen, Freunde oder Verwandte anrufen. Na fein. Wahnsinnig intelligent.
Danach sollte ich den Befehl "do_nothing" wieder mit einem y abnicken.

Text auf schwarzem Grund
Auto-GPTs Top-5 an Empfehlungen, was man ohne Rechner und KI tun könnte. Bildrechte: MITTELDEUTSCHER RUNDFUNK

Ich bin gespannt, ob sich AutoGPT nun elegant verabschiedet oder sich selbst zerstört. Beides wäre mir in diesem Moment recht.
Stattdessen schiebt er noch ein paar Empfehlungen nach, darunter die, dass ich ja ein Online-Seminar belegen könnte, um etwas Neues zu lernen. Will er sich über mich lustig machen? Meint er Programmiersprachen oder bessere Prompt-Eingaben?
Wie kriege ich das verdammte Ding aus? Wieder will er den Befehl "do_nothing" bestätigt haben. Ich gebe ihm eine allerletzte Chance, mich zu beglücken. Er soll ja noch seine Nachteile beschreiben und mich dann in Ruhe lassen.

Ich will mal so sagen: Als Illustration für beides lasse ich das, was er dann schreibt, gelten. Erst eine Menge undurchsichtiger Fehlercode (also für mich jedenfalls), dann die Aufforderung "Drücken Sie eine beliebige Taste...", und nach dem Tastendruck ist nun tatsächlich Schluss mit AutoGPT. Jedenfalls auf meinem Rechner. Jedenfalls erst einmal.

Text auf schwarzem Grund
Fehler, Fehler, Fehler, Fehler, Fehler, Fehler, Fehler und tschüss. Bildrechte: MITTELDEUTSCHER RUNDFUNK

An dieser Stelle lache ich zum ersten Mal an diesem Tag lauthals. Aber irgendwie nicht vor Glück.

Ideen?

Wenn Sie Ideen oder Vorschläge haben oder einfach besser wissen, wie man AutoGPT zu etwas Sinnvollem bewegen kann, das man ohne KI nicht so einfach schafft, dann schreiben Sie es gern in die Kommentare.

Ich selbst werde mir erst mal andere KI-Themen vorknöpfen, denke ich. Kennen Sie noch die Fernsehserie "Max Headroom" aus den späten 1980er-Jahren? So etwas in der Art schwebt mir vor. Mal sehen, wie weit ich komme. Ich werde berichten.

Bis dahin, scheitern Sie bitte gescheiter.
Ihr Kilian Irrgang

*PS Kilian Irrgang ist, Sie ahnen es vermutlich schon, ein Pseudonym. Wir nutzen es, um über verschiedene gesammelte Erfahrungen und Erlebnisse aus der Arbeit mit KI in der Redaktion MDR WISSEN zu berichten.

404 Not Found

Not Found

The requested URL /api/v1/talk/includes/html/cc213679-a76d-4d22-8967-f2e66e32506d was not found on this server.