Was sind KI-Agenten? Ein praktischer Leitfaden zu LLMs, Tokens und Gedächtnis

1. Was ist ein LLM?

Fangen wir mit den Grundlagen an. Ein LLM ist keine Magie. Es ist kein künstlicher Verstand. Ein LLM ist eine ausgefeilte Vorhersagefunktion. Es nimmt Eingaben, zum Beispiel Wörter (bei multimodalen KI-Modellen manchmal auch Bilder), entgegen, verarbeitet diese mithilfe einer trainierten mathematischen Funktion und erzeugt eine Ausgabe.
Diese Ausgabe ist nicht deterministisch, das heißt, sie wird auf der Grundlage statistischer Wahrscheinlichkeiten generiert. So beeindruckend die Ergebnisse auch erscheinen mögen, ein LLM ist letztlich nur eine Vorhersagemaschine. Dahinter steckt weder Bewusstsein noch Verständnis. Das ist ein wichtiger Unterschied.

Um das Beispiel aus dem Video zu verwenden: Wenn man „Der schnelle braune Fuchs …“ eingibt, „denkt“ das Modell nicht über Tiere nach. Es berechnet lediglich die statistisch wahrscheinlichste Fortsetzung („springt über den Zaun“). Das bedeutet nicht, dass das Modell Tiere oder Handlungen versteht. Es sagt lediglich die statistisch wahrscheinlichste Fortsetzung voraus, basierend auf den während des Trainings erlernten Mustern. LLMs sind Vorhersagesysteme und das hat Auswirkungen darauf, wie wir sie in KI-Agenten einsetzen werden.

2. LLMs arbeiten mit Tokens

Token sind die grundlegende Währung, anhand derer LLMs gemessen werden, und bilden das Fundament ihrer Funktionsweise. Man kann sie sich als Textfragmente vorstellen, welche ein Modell verarbeiten und speichern kann. Obwohl Token oft Wörtern ähneln, sind sie nicht dasselbe. Einfache Wörter werden oft zu einzelnen Tokens. Das Wort „Fuchs“ ist beispielsweise ein Token. Komplexere oder seltenere Wörter können jedoch in kleinere Teile zerlegt werden. Als grobe Faustregel gilt, dass ein Token etwa drei Viertel eines Wortes im englischen Text entspricht.

Wie Tokenisierung funktioniert

Zur Veranschaulichung betrachten wir ein Tokenisierungs-Tool, das von OpenAI bereitgestellt wird. Geben wir den Satz „Der schnelle braune Fuchs” ein, wird jedes Wort als eigenständiges Token behandelt. Das bedeutet, dass das Modell diese Wörter während des Trainings oft genug gesehen hat, um sie als ganze Einheiten zu speichern. Betrachten wir nun eine speziellere Phrase: „Hyperbaric chamber”. Das Wort „hyperbaric“ ist weniger gebräuchlich, daher teilt das Modell es möglicherweise in kleinere Token auf: „Hyper“, „Bar“, „Ic“. Dieser Vorgang wird als Tokenisierung bezeichnet.

Es ist aus zwei Gründen wichtig zu verstehen, wie die Tokenisierung funktioniert: Speicherkapazität und Kosten. Die Speicherkapazität eines Modells wird dadurch bestimmt, wie viele Token es in seinem Kontextfenster aufnehmen kann. Ein Modell mit 200.000 Token kann diese Menge an Informationen auf einmal verarbeiten. Token sind zudem die Abrechnungseinheit. Den Nutzern werden die Token in Rechnung gestellt, die sie an das Modell senden und die, die das Modell als Antwort generiert. Verstehen Sie die Tokenisierung, können Sie effizientere und kostengünstigere Interaktionen entwerfen.

3. Rohe LLMs simulieren das Gedächtnis nur

Es gibt noch eine weitere wichtige Einschränkung: Modelle wissen nur das, worauf sie trainiert wurden. Sie kennen weder aktuelle Nachrichten noch Ereignisse oder interne Unternehmensdaten.

Betrachten wir ein einfaches Beispiel. Wir haben einen KI-Agenten entwickelt, der als Wrapper mit der OpenAI-API um ein LLM funktioniert. Er funktioniert wie eine Chat-Oberfläche. Wenn wir „Hallo” schreiben, antwortet das Modell höflich. Wenn wir „Mein Name ist Krzysztof“ schreiben, reagiert es angemessen. Wenn man jedoch fragt: „Wie heiße ich?“, weiß das Modell die Antwort nicht. Warum? Weil jede Eingabe unabhängig verarbeitet wird. Es gibt kein Gedächtnis und keinen Gesprächsverlauf. Jede Interaktion ist isoliert. So verhalten sich rohe LLM-Systeme.

Wie wird das Gedächtnis in LLMs simuliert?

Damit die Modelle einen dialogorientierten Eindruck erwecken, müssen wir zusammen mit jeder neuen Eingabe auch die vorherigen Nachrichten senden. Die gesamte bisherige Konversation wird in das Kontextfenster geladen, das als Arbeitsspeicher fungiert. Wenn von einer großen Anzahl unterstützter Tokens die Rede ist, bedeutet dies, dass viele Tokens in dieses Kontextfenster passen. Das Modell „merkt“ sich nichts. Es verarbeitet lediglich jedes Mal die gesamte Konversation neu.

4. KI-Agenten erweitern LLMs um Tools, Speicher, Daten und Ausführungslogik

Damit LLMs in echten Szenarien von Nutzen sind, müssen wir Systeme um sie herum aufbauen. Diese Systeme bezeichnen wir als KI-Agenten. KI-Agenten erweitern das LLM um zusätzliche Fähigkeiten, die für zuverlässige Arbeit, Interaktion und die Ausführung von Aufgaben nötig sind.

Zu diesen Funktionen gehören in der Regel:

• Tools, mit denen der KI-Agent Aktionen ausführen kann (z. B. APIs aufrufen, Code ausführen, Datenbanken abfragen);
• Kontext und Kurzzeitgedächtnis, die ein Bewusstsein für die aktuelle Interaktion bieten;
• Langzeitgedächtnis, das Kontinuität über mehrere Sitzungen hinweg gewährleistet;
• Zugriff auf externe Datenquellen zur Ergänzung des Trainingswissens des Modells;
• Eine Ausführungslogik, die bestimmt, wie Aufgaben geplant und ausgeführt werden
• Sicherheitsvorkehrungen und Systemhinweise, die ein sicheres und zuverlässiges Verhalten gewährleisten.

5. Was sind häufige Faktoren bei der Verwendung von KI-Agenten?

Der Einsatz von KI-Agenten im LLM erfordert die Berücksichtigung mehrerer wichtiger Aspekte. Unternehmen müssen bei in der Cloud gehosteten Modellen den Datenschutz gewährleisten, verstehen, wie das Konversationsgedächtnis über mehrere Sitzungen hinweg verwaltet wird und entscheiden, ob Interaktionen nur vorübergehend sein oder langfristig bestehen bleiben sollen. Da LLMs probabilistisch antworten, benötigen KI-Agenten zudem klare Anweisungen und Sicherheitsvorkehrungen, um präzise und konforme Ergebnisse zu erzielen.

Datenschutz und datenbezogene Aspekte

Bei der Verwendung von in der Cloud gehosteten Modellen werden Daten extern gespeichert. Es gibt unterschiedliche Lizenzbedingungen: Kostenlose Tarife dürfen Daten unter Umständen für Trainingszwecke verwenden. Bei Unternehmenslizenzen ist die Nutzung für Trainingszwecke in der Regel eingeschränkt, Daten werden jedoch weiterhin in der Cloud verarbeitet. Wenn Datenschutzbestimmungen wie die DSGVO für Sie von Bedeutung sind, sollten Sie Folgendes in Betracht ziehen: Anonymisierung der Daten, lokale Ausführung von Modellen. Es ist von entscheidender Bedeutung zu wissen, wohin Ihre Daten gelangen.

Konversationsverlauf hinzufügen

Eine der wichtigsten Fähigkeiten des KI-Agenten im LLM ist die Berücksichtigung des Konversationskontexts. Nach der Einrichtung des Gesprächsverlaufs erhält das Modell zu jeder neuen Eingabe auch die vorherigen Nachrichten. Wenn ein Nutzer beispielsweise sagt: „Hallo, mein Name ist Krzysztof“, und später fragt: „Wie heiße ich?“, kann das Modell nun korrekt antworten. Dabei merkt sich das Modell nicht die Informationen, sondern erhält die früheren Nachrichten im aktuellen Kontextfenster erneut.

Sitzungsspeicher

Der Sitzungsspeicher ist temporär. Wenn die Konversation endet und die Sitzung geschlossen wird, geht der gespeicherte Kontext verloren. Wenn eine neue Sitzung beginnt, startet das Modell ohne Kenntnis früherer Interaktionen. Es ist, wie wenn man ein Gespräch führt, den Raum verlässt und später zurückkommt, ohne sich daran zu erinnern, worüber gesprochen wurde. In datenschutzrelevanten Anwendungen ist das von Vorteil, da Nutzerdaten nicht länger als nötig gespeichert werden.

Langzeitgedächtnis

Bei Anwendungen, die Kontinuität erfordern, kann der Chatverlauf extern gespeichert und bei Rückkehr des Nutzers wieder geladen werden. Indem frühere Interaktionen in einer Datenbank gespeichert und anschließend in das Kontextfenster des LLMs geladen werden, kann der KI-Agent scheinbar über ein Langzeitgedächtnis verfügen. Das Modell stellt frühere Unterhaltungen wieder her, damit diese erneut bearbeitet werden können. Das ist wie das Durchsehen von Besprechungsnotizen vor einem Kunden-Gespräch.

Verhindern von Halluzinationen

Da LLMs ihre Antworten eher auf der Grundlage statistischer Vorhersagen als auf logischen Schlussfolgerungen generieren, können sie manchmal falsche oder erfundene Informationen liefern. Dieses Verhalten wird als „Halluzinationen“ bezeichnet. Um dieses Risiko zu verringern, stützen sich die KI-Agenten auf Systemvorgaben und Richtlinien, die strenge Verhaltensregeln festlegen. Diese Anweisungen können beispielsweise folgende Vorgaben enthalten:

• Wenn Informationen nicht verfügbar sind, geben Sie dies deutlich an;
• Erfinde keine Antworten;
• Verwenden Sie nur die Daten aus Eingabeaufforderung oder verbundenen Systemen;

Das Erstellen von Prompts ähnelt daher weniger der herkömmlichen Programmierung als vielmehr dem Erteilen präziser und eindeutiger Anweisungen. Für zuverlässige Ergebnisse sind klare Grenzen und explizite Vorgaben unerlässlich.

6. Was genau ist ein KI-Agent eigentlich noch einmal?

Ein KI-Agent ist mehr als nur ein Sprachmodell. Es handelt sich um ein strukturiertes System, das ein LLM für Schlussfolgerungen und Generierung, Speichersysteme für den Kontext, Tools für die Interaktion mit externen Systemen sowie Sicherheitsvorkehrungen für Zuverlässigkeit und Sicherheit vereint. KI-Agenten verwandeln Prognosemodelle in praktische, aufgabenorientierte Systeme. Es handelt sich um sorgfältig entwickelte Sprachmodelle, die für reale Anwendungen nützlich, zuverlässig und sicher sind.

Kontaktieren Sie uns!

Senden Sie uns eine E-Mail: [email protected]