Anatomie eines RAG-Bots · Von der Bibliothek-Metapher zur technischen Wahrheit

1 · Das Dilemma: Alle reden von RAG, kaum jemand erklärt es

Kaum ein Angebot kommt derzeit ohne das Kürzel RAG aus. Anbieter werben damit als Standard, als wäre die Sache selbsterklärend. Doch fragen Sie in einem Termin nach, was im Kasten tatsächlich passiert, wird es oft still. Die drei Bausteine, aus denen jedes solche System besteht, werden selten benannt. Geschäftsführungen unterschreiben Angebote, ohne diese eine Frage gestellt zu haben.

Das ist kein Vorwurf an die Käuferseite. Die Erklärungen sind entweder Werbung oder reine Technikersprache, dazwischen liegt eine Lücke. Genau diese Lücke schließt eine einfache Metapher: die Bibliothek mit dem klugen Bibliothekar. Sie ist präzise genug, um die richtigen Fragen zu stellen. Wer den Bot versteht, verhandelt anders. Das ist der Kern dieses Artikels.

2 · Die kurze Antwort: Bibliothek, Bibliothekar, Antwortschreiber

Bevor wir in die Tiefe gehen, kommt hier die kurze Antwort. Sie passt in drei Schritte, und diese drei Schritte sollten Sie sich merken.

Diese Dreiteilung ist mehr als ein Bild. Sie sagt Ihnen, an welcher Stelle ein System schwächeln kann. Eine schlechte Bibliothek liefert falsche Karten. Ein schwacher Bibliothekar findet die richtigen nicht. Ein undisziplinierter Antwortschreiber schmückt aus, was nicht auf den Karten steht. Halten Sie diese drei Rollen auseinander, dann hören Sie in jedem Termin genau hin.

3 · Was ein RAG-Bot wirklich ist

RAG steht für Retrieval Augmented Generation, also abrufgestützte Texterzeugung. Das System sucht passende Quellen und legt sie dem Sprachmodell als zusätzlichen Kontext vor. Dadurch lassen sich Antworten auf eigenes Wissen beziehen. Das Modell kann Quellen dennoch falsch wiedergeben oder unbelegte Aussagen ergänzen. Quellenangabe und inhaltliche Gegenprüfung bleiben nötig.

Ohne diesen Abruf-Schritt hätten Sie nur einen Chatbot mit allgemeinem Trainingswissen. Der weiß viel über die Welt, aber nichts über Ihre Tarife, Ihre Handbücher, Ihre Normen. Die entscheidende Architektur-Entscheidung ist deshalb die Trennung von Wissen und Sprache. Das Wissen bleibt in Ihrer Bibliothek, und Sie pflegen es. Die Sprache kommt vom Modell. Wer diese Trennung versteht, weiß auch, warum die Qualität der Antworten zuerst von Ihren Dokumenten abhängt und erst danach vom Modell.

4 · Die technische Anatomie in zwei Absätzen

Eine verbreitete Variante verwendet Embeddings: Textabschnitte und Fragen werden als Zahlenreihen dargestellt, um ähnliche Inhalte zu finden. Andere oder ergänzende Suchverfahren arbeiten mit Schlüsselwörtern und Filtern. RAG bezeichnet die Verbindung von Abruf und Antworterzeugung, nicht ausschließlich eine Vektorsuche.

Zwei Begriffe fehlen noch. Lange Dokumente werden vorab in handliche Stücke zerlegt, das nennt man Chunking. Ohne diese Zerlegung wären die Karten zu groß und der Bibliothekar fände nichts Gezieltes. Und nach der ersten Suche schaltet sich oft eine zweite Prüfstufe ein, das Re-Ranking. Sie sortiert die gefundenen Treffer noch einmal nach echter Relevanz, feiner als die erste grobe Ähnlichkeits-Suche. Embedding, Vektorraum, Chunking, Re-Ranking: diese vier Begriffe reichen aus, um in einem Anbieter-Termin nicht abgehängt zu werden.

5 · Die drei Stellschrauben in jedem RAG-System

Aus den drei Rollen ergeben sich drei Stellschrauben. An jeder können Sie drehen, und jede ist im Anbieter-Vertrag verhandelbar, wenn Sie sie kennen.

• Bibliotheks-Qualität: Welche Dokumente kommen hinein, in welcher Aktualität, in welcher Struktur. Müll hinein bedeutet Müll heraus, daran ändert kein Modell etwas.
• Bibliothekar-Klugheit: Wie gut findet das System die richtigen Karten, auch wenn die Frage anders formuliert ist als das Dokument. Hier entscheiden Embedding-Wahl und Re-Ranking.
• Antwortschreiber-Disziplin: Schreibt das Modell nur, was auf den Karten steht, oder schmückt es aus. Klare Anweisungen und verlangte Quellen unterstützen die Prüfung. Ob sie im konkreten Fall wirken, zeigen erst Tests.

6 · Wann ein RAG-Bot passt

Wiederkehrende Fragen zu festem Wissensstand

Es gibt einen definierten Dokumentenstand, etwa ein Handbuch, eine Tarifsammlung oder eine Norm. Dieselben Fragen kommen immer wieder. Hier spielt ein RAG-Bot seine Stärke aus, weil die Bibliothek stabil und die Antworten belegbar sind.

Onboarding und interne Auskunft

Das Wissen ist im Haus vorhanden, aber verstreut über Laufwerke, Wikis und Köpfe. Neue Mitarbeitende suchen lange, erfahrene werden ständig unterbrochen. Ein Bot bündelt das verstreute Wissen und gibt schnelle, nachvollziehbare Auskunft.

Kunden-Support auf eigener Wissensbasis

Der Support beantwortet Fragen zu Ihren Produkten und Prozessen. Ein RAG-Bot kann dafür passende Quellen bereitstellen. Ob er sie vollständig findet und korrekt verwendet, muss mit typischen Fragen, Gegenfällen und fehlenden Informationen getestet werden. Microsoft erläutert Aufbau und Grenzen von RAG.

7 · Wann ein RAG-Bot nicht passt

Auch die Gegenfälle gehören zur Einordnung. In diesen drei Lagen stiftet ein RAG-Bot mehr Verwirrung als Nutzen.

Die Wissensbasis ist veraltet oder widersprüchlich

Liegen in der Bibliothek alte und neue Versionen nebeneinander, zieht der Bibliothekar mal die eine, mal die andere Karte. Das Ergebnis ist Schein-Präzision: eine flüssige Antwort, die schlicht falsch sein kann. Erst räumen Sie die Bibliothek auf, dann kommt der Bot.

Die Aufgabe braucht Rechnen oder Planen

Soll das System kalkulieren, Termine planen oder Werkzeuge ansteuern, ist reines Nachschlagen das falsche Werkzeug. RAG findet Karten, es rechnet nicht. Solche Fälle brauchen andere Bausteine, oft einen gebauten Workflow um das Modell herum.

Die Antwort muss rechtsverbindlich sein

Wo eine Auskunft haftungsrelevant ist, reicht kein Bot allein. Dann braucht es einen Menschen mit Bot: das System liefert den Entwurf samt Quelle, ein Fachmensch gibt frei. Wer einen dieser drei Fälle hat, sollte das Angebot zurückstellen oder den Zuschnitt ändern.

8 · Der Entscheidungsbaum: drei Fragen vor dem Kauf

Bevor Sie überhaupt in Anbieter-Termine gehen, klären Sie drei Fragen für sich selbst. Sie führen Sie in wenigen Minuten zu einem nachvollziehbaren Ja oder Nein.

1. Ist Ihr Wissen sauber und stabil? Lautet die Antwort Nein, räumen Sie zuerst die Bibliothek auf. Vorher lohnt kein Bot.
2. Geht es um Nachschlagen, nicht um Rechnen oder Planen? Lautet die Antwort Nein, brauchen Sie andere Bausteine als reines RAG.
3. Darf die Antwort einen Menschen in der Schleife haben? Lautet die Antwort Nein, weil es rein automatisch und haftungsfrei laufen muss, ist RAG das falsche Versprechen.

Dreimal Ja heißt: Es gibt einen begründeten Anlass, einen RAG-Probelauf mit Ihren Testfällen zu prüfen. Ein einziges Nein heißt: Erst kommt die Vorarbeit, dann der Kauf.

9 · Fünf Fragen an jeden RAG-Anbieter

Mit der Bibliothek-Metapher im Kopf werden aus diffusen Bedenken konkrete Fragen. Stellen Sie in jedem Anbieter-Termin diese fünf, und Sie hören sofort, ob Ihr Gegenüber das Handwerk beherrscht.

1. Wie wird unsere Bibliothek aktualisiert, und wer pflegt die Karten im laufenden Betrieb?
2. Welches Embedding-Modell nutzen Sie, und wo genau laufen unsere Vektoren?
3. Wie zeigt der Bot für jede Antwort den Quellen-Beleg an?
4. Was passiert, wenn der Bibliothekar nichts Passendes findet, gibt es eine nachvollziehbare Fehlanzeige?
5. Wie kommen wir an unsere Bibliothek heran, wenn wir den Anbieter wechseln wollen?

Auf jede dieser Fragen gibt es eine gute und eine ausweichende Antwort. Die ausweichende ist Ihr Warnsignal. Für einen vergleichbaren Kostenrahmen sollten Sie anschließend die folgenden Bestandteile klären.

Kosten-Realismus

Die Kosten hängen von Quellenbestand, Datenqualität, Nutzung und Betriebsanforderungen ab. Lassen Sie im Angebot die folgenden Bestandteile getrennt ausweisen.

• Pilot und Einrichtung: Quellen auswählen und aufbereiten, Suche und Antworterzeugung einrichten und mit geeigneten Fragen testen.
• Laufender Betrieb: Modell- und Infrastruktur-Nutzung, Speicherung und Überwachung. Kalkulieren Sie diese Positionen anhand der erwarteten Nutzung.
• Pflege der Bibliothek: Quellen aktualisieren, Berechtigungen prüfen und Antworten regelmäßig gegenprüfen. Vereinbaren Sie Zuständigkeit und verfügbare Arbeitszeit.
• Änderungen: Der Wechsel des Embedding-Modells kann eine Neuberechnung des Suchbestands und erneute Tests erfordern. Klären Sie, wie solche Änderungen angeboten und abgerechnet werden.

Fazit · Verstehen, was im Kasten passiert

Wer die Bibliothek-Metapher im Kopf trägt, hört in jedem Anbieter-Termin die richtigen Lücken heraus. Aus drei Rollen werden drei Stellschrauben, aus drei Stellschrauben werden fünf Fragen. Das ist Einkaufs-Kompetenz.

Persönliche KI-Kompetenz im Arbeitsalltag heißt, eine Architektur lesen zu können, bevor Sie sie kaufen. Genau dann entsteht Output statt Output-Theater: ein System, bei dem Sie wissen, was Sie einkaufen und warum.

Im AIM entwickeln Sie einen eigenen betrieblichen Anwendungsfall. Ob dafür ein RAG-Bot sinnvoll ist, entscheidet die Aufgabe. Der heutige Leistungsrahmen verbindet einen funktionierenden eigenen Fall mit einer Zwölfmonats-Roadmap; Kompetenz, Fallstand und betriebliche Freigabe werden gesondert nachgewiesen. Den heutigen AIM-Lehrgang ansehen.