Retrieval-Augmented Generation (RAG)

Retrieval – Informationen suchen

Zunächst sucht das System nach Informationen, die zur Anfrage des Nutzers passen.

Dafür können beispielsweise Dokumente, Webseiten, Datenbanken, Produktdaten oder interne Wissenssammlungen durchsucht werden. Häufig kommen sogenannte Vektordatenbanken zum Einsatz, über die Inhalte nicht nur nach einzelnen Suchbegriffen, sondern auch nach ihrer inhaltlichen Bedeutung gefunden werden können.

Augmentation – Kontext ergänzen

Die gefundenen Informationen werden anschließend zur ursprünglichen Anfrage hinzugefügt.

Fragt ein Mitarbeiter beispielsweise:

„Welche Kündigungsfrist gilt für unseren Vertrag XY?“

sucht das System zunächst nach den passenden Vertragsinformationen und übergibt die relevanten Textstellen zusammen mit der Frage an das Sprachmodell.

Generation – Antwort erstellen

Erst danach erzeugt das Sprachmodell die eigentliche Antwort.

Die KI formuliert also nicht ausschließlich auf Basis ihres allgemeinen Trainingswissens, sondern erhält zusätzliche Informationen, auf die sie ihre Antwort stützen kann.

Aktuelle und unternehmensspezifische Informationen

Einer der größten Vorteile von RAG liegt darin, dass Informationen nicht dauerhaft im Sprachmodell gespeichert sein müssen.

Wird beispielsweise eine Produktbeschreibung, Preisliste oder interne Dokumentation aktualisiert, kann ein RAG-System beim nächsten Abruf bereits mit den neuen Informationen arbeiten – vorausgesetzt, die Wissensquelle beziehungsweise der Suchindex wurde entsprechend aktualisiert.

Unternehmen können damit auch Informationen verwenden, die niemals Bestandteil der ursprünglichen Trainingsdaten eines

Sprachmodells waren.

Das können beispielsweise sein:

• interne Dokumentationen und Wikis,
• Produkt- und Artikeldaten,
• Verträge und Richtlinien,
• Support-Dokumentationen,
• FAQ und Wissensdatenbanken,
• technische Handbücher,
• Inhalte aus Webseiten oder Datenbanken.

Gerade für KI-Anwendungen im Unternehmensumfeld ist das ein wesentlicher Unterschied zu einem allgemeinen Chatbot.

Ein einfaches Beispiel aus dem Unternehmen

Ein Unternehmen besitzt mehrere hundert technische Dokumentationen, Handbücher und Produktdatenblätter.

Ohne RAG müsste ein Mitarbeiter zunächst selbst das passende Dokument finden und die benötigte Information heraussuchen.

Mit einem RAG-System könnte er beispielsweise fragen:

„Welche Wartungsintervalle gelten für Maschine Modell X200?“

Das System sucht zunächst in den hinterlegten Dokumentationen nach Informationen zum Modell X200. Die passenden Textstellen werden anschließend an das Sprachmodell übergeben, das daraus eine verständliche Antwort erstellt.

Je nach Umsetzung kann die Antwort zusätzlich einen Verweis auf das ursprüngliche Dokument oder die verwendete Quelle enthalten.

RAG kann Halluzinationen reduzieren

Sprachmodelle können überzeugend klingende Antworten erzeugen, obwohl einzelne Aussagen falsch oder frei erfunden sind. Dieses Verhalten wird häufig als Halluzination bezeichnet.

RAG kann dieses Risiko reduzieren, weil der KI vor der Antwort konkrete Informationen bereitgestellt werden. Statt eine Wissenslücke ausschließlich aus dem eigenen Modellwissen zu ergänzen, kann sie auf eine externe Wissensbasis zurückgreifen.

Eine Garantie für richtige Antworten ist RAG allerdings nicht.

Findet das System die falschen Dokumente, sind Informationen veraltet oder widersprechen sich verschiedene Quellen, kann auch die daraus erzeugte Antwort falsch sein.

Das Prinzip lautet deshalb vereinfacht:

Gute Daten erhöhen die Chance auf gute Antworten – schlechte Daten bleiben auch mit RAG schlechte Daten.

RAG ist kein zusätzliches Training des Sprachmodells

RAG wird gelegentlich mit dem Training oder Fine-Tuning eines KI-Modells verwechselt.

Dabei handelt es sich um unterschiedliche Ansätze.

Bei RAG wird das Sprachmodell nicht neu trainiert. Stattdessen erhält es bei jeder Anfrage zusätzlich relevante Informationen aus externen Quellen.

Das hat einen praktischen Vorteil: Ändert sich eine Information, muss nicht das komplette Modell erneut angepasst werden. Es reicht in vielen Fällen, die zugrunde liegende Wissensquelle zu aktualisieren.

Fine-Tuning wird dagegen eingesetzt, wenn beispielsweise Verhalten, Stil oder bestimmte Aufgaben eines Modells gezielt angepasst werden sollen.

RAG eignet sich besonders dann, wenn die KI auf aktuelles oder unternehmensspezifisches Wissen zugreifen soll.

Die Qualität der Daten entscheidet

Ein leistungsfähiges Sprachmodell allein reicht für ein gutes RAG-System nicht aus.

Besonders wichtig ist die Qualität der angebundenen Informationen.

Dokumente sollten aktuell, eindeutig und sinnvoll strukturiert sein. Mehrere unterschiedliche Versionen derselben Information können beispielsweise dazu führen, dass das System den falschen Inhalt auswählt.

Auch die Aufteilung der Dokumente spielt eine Rolle. In vielen RAG-Systemen werden lange Dokumente in kleinere Abschnitte – sogenannte Chunks – zerlegt und anschließend indexiert.

Zu große Abschnitte liefern möglicherweise viel unnötigen Kontext. Zu kleine Abschnitte können dagegen wichtige Zusammenhänge verlieren.

Zugriffsrechte bleiben wichtig

Gerade bei internen Unternehmensdaten muss zusätzlich berücksichtigt werden, wer welche Informationen abrufen darf.

Ein RAG-System sollte nicht dazu führen, dass Mitarbeiter über einen KI-Chat plötzlich Zugriff auf Dokumente erhalten, die sie im ursprünglichen System gar nicht sehen dürften.

Berechtigungen, Datenschutz und die Trennung vertraulicher Informationen müssen deshalb bereits bei der technischen Umsetzung berücksichtigt werden.

Ein interner KI-Assistent ist nur dann sinnvoll, wenn die bestehenden Zugriffsregeln auch beim Abruf der Informationen eingehalten werden.

Typische Einsatzmöglichkeiten für Unternehmen

RAG kann überall dort interessant sein, wo große Mengen an Wissen vorhanden sind und Nutzer schnell auf die richtigen Informationen zugreifen sollen.

Typische Beispiele sind interne Wissensassistenten für Mitarbeiter, Support-Chatbots, Produktberatung, technische Dokumentationen oder die Suche in umfangreichen Dokumentenbeständen.

Auch bei Kundenportalen kann das Verfahren eingesetzt werden. Ein Kunde könnte beispielsweise eine konkrete Frage zu einem Produkt stellen, während das System automatisch Handbücher, FAQ und aktuelle Produktinformationen durchsucht.

Die KI übernimmt dabei nicht die Rolle der Datenbank. Sie sorgt vielmehr dafür, dass Informationen aus unterschiedlichen Quellen in natürlicher Sprache abgefragt und verständlich aufbereitet werden können.

RAG und Webseiten

Das Prinzip ist auch für öffentlich zugängliche Inhalte interessant.

KI-Systeme können Informationen aus Webseiten, Wissensdatenbanken oder anderen Quellen abrufen und daraus Antworten zusammensetzen. Damit gewinnen gut strukturierte und eindeutig formulierte Inhalte zusätzlich an Bedeutung.

Klare Überschriften, verständliche Zusammenhänge, aktuelle Informationen und technisch zugängliche Inhalte helfen nicht nur klassischen Suchmaschinen, sondern auch Systemen, die Informationen automatisiert abrufen und weiterverarbeiten.

Das zeigt auch, warum verständliche, strukturierte und technisch zugängliche Inhalte für SEO und KI-Sichtbarkeit zunehmend wichtig werden. Informationen müssen nicht nur gefunden, sondern von Maschinen möglichst eindeutig verstanden und einem Thema oder Unternehmen zugeordnet werden können.

Welche Rolle dabei die Optimierung für KI-basierte Antwortsysteme spielt, erklären wir auch in unseren Beiträgen zu Answer Engine Optimization (AEO) und Generative Engine Optimization (GEO).