KI mit eigenen Unternehmensdaten: wie RAG funktioniert

Wer KI mit eigenen Unternehmensdaten nutzen will, braucht dafür fast nie ein eigenes Modell. Das übliche Verfahren heißt RAG (Retrieval-Augmented Generation): Das System sucht zu jeder Frage die passenden Stellen in Ihren Dokumenten und gibt sie dem Sprachmodell mit. Das Modell antwortet auf dieser Grundlage und nennt die Quelle. Lohnend ist das, wenn viele Leute immer wieder Antworten in umfangreichen, gepflegten Unterlagen suchen.

RAG ist eine von mehreren Bauformen unserer KI-Automatisierung für Betriebe in Berlin. Hier geht es darum, wie das Verfahren funktioniert und an welchen Stellen es scheitert.

Was ist RAG?

RAG steht für Retrieval-Augmented Generation, frei übersetzt: Textgenerierung, die vorher nachschlägt. Das Sprachmodell bekommt vor jeder Antwort passende Ausschnitte aus Ihren Dokumenten mitgeliefert und formuliert die Antwort daraus, zusätzlich zu dem, was es im Training gelernt hat. Der Begriff stammt aus einem Forschungspapier von Lewis und anderen aus dem Jahr 2020.

Das BSI beschreibt RAG in seiner Veröffentlichung Generative KI-Modelle: Chancen und Risiken für Industrie und Behörden als Verfahren, mit dem ein Modell auf Dokumente in einer Wissensdatenbank zugreift, „ohne dass diese Inhalte zuvor als Trainingsmaterial verwendet wurden“. Ihre Unterlagen werden also nicht Teil des Modells. Sie bleiben Dokumente, die bei Bedarf gelesen werden, und lassen sich jederzeit ändern oder löschen.

So läuft eine Frage durch ein RAG-System

Nehmen wir eine Frage aus dem Vertrieb: „Welche Gewährleistung gilt für Baureihe B bei gewerblichen Kunden?“ Die Antwort steht irgendwo in einem Vertragsmuster, einer Rundmail der Geschäftsführung und einem Produkthandbuch. So kommt das System dorthin:

1. Einlesen. Vorab zerlegt das System Ihre Dokumente in Abschnitte von etwa einer halben Seite. Jeder Abschnitt wird in eine Zahlenreihe umgerechnet, die seine Bedeutung beschreibt, und landet in einem Suchindex.
2. Suchen. Die Frage wird genauso umgerechnet. Das System holt die Abschnitte, deren Bedeutung am nächsten liegt. Gute Systeme suchen zusätzlich nach Stichworten, weil eine Artikelnummer oder „§ 438 BGB“ über die Bedeutung schlecht zu finden ist.
3. Zusammenstellen. Frage, gefundene Abschnitte und eine Anweisung gehen an das Sprachmodell. Die Anweisung lautet sinngemäß: Antworte nur aus diesen Quellen, und wenn sie die Antwort nicht enthalten, sag das.
4. Antworten. Das Modell formuliert die Antwort und verweist auf die Abschnitte, aus denen sie stammt.
5. Nachprüfen. Wer die Antwort liest, öffnet mit einem Klick die Quelle.

Ob ein solches System gut ist, entscheidet sich fast immer in den Schritten 1 und 2. Findet die Suche den richtigen Abschnitt nicht, kann auch das beste Modell nicht richtig antworten. Wer ein RAG-Projekt bewertet, sollte deshalb zuerst die Trefferliste ansehen und erst danach die schön formulierte Antwort.

RAG, Feintuning oder einfach eine bessere Suche?

Ein verbreiteter Gedanke lautet: „Wir müssten die KI mit unseren Daten trainieren.“ Meist ist das nicht nötig. Training, genauer Feintuning, bringt einem Modell vor allem bei, wie es schreiben soll. Was in Ihrer aktuellen Preisliste steht, lernt es dadurch nicht verlässlich, und jede Änderung bräuchte ein neues Training.

Die letzte Zeile wird oft vergessen. „Wie viele Stück von Artikel 4711 haben wir am Lager?“ ist keine Aufgabe für RAG. Die Antwort steht exakt in der Warenwirtschaft, und eine Abfrage liefert sie ohne Interpretationsspielraum. Ein Sprachmodell kann die Frage höchstens verstehen und an die richtige Abfrage weiterreichen. Regel vor Modell ist bei uns der Grundsatz für jeden Ablauf. Wann ein Modell solche Abfragen selbst auswählen und aufrufen sollte und wann ein fester Ablauf besser ist, beschreibt der Ratgeber KI-Agent oder feste Regel.

Wo Ihre Daten bei RAG liegen

Ein RAG-System hält Ihre Daten an drei Stellen, und jede braucht eine eigene Antwort auf die Frage nach Datenort und Vertrag.

Die Quelldokumente bleiben, wo sie heute sind: auf dem Fileserver, in SharePoint, im Dokumentenmanagement, im Wiki. Daran ändert sich nichts.

Der Suchindex enthält Kopien der Textabschnitte. Das wird gern übersehen. Der Index gehört deshalb ins Löschkonzept: Wird ein Dokument gelöscht oder eine Person nach Art. 17 DSGVO aus Ihren Unterlagen entfernt, muss der Index das nachvollziehen. Der Index kann auf Ihrem Server laufen oder bei einem Cloud-Anbieter.

Das Sprachmodell bekommt bei jeder Frage die gefundenen Abschnitte zu lesen. Läuft es bei einem externen Anbieter, verlassen diese Abschnitte Ihr Haus. Oft gilt das auch für das Modell, das die Zahlenreihen für den Index berechnet. Für beide Dienste klären Sie, wo sie die Daten verarbeiten, ob ein Vertrag zur Auftragsverarbeitung nach Art. 28 DSGVO vorliegt und ob der Anbieter Ihre Eingaben zum Training nutzt. Die Alternative ist ein offenes Modell auf einem eigenen Server. Das hält die Daten im Haus, braucht aber passende Hardware, und die Antwortqualität fällt je nach Aufgabe unterschiedlich aus.

Dieselben Fragen stellen sich bei jedem KI-Schritt in einer Automatisierung. Mehr dazu im Ratgeber n8n DSGVO-konform betreiben: selbst hosten oder Cloud? im Abschnitt über Sprachmodelle im Workflow.

Zugriffsrechte: die Frage, die oft zu spät kommt

Irgendwo auf jedem Fileserver liegt eine Datei, die dort nicht liegen sollte. Eine Gehaltsliste im Ordner „Allgemein“, ein Personalgespräch im Projektordner. Bisher fiel das kaum auf, weil niemand danach gesucht hat. Ein RAG-System sucht danach, sobald eine Frage auch nur entfernt passt, und zitiert daraus.

Ein RAG-System muss deshalb für jede Frage prüfen, welche Dokumente die fragende Person überhaupt sehen darf. Microsoft schreibt zu Copilot, dass es nur Daten anzeigt, für die die jeweilige Person mindestens Leserechte hat, und rät ausdrücklich, die Berechtigungen in SharePoint sauber zu pflegen (Microsoft Learn, Datenschutz bei Microsoft 365 Copilot). Für eigene Lösungen gilt dasselbe, nur müssen Sie die Rechteprüfung selbst einbauen.

Der pragmatische Weg: Fangen Sie mit einer Sammlung an, die alle Beteiligten ohnehin vollständig lesen dürfen, etwa Produkthandbücher, technische Datenblätter oder die internen Arbeitsanweisungen. Personalunterlagen und Verträge kommen später oder gar nicht.

Das prüfen Sie selbst

• Liegen in Ordnern, die alle lesen dürfen, Dateien, die dort nicht hingehören? Eine Stichwortsuche nach „Gehalt“ oder „Kündigung“ zeigt es oft schnell.
• Gibt es von wichtigen Arbeitsanweisungen mehrere Fassungen nebeneinander?
• Wer ist für welche Sammlung verantwortlich und hält sie aktuell?
• Erlauben die Vertragsbedingungen Ihres Modellanbieters, Ihre Eingaben zum Training zu nutzen?

Wo RAG an Grenzen stößt

Das BSI führt RAG als Mittel gegen erfundene Antworten. Auf null fallen sie damit nicht. Das Modell kann eine richtige Quelle falsch zusammenfassen oder zwei Abschnitte vermengen, die nicht zusammengehören. Deshalb zeigt jede Antwort ihre Quelle, und was nach außen geht, an Kunden oder Behörden, prüft vorher ein Mensch.

Auch alte Dokumente machen Ärger. Liegen drei Fassungen derselben Arbeitsanweisung im Index, findet die Suche irgendeine davon. Das Aufräumen der Unterlagen ist deshalb in vielen Projekten der größte Arbeitsblock, und es hilft auch ohne KI.

Tabellen sind ein eigenes Thema. Ein RAG-System findet die Zeile in einer Preisliste, aber es summiert keine 200 Positionen zuverlässig auf. Auswertungen gehören in eine Datenbank oder eine Tabellenkalkulation.

Dann gibt es noch manipulierte Inhalte. Das BSI nennt in derselben Veröffentlichung ausdrücklich die „Vergiftung von hinterlegten Wissensdaten“: Wer Inhalte in die Wissensbasis einschleusen kann, beeinflusst die Antworten. Für Sie heißt das, nur Quellen einzulesen, die Ihr Betrieb selbst kontrolliert. Eingehende E-Mails oder fremde Webseiten gehören nicht ungeprüft in denselben Index wie Ihre Arbeitsanweisungen.

Wann sich RAG lohnt und wann nicht

RAG lohnt sich eher, wenn

• viele Mitarbeitende immer wieder ähnliche Fragen zu umfangreichen Unterlagen stellen, zum Beispiel zu Handbüchern, Normen, Richtlinien oder Vertragsmustern,
• die Unterlagen gepflegt werden und jemand für sie verantwortlich ist,
• Antworten belegbar sein müssen und eine Quellenangabe Zeit spart,
• neue Kolleginnen und Kollegen lange brauchen, bis sie wissen, wo was steht.

Eher nicht lohnt es sich, wenn es um ein paar Dutzend Dokumente geht (eine klare Ordnerstruktur und eine gute Suche reichen), wenn die Antwort ohnehin in einer Datenbank steht oder wenn niemand die Unterlagen aktuell hält. Ein RAG-System auf veralteten Dokumenten liefert veraltete Antworten, nur schneller und überzeugender formuliert.

So fangen Sie klein an

1. Fragen sammeln. Schreiben Sie 20 bis 30 echte Fragen aus dem Alltag auf, jeweils mit der richtigen Antwort und dem Dokument, in dem sie steht. Das ist Ihr Prüfstein.
2. Eine Sammlung abgrenzen. Ein Bereich, eine Dokumentenart, klare Zugriffsrechte.
3. Datenort festlegen. Wo laufen Index und Modell, welche Verträge braucht es?
4. Messen. Findet der Prototyp für Ihre Prüffragen die richtige Quelle? Erst wenn die Trefferliste stimmt, lohnt der Blick auf die Formulierung der Antworten.
5. Intern starten. Erst nutzen die eigenen Leute das System, mit Rückmeldeknopf bei falschen Antworten. Nach außen geht es frühestens danach.

Wie ein Sprachmodell in einen größeren Ablauf eingebunden wird, zeigt der Ratgeber Eingangsrechnungen automatisch verarbeiten. Welches Automatisierungswerkzeug dafür passt, vergleicht der Ratgeber n8n vs. Make vs. Zapier.

So betreiben wir es

In Ihren Projekten laufen Suchindex und Abläufe standardmäßig auf Servern in der EU, auf Wunsch bei Ihnen im Haus. Welche Dienste beteiligt sind, auch beim Sprachmodell und beim Berechnen der Zahlenreihen für den Index, steht vor dem Start in der Liste der Unterauftragnehmer zum Vertrag zur Auftragsverarbeitung. Was exakt in einer Datenbank steht, holt eine Abfrage, nicht das Modell. Jede Antwort zeigt ihre Quelle, und was nach außen geht, gibt ein Mensch frei.

Ob sich RAG für Ihre Unterlagen lohnt, lässt sich meist in einem kurzen Gespräch eingrenzen: welche Dokumente, wer fragt, wo die Daten liegen dürfen und ob nicht eine Abfrage in Ihrer bestehenden Software die einfachere Antwort ist. Dafür reichen 15 Minuten mit uns, Sie sprechen direkt mit den Entwicklern. Wie wir solche Systeme an Ihre Software anbinden, steht unter Softwareentwicklung und Integrationen.