Sprachmodelle beantworten allgemeine Fragen erstaunlich gut – über das eigene Unternehmen wissen sie aber nichts. Genau diese Lücke schließt Retrieval-Augmented Generation, kurz RAG: Die KI greift bei jeder Anfrage auf die hauseigenen Dokumente zu und antwortet auf deren Grundlage. So entsteht ein Wissenssystem, das Verträge, Handbücher und Protokolle durchsuchbar macht.
Das Prinzip in drei Schritten
RAG kombiniert eine Suche über die eigenen Daten mit der Sprachfähigkeit eines Modells. Vereinfacht läuft jede Anfrage so ab:
- Suchen: Aus der Frage werden die thematisch passenden Textabschnitte aus den Unternehmensdokumenten herausgesucht.
- Anreichern: Diese Abschnitte werden dem Sprachmodell zusammen mit der Frage übergeben.
- Antworten: Das Modell formuliert eine Antwort, die sich ausschließlich auf die mitgelieferten Inhalte stützt.
Das Modell muss das Wissen also nicht „auswendig" können – es bekommt die relevanten Stellen bei jeder Frage frisch geliefert.
Vektordatenbanken: das Gedächtnis dahinter
Damit die passenden Abschnitte gefunden werden, werden alle Dokumente vorab in kleine Stücke zerlegt und in eine Vektordatenbank überführt. Dort wird Text nicht nach Stichworten, sondern nach Bedeutung abgelegt. Eine Frage nach „Kündigungsfrist" findet so auch Abschnitte, in denen von „Vertragsende" oder „Beendigung des Verhältnisses" die Rede ist.
Dieses bedeutungsbasierte Suchen ist der Grund, warum RAG deutlich bessere Treffer liefert als eine klassische Volltextsuche.
DSGVO-konform und on-premise
Der entscheidende Vorteil für den Mittelstand: RAG lässt sich vollständig im eigenen Haus betreiben. Sowohl das Sprachmodell als auch die Vektordatenbank laufen on-premise, etwa auf einem Proxmox-Server mit lokaler KI. Damit verlassen weder die Dokumente noch die Fragen das Unternehmen.
Das ist nicht nur ein Sicherheitsargument, sondern oft eine rechtliche Notwendigkeit:
- Personenbezogene Daten in Verträgen oder Personalakten bleiben im eigenen Verantwortungsbereich.
- Vertrauliches Know-how wird nicht an einen externen Anbieter übertragen.
- Berechtigungen können so gesetzt werden, dass jede Person nur die Dokumente abfragt, die sie auch einsehen darf.
Worauf es bei der Umsetzung ankommt
Der häufigste Fehler ist die Annahme, RAG sei mit dem Hochladen der Dokumente erledigt. Entscheidend für die Qualität sind:
- Saubere Datenaufbereitung: gut strukturierte Quellen führen zu besseren Treffern.
- Sinnvolle Zerlegung der Texte, damit zusammengehörige Inhalte nicht auseinandergerissen werden.
- Quellenangaben in den Antworten, damit Nutzer die Aussage am Originaldokument prüfen können.
- Realistische Erwartungen: RAG ersetzt kein Fachwissen, sondern macht vorhandenes Wissen schneller auffindbar.
Richtig umgesetzt verwandelt RAG verstreute Dateiablagen in eine Wissensquelle, die Fragen in Sekunden beantwortet – ohne dass ein einziges Dokument das Unternehmen verlässt.