RAG (Retrieval-Augmented Generation)

Ein reines LLM kennt nur, was im Training enthalten war — eigene Firmendokumente, aktuelle Preislisten oder neue Verträge nicht. RAG löst das: Bei einer Anfrage werden zuerst passende Inhalte aus einer eigenen Datenquelle (PDFs, Wiki, Datenbank) abgerufen und dann gemeinsam mit der Frage an das Modell übergeben.

Technisch braucht es dafür drei Bausteine. Ein Embedding-Modell zerlegt Dokumente in kleinere Abschnitte (Chunks) und übersetzt sie in mathematische Vektoren. Eine Vektor-Datenbank — etwa Qdrant, Weaviate oder pgvector — speichert diese Vektoren und liefert bei einer Frage die semantisch ähnlichsten Abschnitte. Das LLM bekommt die gefundenen Stellen als Kontext mitgeliefert und formuliert die Antwort daraus.

Die Antwort basiert dann auf echten Fakten, nicht auf der „Allgemeinbildung" des Modells. RAG ist heute der Standard für Chatbots mit eigenen Inhalten — und einer der wichtigsten Bausteine für DSGVO-konforme Setups in Österreich und der EU. Sensible Daten bleiben in der eigenen Datenbank, müssen nicht ins Modelltraining wandern und können bei Auslaufen einer Auftragsverarbeitung jederzeit wieder entfernt werden.

In typischen KMU-Projekten ersetzt RAG nicht das Modell, sondern macht es brauchbar: Ohne RAG bleibt ChatGPT ein eloquentes Allgemeinwissen-Tool. Mit RAG wird daraus ein Werkzeug, das die eigenen Verträge, Produkte und Prozesse kennt.