Was ist eigentlich … RAG?
RAG steht für Retrieval-Augmented-Generation, was so viel bedeutet wie „abrufgestützte Texterzeugung“. Es handelt sich um eine Technik, die bei KI-Anfragen zu besseren Ergebnissen führt. Denn ein KI-Modell kennt nur das, was es beim Training gelernt hat. Es kann keine aktuellen Daten abrufen. Manchmal vergisst die KI wichtige Punkte oder sie erfindet Dinge hinzu (halluziniert). Das Prinzip von RAG: Bevor das große Sprachmodell (LLM) eine Anfrage beantwortet, sucht es zuerst in einer Wissensdatenbank nach relevanten Dokumenten, die es zur Beantwortung des Prompts nutzt. Dadurch fallen die Antworten zuverlässiger aus.
Das LLM sucht in einer Wissensdatenbank nach einer Antwort.
Im Detail funktioniert RAG so: Zunächst erfolgt eine Indexierung. Die relevanten Dokumente (beispielsweise PDFs, Worddateien oder Webseiten) werden geladen und in kleine, überschaubare Textstücke – sogenannte Chunks – zerlegt. Dadurch wird das Gedächtnis der KI nicht überfordert und sie kann die Anfrage schnell und effizient bearbeiten. Die Chunks werden in Zahlenreihen umgewandelt (vektorisiert), welche die Bedeutung des Textes darstellen. Ähnliche Texte enthalten ähnliche Zahlen. Diese Zahlenreihen werden in einer Vektordatenbank gespeichert. Durch die Vektorisierung kann die KI nicht nur nach ganzen Wörtern suchen, sondern auch semantische Ähnlichkeiten erkennen.
Im nächsten Schritt (Retrieving) wird die Frage des Benutzers ebenfalls in einen Vektor umgewandelt. Danach vergleicht RAG den Fragevektor mit allen gespeicherten Chunk-Vektoren. Das System wählt die Chunks aus, die inhaltlich am nächsten an der Frage liegen.
Bei der Augmentation werden die ausgewählten Chunks mit der ursprünglichen Nutzeranfrage zu einem Prompt zusammengebaut. Ohne Augmentation würde die KI nur ihr trainiertes Wissen nutzen. Durch die Kombination mit aktuellen Quellen werden die Antworten kontextuell, genau und zitierbar. Im letzten Schritt (Generation) liest das Sprachmodell den Prompt und formuliert die Antwort auf Basis der bereitgestellten Dokumente.
Ein medizinischer KI-Chatbot, der RAG verwendet, ist beispielsweise „Prof. Valmed“. Das System durchsucht eine Datenbank mit 2,5 Millionen Dokumenten – wie Leitlinien, Fachpublikationen oder Handbücher, die von Hand für die KI-Auswertung aufbereitet (kuratiert) und validiert wurden. Prof. Valmed ist das erste RAG, das nach der Medizinprodukteverordnung zertifiziert wurde.
Der Artikel erschien erstmals am 25. Juni 2026 im x.press 26.3.
Hier können Sie sich die gesamte x.press-Ausgabe 26.3 herunterladen.