RAG vs. Fine-Tuning für Unternehmen: Wann was, Kosten, Datenschutz, Wartung (Stand 2026)

Stand: Januar 2026. RAG (Retrieval-Augmented Generation) gibt dem KI-Modell Ihr Wissen erst zur Laufzeit aus einer durchsuchbaren Datenbank mit; Fine-Tuning trainiert Wissen oder Verhalten fest in die Modellgewichte ein. Für die meisten Unternehmen ist RAG der schnellere, günstigere und datenschutzrechtlich besser beherrschbare Weg — Fine-Tuning lohnt vor allem bei Stil, Format und Domänensprache. Dieser Leitfaden macht Sie entscheidungsfähig: Wann was, was es kostet, wie aufwändig die Wartung ist — und warum die Methodenwahl auch eine DSGVO-Entscheidung ist, die kaum jemand sauber durchdenkt.

Was ist RAG?

Kurz: RAG hängt dem Sprachmodell zur Laufzeit relevante Ausschnitte aus Ihren eigenen Dokumenten an, bevor es antwortet. Das Modell selbst bleibt unverändert.

Stellen Sie sich eine offene Klausur vor: Das Modell darf während der Antwort in Ihrem Firmen-Wiki, in Verträgen, Handbüchern oder Tickets nachschlagen. Technisch werden Ihre Dokumente in Embeddings (Vektoren) zerlegt und in einer Vektordatenbank abgelegt. Kommt eine Frage, holt das System die passendsten Textstellen heraus und übergibt sie dem Modell als Kontext. Ergebnis: aktuelle Antworten mit Quellennachweis — und ein deutlich geringeres Halluzinations-Risiko, weil das Modell aus belegtem Material zitiert statt frei zu raten.

Was ist Fine-Tuning?

Kurz: Fine-Tuning trainiert das Modell mit Ihren Beispieldaten nach, sodass das neue Wissen oder Verhalten dauerhaft in den Modellgewichten sitzt.

Das ist die geschlossene Klausur: Das Modell hat alles „auswendig gelernt” und antwortet aus dem Gedächtnis, ohne nachzuschlagen. Moderne Verfahren wie LoRA/PEFT trainieren dabei nicht das gesamte Modell neu, sondern nur kleine Zusatzschichten — das senkt Kosten und Rechenbedarf erheblich. Fine-Tuning glänzt, wenn das Modell einen bestimmten Ton, ein festes Antwortformat oder eine Fachsprache zuverlässig treffen soll. Es ist dagegen schwach, wenn sich Inhalte häufig ändern: Jede Wissensaktualisierung bedeutet ein erneutes Training.

Was ist der Unterschied zwischen RAG und Fine-Tuning?

Der Kern in einem Satz: RAG ändert, was das Modell weiß; Fine-Tuning ändert, wie das Modell denkt und spricht. RAG liefert Fakten und Aktualität zur Laufzeit; Fine-Tuning prägt Verhalten, Stil und Format dauerhaft ein. Die folgende Tabelle stellt die entscheidenden Dimensionen gegenüber.

Dimension	RAG	Fine-Tuning
Funktionsweise	Wissen zur Laufzeit aus Datenbank beigemischt	Wissen/Verhalten fest in die Modellgewichte trainiert
Aktualität der Daten	sofort (Dokument tauschen genügt)	nur durch erneutes Training
Setup-Aufwand	mittel (Vektor-DB, Indexierung, Retrieval)	hoch (Datenaufbereitung, Trainings-Pipeline)
Laufende Kosten	mittel (Speicher, Embeddings, Abfragen)	niedriger pro Abfrage, aber Re-Training kostet
Wartung	Dokumente/Index pflegen, kein Retraining	Re-Training-Pipeline + Versionierung + Eval
Latenz	etwas höher (Retrieval-Schritt)	niedriger (kein Nachschlagen)
Halluzinations-Risiko	niedriger (belegtes Material)	höher bei Faktenfragen
Quellennachweis	ja, Fundstelle pro Antwort	nein
Datenkontrolle/Löschbarkeit	hoch — Daten gezielt löschbar	gering — Daten in Gewichten gebunden
Typischer Use-Case	Wissensassistent, Firmen-GPT, Support	Tonalität, Formate, Fachsprache, fixe Aufgabe

Wann RAG, wann Fine-Tuning, wann beides?

Die Faustregel, die in den meisten KMU-Projekten trägt: Inhalte, Fakten und Aktualität → RAG. Stil, Format und Verhalten → Fine-Tuning. Beides schließt sich nicht aus.

RAG wählen, wenn …

• Ihr Wissen volatil ist und sich häufig ändert (Preise, Policies, Produktdaten),
• Sie einen Quellennachweis brauchen (Compliance, Haftung, Nachvollziehbarkeit),
• Sie schnell produktiv gehen wollen,
• Sie viele Dokumente durchsuchbar machen möchten,
• personenbezogene Daten im Spiel sind und gezielt löschbar bleiben müssen.

Fine-Tuning wählen, wenn …

• ein fester Ton, Stil oder ein striktes Antwortformat verlangt ist,
• das Modell eine Domänensprache sicher beherrschen muss,
• niedrige Latenz bei sehr hohem Abfragevolumen zählt,
• die Aufgabe stabil ist und sich das Wissen kaum ändert.

Beides kombinieren (Hybrid / RAFT), wenn …

… Sie sowohl aktuelles Faktenwissen als auch ein präzises Verhalten brauchen. Ansätze wie RAFT (Retrieval-Augmented Fine-Tuning) trainieren ein Modell gezielt darauf, mit abgerufenem Kontext besser umzugehen. Das ist mächtig, aber teurer und wartungsintensiver — meist erst sinnvoll, wenn ein reiner RAG-Ansatz an Qualitätsgrenzen stößt.

Was kostet RAG vs. Fine-Tuning?

Vorweg, weil im Markt gern mit Festpreisen geworben wird: Es gibt keine seriöse Pauschale. Kosten hängen von Datenmenge, Qualitätsanspruch, Modellwahl (Cloud-API vs. Open-Source on-prem) und Integrationstiefe ab. Die folgenden Spannen sind Größenordnungen aus dem Markt — illustrativ, kein Angebot.

Kostenblock	RAG	Fine-Tuning
Setup (Projekt)	Größenordnung ~30.000 €, je nach Umfang höher	meist deutlich höher (Datenaufbereitung + Training)
Laufend	~ einige hundert bis ~2.000 €/Monat (Infrastruktur)	niedriger pro Abfrage, aber Re-Training bei jedem Update
Haupt-Kostentreiber	Vektor-DB, Embeddings, Abfragevolumen	Trainings-Compute (GPU), Datenkuration, Eval

Eine in der Branche kursierende Beispielrechnung nennt für ein mittelständisches Unternehmen mit rund 500 Mitarbeitenden grob ~30.000 € Setup + ~2.000 €/Monat für RAG, während Fine-Tuning-Projekte je nach Tiefe höher liegen und bei jeder Dokumentenänderung erneutes Training erfordern (ai11.io). Verstehen Sie das als Hausnummer, nicht als Preisschild — Ihr realer Aufwand kann darunter oder darüber liegen.

Die ökonomische Pointe: RAG hat oft moderatere Initialkosten, dafür laufende Infrastrukturkosten; Fine-Tuning verlagert Aufwand in eine teure Trainingsphase und in jede spätere Aktualisierung. Bei häufig wechselndem Wissen rächt sich das schnell.

Open Source günstiger? Fine-Tuning auf kleinen Open-Source-Modellen kann die Lizenz-/API-Kosten senken und Daten im eigenen Haus halten — aber Sie tauschen sie gegen GPU-, Betriebs- und MLOps-Aufwand ein. „Günstiger” gilt nur, wenn Sie diese Folgekosten realistisch einrechnen. Die Abwägung im Detail: Open Source vs. proprietäre LLMs.

RAG vs. Fine-Tuning aus Datenschutz-Sicht (DSGVO) — der entscheidende Unterschied

Hier entscheidet sich, was kaum ein Tech-Vergleich sauber durchdenkt: Die Methodenwahl ist eine Datenschutz-Entscheidung. Sobald personenbezogene Daten im Spiel sind, verhalten sich RAG und Fine-Tuning grundlegend anders.

Der praktische Kern der DSGVO-Frage: In der Vektordatenbank ist ein Datensatz eine adressierbare Zeile, die Sie löschen können. In den Gewichten eines fine-getunten Modells ist dieselbe Information ein verteiltes statistisches Muster — ein Löschverlangen kann dort ein komplettes Re-Training erzwingen.

Welcher Ansatz ist DSGVO-konformer?

Kurz: In der Regel ist RAG datenschutzrechtlich besser beherrschbar, weil die Referenzdaten direkt adressierbar und gezielt löschbar in der Vektordatenbank liegen — Fine-Tuning bindet Daten dagegen in die Modellgewichte, wo sie kaum gezielt zu entfernen sind. „Beherrschbarer” heißt aber nicht „automatisch konform”: Auch RAG erzeugt eigenständige Pflichten.

Können personenbezogene Daten aus einem fine-getunten Modell wieder gelöscht werden?

Technisch ist das der wunde Punkt von Fine-Tuning. Personenbezogene Daten liegen in einem Sprachmodell nicht im Klartext, sondern sind als statistische Muster über zahlreiche Gewichte verteilt — was den Zugriff und die gezielte Löschung technisch erschwert. Über sogenannte Memorisation können solche Trainingsdaten später sogar reproduzierbar sein. Der Bundesbeauftragte für den Datenschutz (BfDI) beschreibt als sicherste Lösung den regelmäßigen Austausch des Modells durch ein neu — ohne die zu löschenden Daten — trainiertes Modell (BfDI-Handreichung KI, 22.12.2025). Mit anderen Worten: Ein einzelnes Löschverlangen nach Art. 17 DSGVO kann ein komplettes Re-Training auslösen. Bei RAG genügt es meist, den betroffenen Datensatz aus der Vektor-DB zu entfernen.

Was sagt die Datenschutzkonferenz (DSK) zu RAG?

Die Datenschutzkonferenz der deutschen Aufsichtsbehörden hat am 17. Oktober 2025 eine 18-seitige Orientierungshilfe zu KI-Systemen mit RAG veröffentlicht (DSK-Pressemitteilung, datenschutz.sachsen.de). Drei Punkte daraus sind für die Methodenwahl zentral:

• Betroffenenrechte in allen Komponenten. Auskunft, Berichtigung und Löschung sind „stets in allen Komponenten des RAG-Systems umzusetzen” — also im Retriever und in der LLM-Komponente. Dynamisch generierte Inhalte können die Umsetzung erschweren (SKW Schwarz, KI-Flash zur DSK-OH).
• RAG heilt kein rechtswidriges Modell. Die DSK stellt klar: Ein rechtswidrig trainiertes Basismodell bleibt rechtswidrig, auch wenn es in einem RAG-System eingesetzt wird. RAG ist kein Compliance-Pflaster über ein problematisches Grundmodell. Dazu passt, dass seit dem 2. August 2025 die Pflichten für Anbieter von KI-Modellen mit allgemeinem Verwendungszweck (GPAI) nach dem EU-KI-Gesetz gelten — inklusive technischer Dokumentation und einer Zusammenfassung der Trainingsdaten (EU AI Act, Implementierungs-Zeitplan). Die rechtliche Tragfähigkeit des Grundmodells wird damit zunehmend prüfbar.
• Zweckbindung und Transparenz. Die modulare Architektur erschwert die klare Zuordnung von Zwecken und die Information der Betroffenen, weil Herkunft der Embeddings und Entstehung des Outputs oft nicht nachvollziehbar sind. Die DSK empfiehlt eine klare Zweckdefinition und Zwecktrennung der eingebundenen Quellen.

Braucht ein RAG-System eine DSFA und eine Rechtsgrundlage?

Jede Verarbeitung personenbezogener Daten braucht eine Rechtsgrundlage nach Art. 6 DSGVO — das gilt auch für die einzelnen Schritte eines RAG-Systems (Datenaufbereitung, Bereitstellung der Referenzdokumente, Output-Erzeugung). Die DSK empfiehlt zudem die Durchführung einer Datenschutz-Folgenabschätzung nach Art. 35 DSGVO „unter Berücksichtigung aller Komponenten des RAG-Systems” (SKW Schwarz). Ob eine DSFA Pflicht ist, hängt vom Einzelfall ab — bei umfangreichen oder sensiblen Datenbeständen ist sie regelmäßig angezeigt. Wie eine DSFA für KI-Systeme konkret aufgebaut wird, vertiefe ich im Beitrag DSFA für KI-Systeme.

Hinweis: Dies ist eine allgemeine rechtliche Einordnung nach dem Stand Januar 2026, keine Rechts- oder Mandatsberatung im Einzelfall. Die Rechtslage ist in Bewegung; prüfen Sie Ihren konkreten Use-Case individuell.

Wartung & Betrieb im Vergleich

Kurz: RAG-Wartung heißt Dokumente und Index pflegen; Fine-Tuning-Wartung heißt Modelle neu trainieren. Das ist der größte versteckte Kostenunterschied über die Zeit.

Bei RAG halten Sie die Wissensbasis aktuell: neue Dokumente indexieren, geänderte neu einbetten (Re-Embedding), gelöschte entfernen und die Retrieval-Qualität überwachen. Das ist eine niedrige bis mittlere Dauerlast — und vor allem kein Modell-Retraining. Ein neues Handbuch ist binnen Minuten verfügbar.

Bei Fine-Tuning bedeutet jede relevante Wissensänderung eine Re-Training-Pipeline: Daten kuratieren, trainieren, evaluieren, versionieren, ausrollen. Das ist aufwändiger und ungeeignet für volatile Inhalte. Fine-Tuning lohnt seine Wartungskosten nur, wenn das antrainierte Verhalten stabil bleibt.

Wie viele Daten braucht Fine-Tuning?

Es gibt keine feste Schwelle, aber Fine-Tuning lebt von Qualität vor Quantität: einige hundert bis einige tausend sorgfältig kuratierte Beispielpaare bringen für eine klar umrissene Aufgabe (z. B. ein festes Antwortformat) oft mehr als riesige, unsaubere Datenmengen. Reicht Ihr Anwendungsfall auf reines Faktenwissen hinaus, ist RAG fast immer der direktere Weg — dort brauchen Sie keine Trainingsdaten, sondern nur Ihre Dokumente.

Fazit & Empfehlung

Für die meisten Unternehmens-Wissensanwendungen — Firmen-GPT, Wissensassistent, Support — ist RAG die richtige Standardwahl: schneller live, kostenseitig planbarer, mit Quellennachweis und — entscheidend — mit gezielt löschbaren Daten. Fine-Tuning ergänzen Sie dort, wo Stil, Format oder Domänensprache zählen. Greifen Sie zum Hybrid, wenn beides nachweislich nötig ist — nicht aus Prinzip.

Und der Punkt, den fast alle übersehen: Die Methodenwahl ist auch eine Datenschutz-Weichenstellung. Wer personenbezogene Daten in Modellgewichte trainiert, riskiert, dass ein einziges Löschverlangen ein Re-Training erzwingt. Diese Entscheidung trifft man am besten, bevor das Projekt steht.

Unsicher, welcher Ansatz für Ihren Use-Case rechtssicher und wirtschaftlich passt? Lassen Sie uns in einem Erstgespräch sortieren — von einem Wirtschaftsjuristen, der die Lösung anschließend auch selbst baut. Mehr dazu unter KI-Beratung.

FAQ

Was ist der Unterschied zwischen RAG und Fine-Tuning? RAG gibt dem Modell Ihr Wissen zur Laufzeit aus einer Datenbank mit und lässt das Modell unverändert. Fine-Tuning trainiert Wissen oder Verhalten fest in die Modellgewichte ein. RAG ändert, was das Modell weiß; Fine-Tuning ändert, wie es antwortet.

Was ist günstiger — RAG oder Fine-Tuning? Meist hat RAG die moderateren Initialkosten und dafür laufende Infrastrukturkosten, während Fine-Tuning Aufwand in eine teure Trainingsphase und in jede spätere Aktualisierung verlagert. Genaue Zahlen hängen vom Einzelfall ab; kursierende Marktbeispiele sind nur Größenordnungen.

Kann man personenbezogene Daten aus einem fine-getunten Modell wieder löschen? Nur schwer. Die Daten sind als statistische Muster über viele Gewichte verteilt und über Memorisation teils reproduzierbar. Der BfDI nennt als sicherste Lösung ein Neu-Training ohne die betroffenen Daten — faktisch kann ein Löschverlangen also ein Re-Training auslösen.

Welcher Ansatz ist DSGVO-konformer? Tendenziell RAG, weil Referenzdaten in der Vektordatenbank gezielt löschbar sind. „Beherrschbarer” heißt aber nicht automatisch konform: Auch RAG braucht Rechtsgrundlage, Zweckbindung und ggf. eine DSFA — und ein rechtswidrig trainiertes Basismodell bleibt laut DSK auch mit RAG rechtswidrig.

Kann man RAG und Fine-Tuning kombinieren? Ja. Hybrid-Ansätze wie RAFT trainieren ein Modell darauf, mit abgerufenem Kontext besser umzugehen. Das verbindet aktuelles Faktenwissen mit präzisem Verhalten, ist aber teurer und wartungsintensiver — sinnvoll meist erst, wenn reines RAG an Qualitätsgrenzen stößt.

Quellen — Stand 24.01.2026

• DSK — Orientierungshilfe zu KI-Systemen mit RAG (17.10.2025): DSK-Pressemitteilung (Sachsen)
• Einordnung der DSK-OH RAG: SKW Schwarz — KI-Flash
• BfDI — Handreichung KI (22.12.2025, PDF): bfdi.bund.de
• EU-KI-Gesetz — GPAI-Pflichten seit 02.08.2025, Implementierungs-Zeitplan: artificialintelligenceact.eu
• Art. 17 DSGVO (Recht auf Löschung): datenschutz-grundverordnung.eu
• Marktvergleich/Kosten-Größenordnung: ai11.io, zweitag.de