KI-Halluzinationen absichern: Kontrollschicht designen

Eine menschliche Kontrollschicht ist der bewusst gebaute Prozess, der zwischen die Ausgabe eines KI-Systems und ihre rechtlich wirksame Verwendung tritt: technische Guardrails plus eine echte menschliche Entscheidung, die das Ergebnis tatsächlich beeinflussen kann. Sie ist die einzig belastbare Antwort auf eine unbequeme Wahrheit — Halluzinationen sind kein reines Tech-Problem, sondern ein Haftungsproblem.

Wer KI im Unternehmen einsetzt, kennt das Versprechen der Anbieter: „RAG reduziert Halluzinationen.” Stimmt — teilweise. Was die Anbieter selten dazusagen: Wenn die KI doch halluziniert und daraus ein Schaden entsteht, haften nicht sie, sondern Sie. Dieser Artikel zeigt, wie man die Lücke schließt — mit einer Kontrollschicht, die technische Absicherung und juristische Pflicht aus einer Hand verzahnt.

Hinweis: Dieser Beitrag gibt allgemeine Orientierung und ist keine Rechtsberatung im Einzelfall. Die konkrete Einordnung hängt von Ihrem System und Einsatzkontext ab.

Warum Halluzinationen bei rechtlich relevanten Ausgaben ein Haftungsproblem sind

Eine KI-Halluzination ist eine Ausgabe, die plausibel klingt, aber faktisch falsch oder frei erfunden ist. Bei rechtlich relevanten Ausgaben — Schriftsätzen, Vertragsklauseln, Bonitätsentscheidungen, Kundenauskünften — wird aus einem Fehler eine bindende Erklärung mit Rechtsfolge. Genau dort ist das Restrisiko am teuersten.

Was eine Halluzination ist (kurz)

Man unterscheidet grob zwischen intrinsischen Halluzinationen (das Modell widerspricht der ihm gegebenen Quelle) und extrinsischen (das Modell erfindet etwas, das in keiner Quelle steht und nicht überprüfbar ist). In beiden Fällen fehlt dem Sprachmodell ein echtes Wahrheitskonzept: Es optimiert auf das wahrscheinlichste nächste Wort, nicht auf Korrektheit.

Der Härtetest: dokumentierte Fälle

Das ist keine Theorie. Eine vielzitierte Studie der Stanford-Forschungsgruppen RegLab und HAI fand bei konkreten, überprüfbaren Rechtsfragen an allgemeine Sprachmodelle Halluzinationsraten zwischen 69 % (ChatGPT 3.5) und 88 % (Llama 2) — die Modelle erfanden Urteile und verstärkten falsche Rechtsannahmen sogar (Stanford Law, 2024).

Balkendiagramm: Halluzinationsraten von 69 bis 88 Prozent bei Rechtsfragen an allgemeine Sprachmodelle (Stanford 2024)

Selbst spezialisierte Recherche-Tools lagen in der Stanford-Untersuchung nicht fehlerfrei — bei allgemeinen Modellen war im Schnitt mehr als jede zweite konkrete Rechtsauskunft falsch. Quelle: Stanford RegLab/HAI, 2024.

Drei Fälle zeigen die Rechtsfolge:

AG Köln, Familiensache Az. 312 F 130/25 (Feststellung vom 2. Juli 2025): In einem anwaltlichen Schriftsatz waren sämtliche ab Seite acht angeführten Quellen erfunden — nicht existierende Urteile, falsch zugeordnete Kommentarstellen, fiktive Aufsätze. Das Gericht wertete dies als Verstoß gegen die anwaltliche Wahrheitspflicht (§ 43a Abs. 3 BRAO) und stellte klar: Juristische Verantwortung ist nicht delegierbar; KI-Ausgaben sind wie eigene Aussagen zu behandeln (LTO/beck-aktuell, 2025).
USA, Mata v. Avianca (2023): Ein Anwalt argumentierte mit von ChatGPT erfundenen Präzedenzfällen und wurde vom Gericht sanktioniert (heise, 2023).
Moffatt v. Air Canada, 2024 BCCRT 149: Ein kanadisches Tribunal entschied, dass das Unternehmen für die Falschauskunft seines Chatbots haftet — der Bot ist kein eigenes Rechtssubjekt, die Auskunft band das Unternehmen (American Bar Association, 2024).

Wer haftet, wenn eine KI halluziniert?

Es haftet in aller Regel das einsetzende Unternehmen, nicht der KI-Anbieter. Wer ein KI-Ergebnis nach außen verwendet, macht es zu seiner eigenen Erklärung. Ansatzpunkte sind die vertragliche Pflichtverletzung (§ 280 BGB) und die deliktische Haftung (§ 823 BGB); der Anbieter haftet nur in Ausnahmen. Die Verantwortung lässt sich technisch verlagern, aber nicht juristisch wegdelegieren.

Wie sich das speziell bei selbst erzeugtem Code auswirkt, vertieft unser Beitrag zur Haftung für KI-generierten Code.

Drei Modelle menschlicher Aufsicht: HITL, HOTL und Human-in-Command

Bevor man eine Kontrollschicht baut, muss man wissen, welche Form von Aufsicht man überhaupt braucht. Es gibt drei Grundmodelle — sie unterscheiden sich darin, wann der Mensch eingreift und wie viel er noch verändern kann.

Die drei Modelle menschlicher Aufsicht im Überblick — Human-in-the-Loop (Mensch gibt vor der Aktion frei), Human-on-the-Loop (Mensch überwacht eine autonome Aktion) und Human-in-Command (strategische Letztverantwortung):

Modell	Freigabelogik	Passendes Risikoniveau	Beispiel
Human-in-the-Loop (HITL)	Erst Mensch, dann Aktion — die KI schlägt vor, der Mensch gibt frei	Hohe, irreversible oder rechtlich sensible Ausgaben	Vertragsklausel, Schriftsatz, Bonitätsentscheidung
Human-on-the-Loop (HOTL)	Aktion läuft autonom, Mensch überwacht und kann eingreifen/eskalieren	Mittlere Risiken, hohes Volumen	Kategorisierung von Support-Tickets, Vorab-Triage
Human-in-Command	Strategische Letztverantwortung über das Gesamtsystem	Governance-Ebene, alle Systeme	Festlegen, welche Aufgaben die KI überhaupt übernehmen darf

Der entscheidende Punkt — und genau hier scheitern viele Implementierungen: Echte Kontrolle ist nicht dasselbe wie theatralische Kontrolle. Ein Mensch, der hundert KI-Vorschläge pro Stunde routinemäßig „durchwinkt”, ohne sie prüfen zu können, ist keine Aufsicht, sondern ein Gummistempel. Aufsicht muss das Ergebnis tatsächlich beeinflussen können — sonst ist sie wertlos, technisch wie juristisch.

Was die Regulierung verlangt: Art. 14 KI-VO und Art. 22 DSGVO

Die Kontrollschicht ist nicht nur gute Praxis — bei bestimmten Systemen ist sie Pflicht. Zwei Normen greifen ineinander.

Art. 14 EU AI Act — menschliche Aufsicht bei Hochrisiko

Für Hochrisiko-KI-Systeme verlangt Art. 14 der KI-VO eine wirksame menschliche Aufsicht. Die aufsichtführende Person muss das System hinreichend verstehen und überwachen, die typische Gefahr des Automation Bias kennen (übermäßiges Vertrauen in die Ausgabe), den Output korrekt interpretieren und ihn jederzeit verwerfen oder das System stoppen können. Bei bestimmten biometrischen Hochrisiko-Systemen ist ein Vier-Augen-Prinzip (zwei Personen) vorgesehen.

Stand Mai 2026 — wichtig: Am 7. Mai 2026 haben Rat, Parlament und Kommission eine vorläufige Einigung zum „Digital Omnibus on AI” erzielt. Danach werden die Pflichten für Annex-III-Hochrisiko-Systeme von August 2026 auf den 2. Dezember 2027 verschoben. Die förmliche Annahme und Veröffentlichung im Amtsblatt standen zum Redaktionsschluss noch aus (Gibson Dunn / Covington Inside Privacy, Mai 2026). Die inhaltliche Anforderung an menschliche Aufsicht bleibt — nur die Frist verschiebt sich. Prüfen Sie den aktuellen Stand für Ihr System gesondert; dieser Schwebezustand ist keine vollendete Tatsache.

Mehr zu Risikoklassen und Fristen im Überblick: EU AI Act für Unternehmen.

Art. 22 DSGVO — und warum bloßes „Abnicken” nicht reicht

Art. 22 DSGVO verbietet rein automatisierte Einzelentscheidungen mit rechtlicher oder ähnlich erheblicher Wirkung und gibt Betroffenen ein Recht auf menschliches Eingreifen. Der juristische Kern, den viele Tech-Anbieter übersehen, stammt aus dem SCHUFA-Urteil des EuGH (07.12.2023, Az. C-634/21): Schon das Scoring selbst kann eine automatisierte Einzelentscheidung sein, wenn ein Dritter ihm „maßgeblich” folgt.

Daraus folgt die entscheidende Konsequenz: Ein Mensch, der eine KI-Empfehlung nur formal abnickt — ohne eigene Entscheidungsbefugnis und ohne sie real prüfen zu können — hebt den Automatik-Charakter nicht auf. Eine solche Scheinkontrolle bleibt im Zweifel „ausschließlich automatisiert” im Sinne von Art. 22 (vgl. EY/CMS zur Reichweite des Urteils). Genau das ist der Unterschied zwischen einer Kontrollschicht und einem Gummistempel.

Das Zusammenspiel

Eine gut gebaute Kontrollschicht muss beide Normen gleichzeitig erfüllen: die Aufsichts-Anforderungen aus Art. 14 KI-VO und die Anforderung an echtes menschliches Eingreifen aus Art. 22 DSGVO. Wer nur die Technik („wir haben RAG”) oder nur das Recht („ein Mensch schaut drauf”) adressiert, schließt die Lücke nicht. Das Verzahnen beider Welten ist der eigentliche Designauftrag.

Konkret heißt „echtes Eingreifen” — als Pflichtenheft, an dem sich eine Aufsicht messen lassen muss: Der Prüfer hat (1) die fachliche Kompetenz, den Output zu beurteilen, (2) die Zeit und die Informationen, ihn tatsächlich zu prüfen (Quellen, Unsicherheit sichtbar), (3) die organisatorische Befugnis, abweichend zu entscheiden, und (4) keinen Anreiz, reflexhaft durchzuwinken. Fehlt auch nur einer dieser vier Punkte, ist die Kontrolle im Zweifel eine Scheinkontrolle — technisch vorhanden, juristisch wertlos.

Eine Kontrollschicht designen: der konkrete Bauplan

Jetzt zum Bauplan. Vier Schritte — von der Risiko-Triage bis zum prüffesten Audit-Trail.

Schritt 1 — Risiko-Triage: Was braucht welche Aufsicht?

Nicht jede Ausgabe braucht eine menschliche Freigabe. Der Schlüssel ist eine ehrliche Triage entlang von Reversibilität und Rechtsfolge: Je irreversibler und rechtlich folgenreicher eine Ausgabe, desto strenger das Aufsichtsmodell.

Die folgende Triage ordnet typische Ausgabe-Typen ihrem Aufsichtsmodell zu — von voll automatisiert bei reversiblen Entwürfen bis HITL mit Vier-Augen-Prinzip bei rechtlich hochsensiblen Ausgaben:

Ausgabe-Typ	Reversibilität	Rechtsfolge	Aufsichtsmodell
Interner Brainstorming-Entwurf	Hoch	Keine	Voll automatisiert
Support-Ticket-Vorsortierung	Hoch	Gering	HOTL
Kundenauskunft mit Bindungswirkung	Niedrig	Hoch	HITL
Vertragsklausel, Schriftsatz, Bonitätsentscheidung	Niedrig	Sehr hoch	HITL + ggf. Vier-Augen

Die Faustregel: Irreversibel, rechtlich sensibel oder reputations-/sicherheitskritisch → niemals rein autonom.

Schritt 2 — Grounding & Guardrails (die technische Basis)

Technik reduziert das Volumen, das überhaupt an den Menschen muss. Drei Bausteine:

Grounding / RAG (Retrieval-Augmented Generation): Das Modell antwortet nur auf Basis abgerufener, belastbarer Quellen — und nennt sie. Das senkt Halluzinationen messbar, aber nicht auf null: Studien zeigen je nach Implementierung und Domäne Reduktionen von rund 18 % bis über 40 % (Übersichtsarbeiten 2025, MDPI/PMC). Wer mehr verspricht, übertreibt.
Input-/Output-Guardrails: Regeln und Prüfmodelle, die unzulässige Eingaben blocken und Ausgaben gegen Format-, Fakten- und Richtlinien-Checks laufen lassen, bevor sie weitergehen.
Confidence-Gating: Liegt ein Vertrauenswert oder eine Quellendeckung unter einer definierten Schwelle, wird die Ausgabe automatisch an einen Menschen eskaliert statt ausgeliefert.

Wie Grounding in der Praxis aufgesetzt wird, behandelt unser Beitrag zu RAG und Wissensmanagement.

Schritt 3 — die Freigabe-UX gegen Automation Bias

Hier entscheidet sich, ob die Kontrolle echt oder theatralisch ist. Die Oberfläche muss den Menschen zum Denken zwingen, nicht zum Wegklicken:

Unsicherheit sichtbar machen: Confidence-Werte und niedrige Quellendeckung explizit anzeigen.
Quellen direkt einblenden, damit der Prüfer gegenlesen kann, statt zu vertrauen.
Kein Default-Akzeptieren: keine vorausgewählte „Freigeben”-Schaltfläche; ein bewusster „Ablehnen/Ändern”-Pfad gehört gleichberechtigt dazu.
Reibung dort, wo sie schützt: Bei Hochrisiko-Ausgaben ist eine kurze Begründungspflicht des Prüfers sinnvoll — sie unterbricht den Reflex des Durchwinkens.

Schritt 4 — Audit-Trail / Logging by Design

Wer kontrolliert hat, muss es auch belegen können. Ein prüffestes, manipulationssicheres Protokoll hält fest: Welche Ausgabe, welche Quellen, welcher Confidence-Wert, wer hat wann was freigegeben, geändert oder verworfen — und warum. Das erfüllt zugleich die Logging-Logik der KI-VO und liefert im Streitfall den Nachweis dokumentierter Sorgfalt. Idealerweise ist es nach dem Prinzip Privacy/Compliance by Design (Art. 25 DSGVO) von Anfang an eingebaut, nicht nachträglich angeflanscht.

Mehr dazu: DSGVO-konforme Softwareentwicklung und Privacy by Design.

Restrisiko ehrlich benennen

Null Halluzinationen sind eine Illusion. Kein Stack — RAG, Guardrails, HITL zusammen — bringt die Rate auf exakt null. Das Ziel ist nicht Perfektion, sondern ein beherrschtes, dokumentiertes Restrisiko: nachweislich angemessene Sorgfalt statt unhaltbarer Garantien. Genau diese Ehrlichkeit ist juristisch wertvoller als ein Versprechen, das im Schadensfall nicht hält.

FAQ

Wer haftet, wenn eine KI halluziniert und ein Schaden entsteht?

In aller Regel das einsetzende Unternehmen, nicht der KI-Anbieter. Wer eine KI-Ausgabe nach außen verwendet, macht sie zu seiner eigenen Erklärung — Ansatzpunkte sind § 280 BGB (Pflichtverletzung) und § 823 BGB (Delikt). Der Anbieter haftet nur in Ausnahmen.

Was ist der Unterschied zwischen Human-in-the-Loop und Human-on-the-Loop?

Bei Human-in-the-Loop (HITL) gibt ein Mensch jede Ausgabe frei, bevor sie wirksam wird — passend für hohe, irreversible Risiken. Bei Human-on-the-Loop (HOTL) läuft die KI autonom, der Mensch überwacht und greift bei Bedarf ein — passend für mittlere Risiken mit hohem Volumen.

Reicht es, wenn ein Mensch die KI-Entscheidung formal abnickt?

Nein. Nach dem SCHUFA-Urteil des EuGH (C-634/21) bleibt eine Entscheidung „ausschließlich automatisiert” im Sinne von Art. 22 DSGVO, wenn der Mensch nur formal zustimmt, ohne eigene Entscheidungsbefugnis und ohne reale Prüfmöglichkeit. Echte Kontrolle muss das Ergebnis tatsächlich beeinflussen können.

Lassen sich Halluzinationen technisch komplett verhindern?

Nein. RAG, Guardrails und menschliche Aufsicht senken das Risiko deutlich, aber nicht auf null. Realistisch ist ein beherrschtes Restrisiko mit dokumentierter Sorgfalt — keine Null-Garantie. Genau deshalb braucht es bei rechtlich relevanten Ausgaben eine menschliche Kontrollschicht.

Wie viel reduziert RAG Halluzinationen wirklich?

Je nach Implementierung und Anwendungsfeld zeigen Studien Reduktionen von rund 18 % bis über 40 % gegenüber dem Modell ohne Quellenanbindung. RAG ist ein starker, aber kein vollständiger Schutz — es muss mit Guardrails und menschlicher Freigabe kombiniert werden.

Stand: Mai 2026. Dieser Beitrag wird bei wesentlichen Rechtsänderungen aktualisiert — insbesondere beim AI-Act-Omnibus-Verfahren.

Autor: Leon Lotz, Wirtschaftsjurist und Softwareentwickler (MusketierSoftware). Recht und Code aus einer Hand.

Kontrollschicht für Ihre KI rechtssicher designen lassen? In einem kostenlosen Erstgespräch klären wir, welche Ihrer KI-Ausgaben eine menschliche Freigabe brauchen — und wie sie zugleich Art. 14 KI-VO und Art. 22 DSGVO erfüllt. Zur KI-Beratung.

Quellen — Stand 18.05.2026