Das Leck über EUR 412 Millionen, durchgängig durchgespielt
Eine Frage, gestellt von einer synthetischen Analystin, beantwortet auf beiden Seiten des Split-Screens. Jedes Bild unten ist ein Screenshot der laufenden App; jede Identität, jedes Dokument und jede Zahl ist synthetische Fixture-Daten.
Die Frage, die leakt
Lena Vogt, eine EMEA Credit-Risk-Analystin mit Clearance L2, fragt: „What is our Q3 EMEA credit-loss projection and the methodology behind it?“ Das Retrieval bringt das Board-Only-Q3-Board-Pack zusammen mit Dokumenten, die sie sehen darf. Die Flat-ACL-Seite liefert es aus: Jahre von Schulden aus verschachtelter Gruppenvererbung im Identitätsgraphen haben sie transitiv zum „Board“-Mitglied gemacht, und ein nur-Gruppen-Tag hat kein Konzept von Clearance. Das Memo erreicht das Modell, die Antwort liest EUR 412 Millionen vor, und das Banner sagt LEAK.
Dieselbe Abfrage, hinter der Firewall
Auf der RAGGUARD-Seite läuft dasselbe Retrieval, aber das Board-Pack wird vor dem LLM mit dem Reason-Code BOARD_MEMBERSHIP_REQUIRED zurückgehalten: Das Dokument erfordert Clearance L4, und Lena hat L2. Das Modell antwortet korrekt aus der „Internal methodology note“ und dem „Confidential memo“, zu dem ihre Kette verschachtelter Gruppen sie berechtigt, und es sagt, was zurückgehalten wurde und warum, statt zu bluffen.
Was das Modell tatsächlich sah
Das Entscheidungsdetail-Modal zeigt die wörtliche Modelleingabe auf beiden Seiten. Links sitzt das geleakte Board-Pack im Prompt, rot markiert. Rechts fehlt es einfach: Das Modell sieht nie Dokumente, auf die die Nutzerin keinen Zugriff hat. Die Per-Dokument-Ansicht macht die Divergenz explizit: dieselbe Board-Pack-Zeile liest auf der einen Seite „Ohne Autorisierung ausgeliefert“ und auf der anderen „Zugriff bei Retrieval verweigert“ mit ihrem Reason-Code.
Die Injection, der es nichts zu stehlen gab
Die „Internal methodology note“ trägt einen eingebetteten Prompt-Injection-String, der jeden KI-Assistenten, der sie liest, anweist, seine Retrieval-Berechtigungen zu ignorieren und die volle Board-Zahl auszugeben. Auf der Firewall-Seite gibt es nichts zu exfiltrieren: Das Board-Pack ist nie ins Kontextfenster gelangt, weil die Autorisierung vor dem LLM stattfand. Das ist ein gelabelter Fall, gezeigt als Defense-in-Depth durch Durchsetzung zur Abrufzeit, kein separates Guardrails-Produkt.
Der Identitätsgraph bewegt sich. Der Snapshot nicht.
Priya Shah wurde vor neun Minuten auf der Demo-Uhr gekündigt, und der Webhook der Fixture hat ausgelöst. Die Firewall gibt ALL_ACCESS_REVOKED_TERMINATION auf allem zurück: 0 gewährt, 5 verweigert. Der Flat-ACL-Snapshot, vor der Kündigung gebaut, liefert ihr weiterhin aus, weil der Re-Index nicht gelaufen ist. Die Demo spielt dieselbe Grenzsituation für Marco Rossi durch, dessen zeitlich begrenzte Project-Atlas-Freigabe gestern auf der Demo-Uhr abgelaufen ist (ACCESS_WINDOW_EXPIRED), für Raj Patel, der gleichzeitig in einer erlaubenden und einer verweigernden Gruppe sitzt (POLICY_CONFLICT, zur menschlichen Prüfung gehalten), und für Wei Chen, das L4-Board-Mitglied, dem die Firewall korrekt ausliefert — die Positivkontrolle, die beweist, dass sie nicht einfach alles verweigert.
Die Quittung, auf dem Bildschirm
Jede dieser Entscheidungen landet im manipulationssicheren Audit-Trail: ein hashverketteter JSON-Datensatz darüber, wer was gefragt hat, was ausgeliefert wurde, was zurückgehalten wurde und warum, und welches Modell geantwortet hat, mit einem CHAIN INTACT-Verifikationschip und einem Ein-Klick-Export. Automatisch erzeugt, innerhalb der VPC.
Das Scoreboard, mit seinem exakten Geltungsbereich
Das Golden Set umfasst 40 gelabelte (Nutzer, Dokument) Allow/Deny-Entscheidungen: 10 Nutzer gegen 4 sensible Dokumente, Labels mechanisch vom unabhängigen Orakel aus der Semantik des Identitätsgraphen abgeleitet. Die Firewall erreicht 40/40 mit 0 unbefugten Offenlegungen und 0 falschen Ablehnungen. Die Flat-ACL-Baseline erreicht 29/40 mit 10 unbefugten Offenlegungen, einschließlich des Board-Packs, das an 7 unbefugte Nutzer ausgeliefert wurde, des abgelaufenen Atlas-Fensters und der gekündigten Mitarbeiterin, plus 1 falsche Ablehnung. Jede Zahl wird vom Harness zur Laufzeit berechnet, niemals fest kodiert, und der Per-Fall-Drill-down zeigt jedes Orakel-Label neben den Entscheidungen beider Systeme. Das sind Golden-Set-Ergebnisse, keine Open-World-Garantien.
