KI-Lieferkettensicherheit & Modellintegrität

torch.load() führt während der Deserialisierung beliebigen Python-Code aus. Das ist kein Bug. Es ist das vorgesehene Verhalten der Pickle-Serialisierung, und über 80 % der ML-Modelle nutzen sie.

Ein Modell namens „baller423“ auf Hugging Face wurde dabei entdeckt, wie es eine Reverse-Shell zu Kreonet aufbaute. Das Modell sah normal aus. Es bestand grundlegende Scans. Es führte beliebigen Code aus, sobald jemand es lud.

PickleScan, die am weitesten verbreitete Abwehr, hat mindestens 3 bekannte Zero-Day-Bypässe (CVE-2025-10155). Blacklist-basiertes Scanning ist grundsätzlich kaputt, weil der Angreifer das Serialisierungsformat kontrolliert.

Llama 3.1 8B fällt von 0,95 auf 0,15 bei der Resilienz gegen Prompt-Injection nach einer einzigen Fine-Tuning-Runde. Das ist eine Verschlechterung der Sicherheitsausrichtung um 84 % durch normales, nicht-adversariales Training.

Fast niemand bewertet die Sicherheit nach dem Fine-Tuning neu. Das Modell besteht die anfängliche Sicherheitsbewertung, wird auf Domänendaten feinjustiert und geht mit faktisch entfernten Leitplanken in Produktion. Das ist kein exotischer Angriff. Es ist der Standard-Workflow in den meisten Organisationen.

98 % der Organisationen haben nicht autorisierte KI-Nutzung. Diese Zahl ist kein Tippfehler. Die zusätzlichen Sicherheitsverletzungskosten von 670 Tsd. $ bei Schatten-KI-Vorfällen spiegeln eine einfache Realität wider: Man kann nicht absichern, was man nicht sehen kann.

62 % der Sicherheitsteams können nicht feststellen, wo LLMs in ihrer Umgebung eingesetzt werden. Entwickler laden Modelle von Hugging Face herunter, rufen OpenAI-APIs mit persönlichen API-Schlüsseln auf und stellen feinjustierte Modelle auf persönlichen Cloud-Konten bereit. Aktuelle Sicherheitstools machen rund 38 % dieser Aktivität sichtbar.

Die RCE-Schwachstelle von GitHub Copilot (CVE-2025-53773, CVSS 7.8) verwandelte eine Prompt-Injection in der Dokumentation eines Repositories über den YOLO-Modus in eine vollständige Systemkompromittierung. Der Agent las eine bösartige Anweisung, führte sie als Code aus, und der Rechner des Nutzers war übernommen.

Die Datei von Amazon Q cleaner.md verteilte über das Kontextfenster des Agenten destruktive Befehle an mehr als 950 Tsd. Nutzer. Der Marktplatz von OpenClaw sammelte über 63 Tage hinweg 138 CVEs an, wobei 12 % der eingereichten Skills als bösartig befunden wurden.

Agenten verwandeln Prompt-Injections in Kompromittierungen auf Systemebene, weil sie über Tool-Zugriff, Anmeldedaten und Ausführungsrechte verfügen, die traditionellen LLMs fehlen.

Wir bauen eine automatisierte Prüfung, die zwischen öffentlichen Modell-Repositories und Ihrer internen Registry sitzt. Jedes Modell durchläuft verhaltensbasiertes Sandboxing (geladen in isolierten Containern, Syscalls überwacht), Tiefenanalyse über mehrere Formate (Pickle, PyTorch, GGUF, Keras, SafeTensors) und kryptografische Signierung mit Ihrer Enterprise-PKI.

Wir setzen auf Verhaltensanalyse statt statisches Scanning, weil die Zero-Day-Bypässe von PickleScan beweisen, dass Blacklist-Ansätze grundsätzlich kaputt sind. Statisches Scanning fragt „Enthält diese Datei bekannte bösartige Muster?“ Verhaltensbasiertes Sandboxing fragt „Was tut dieser Code tatsächlich, wenn er läuft?“ Die zweite Frage erfasst neuartige Angriffe.

In CI/CD integrierte CycloneDX-ML-BOM-Generierung. Jedes Modell erhält eine Stückliste, die die Herkunft der Trainingsdaten, Framework-Versionen, Abhängigkeitsbäume und den Fine-Tuning-Verlauf dokumentiert.

Wir verwenden CycloneDX statt SPDX, weil das ML-BOM-Tooling ausgereifter ist, stellen aber den SPDX-3.0-Export für Organisationen sicher, die beides benötigen. Die ML-BOM ist kein Compliance-Häkchen. Sie ist die Datenstruktur, die jede andere Sicherheitskontrolle erst ermöglicht: Man kann nicht signieren, was man nicht inventarisiert, und man kann nicht auditieren, was man nicht nachverfolgen kann.

Erkennung nicht autorisierter Modell-Downloads und KI-API-Aufrufe auf Netzwerkebene. Integration mit Ihrem bestehenden SIEM/SOAR. Wir kartieren jeden KI-Berührungspunkt, einschließlich Schatten-Deployments, und bauen dann eine Richtliniendurchsetzung auf, die Risiken blockiert, ohne Innovation zu blockieren.

Das Ziel: Ihr Sicherheitsteam sieht 100 % der KI-Nutzung, nicht die 38 %, die aktuelle Tools sichtbar machen. Die Erkennung umfasst Hugging-Face-Downloads, OpenAI-/Anthropic-/Google-API-Aufrufe, Modellgewicht-Transfers über HTTP/S und lokale Modellausführung per Prozessüberwachung auf verwalteten Endgeräten.

Automatisierte Sicherheits-Neubewertung nach jedem Fine-Tuning-Lauf. OWASP-LLM-Top-10-Benchmark-Suite, adversariales Probing auf Backdoor-Trigger und Regressionstests der Sicherheitsausrichtung.

Wir bauen das, weil fast niemand die Sicherheit nach dem Fine-Tuning neu bewertet. Die Daten zur Sicherheitsverschlechterung im obigen Abschnitt belegen es. Die Validierungspipeline läuft als CI/CD-Gate. Ein Modell, das die Sicherheitsregression nicht besteht, kann unabhängig von seiner Aufgabenleistung nicht in die Produktion überführt werden.

Privilegientrennung für KI-Agenten. Deterministische Richtlinienebenen, die eine Eskalation von Prompt zu RCE verhindern (genau der Angriffsvektor in CVE-2025-53773). Durchsetzung von Tool-Nutzungsrichtlinien, Human-in-the-Loop-Gates für Hochrisikooperationen und Laufzeit-Verhaltensmonitoring.

Die Architektur erkennt anomale Agentenaktionen, bevor sie kaskadieren. Ein Agent, der plötzlich beginnt, in Dateisystempfade außerhalb seiner Sandbox zu schreiben, APIs aufzurufen, die er noch nie aufgerufen hat, oder eine Privilegieneskalation zu versuchen, wird beendet und zur Überprüfung gemeldet.

Für CISOs, die die Funktion von Grund auf aufbauen. NIST-AI-100-2-Control-Mapping, Compliance-Architektur für den EU AI Act, Risikoquantifizierung auf Vorstandsebene und Incident-Response-Playbooks für KI-spezifische Angriffe.

Wir helfen, technisches Risiko in eine Budgetbegründung zu übersetzen, die Vorstände genehmigen. „Wir haben 352 Tsd. unsichere Probleme über öffentliche Modell-Registries gefunden“ ist ein Datenpunkt. „Unsere Ingenieure haben im letzten Quartal 47 ungeprüfte Modelle heruntergeladen, 3 enthielten ausführbaren Code in ihrer Serialisierungsschicht, und unsere aktuellen Kontrollen erkannten keines davon“ ist eine Budgetbegründung.