Ein strategischer Rahmen für sicherheitskritische künstliche Intelligenz
Der 8,5-Millionen-Dollar-Vergleich von Uber, die Suspendierung von GM Cruise und über 40 Tesla-Untersuchungen sind keine Gründe, KI aufzugeben. Sie sind Gründe, sie korrekt zu entwickeln. Dieses Whitepaper analysiert die architektonischen Fehler und zeigt den Weg zu verifizierbarer, hochgradig abgesicherter Autonomie auf.
Auf der einen Seite: Schnelle LLM-Wrapper, die Konversationsflüssigkeit priorisieren. Auf der anderen Seite: Rigoroses Deep-AI-Engineering mit formaler Verifikation und deterministischer Sicherheit. Wenn autonome Systeme in die physische Welt eintreten, wird diese Unterscheidung zu einer Frage von Leben und Tod.
Vier aufsehenerregende Vorfälle, die die systemische Fragilität stochastischer KI in sicherheitskritischen Implementierungen offenlegen.
Tempe, Arizona • März 2018 • Todesfall
Das Uber ATG-System erkannte Elaine Herzberg erstmals 5,6 Sekunden vor dem Aufprall in einer Entfernung von 378 Fuß. Dies war mehr als ausreichend Zeit für eine standardmäßige Notbremsung. Doch die Wahrnehmungslogik des Systems litt unter Klassifizierungsoszillation — die Fußgängerin wurde wiederholt als „unbekanntes Objekt“, dann als „Fahrzeug“, dann als „Fahrrad“ umklassifiziert.
Jede Neuklassifizierung setzte die vorhergesagte Trajektorie des Objekts zurück. Das System konnte sich nicht auf eine dauerhafte Identität festlegen, keinen verlässlichen Pfad berechnen und entschied erst 1,3 Sekunden vor dem Aufprall — als die Gesetze der Physik eine Kollision unvermeidbar machten —, dass eine Notbremsung erforderlich war.
Uber hatte das werkseitige AEB- und Kollisionsvermeidungssystem des Volvo XC90 deaktiviert , um „unberechenbares Fahrzeugverhalten“ zu verhindern. Sie ersetzten verifizierte, deterministische Sicherheitsschichten durch experimentellen, unüberprüften stochastischen Code.
| Fehlerkomponente | Technischer Mechanismus |
|---|---|
| Wahrnehmungspipeline | Klassifizierungsoszillation (Unbekannt → Fahrzeug → Fahrrad) |
| Logikunterdrückung | Manuelle Deaktivierung des werkseitigen AEB |
| HMI-Schnittstelle | Übermäßige Abhängigkeit von abgelenktem menschlichen Monitor |
| Prädiktions-Engine | Statische Trajektorienannahme für dynamische Akteure |
Jede Neuklassifizierung zerstörte die Trajektorienprädiktion des Objekts und verhinderte ein rechtzeitiges Eingreifen.
San Francisco • Oktober 2023 • Lizenz entzogen
Ein von Menschen gesteuertes Fahrzeug erfasste eine Fußgängerin und schleuderte sie in den Fahrweg eines Cruise-Robotaxis. Das Cruise-Fahrzeug traf die Fußgängerin und hielt zunächst an. Doch die Aufprallerkennungslogik des Systems war ungenügend granular — sie diagnostizierte ein frontales Überfahren fälschlicherweise als Seitenaufprallkollision.
Diese Fehldiagnose löste ein „Minimal Risk Condition“-Manöver aus: an den Straßenrand fahren. Da die Wahrnehmungsschicht die Fußgängerin nach dem Aufprall „vergessen“ hatte , schleifte das Fahrzeug das Opfer 20 Fuß weit mit 7 mphmit. Es hielt erst an, als es „übermäßigen Radschlupf“ erkannte — was es als mechanischen Defekt und nicht als menschliches Hindernis interpretierte.
Die anschließende Untersuchung ergab, dass die Führungsebene „darauf fixiert war, das unzutreffende Mediennarrativ zu korrigieren“ und es versäumte, gegenüber den Aufsichtsbehörden transparent zu sein. Die strafrechtliche Geldstrafe von 500.000 US-Dollar für die Einreichung falscher Berichte unterstreicht, dass KI-Sicherheit nicht als Marketingproblem behandelt werden darf.
„Mitarbeiter gaben zu, bei Treffen mit dem DMV ‚das Video für sich selbst sprechen zu lassen‘, wohl wissend, dass Verbindungsprobleme oft das Abspielen des Schleifvorgangs verhinderten.“
Landesweit • 2024-2025 • 40+ NHTSA-Untersuchungen
Teslas Full Self-Driving (FSD) System zeigt „Fähigkeitstheater“ (Capability Theater) — optimale Leistung unter klaren Bedingungen, die bei umweltbedingten Randfällen zusammenbricht. Die NHTSA hat über 40 Untersuchungen eingeleitet, die sich auf spezifische, wiederholbare Fehlermuster konzentrieren.
Teslas Vertrauen auf eine reine Vision-Architektur — unter Verzicht auf LiDAR und Radar — schafft eine fundamentale Anfälligkeit für Sensorsättigung. Bei Nebel, Staub oder Sonnenblendung auf nassem Asphalt fällt das optische Signal-Rausch-Verhältnis unter sichere Navigationsschwellen. Eine tödliche Kollision im Jahr 2023 ereignete sich unter genau diesen Bedingungen.
| Fehlermodus | Technische Ursache |
|---|---|
| Rotlicht-Nichtbeachtung | Signalerfassungsfehler im Vision-Stack |
| Fahrbahnmarkierungs-Verletzung | Kann reine Abbiegespuren nicht von Durchgangsspuren unterscheiden |
| Unfall bei schlechter Sicht | Optische Sensorsättigung (Blendung/Nebel/Staub) |
| Einfahrt in Gegenverkehrsspur | Fehler bei der 3D-Fahrbahngeometrie-Rekonstruktion |
Deep-AI-Engineering erfordert Sensordiversität. Eine Hardware-Einschränkung lässt sich nicht per Software-Patch beheben.
Los Angeles / San Francisco • 2025 • Neue Herausforderungen
Waymo hat über 56 Millionen Meilen mit deutlich niedrigeren Verletzungsraten als menschliche Fahrer absolviert. Doch mit der Skalierung des Systems tritt eine neue Fehlerklasse auf: soziotechnische Reibung — nicht nur wie die KI fährt, sondern wie sie mit komplexen, oft feindseligen menschlichen sozialen Umgebungen interagiert.
Während eines Stromausfalls blieben Dutzende Waymo-Robotaxis an dunklen Kreuzungen stecken. Da sie darauf programmiert waren, dunkle Ampeln als Vier-Wege-Stopps zu behandeln, wurden sie von konzentrierten Fernunterstützungsanfragen überwältigt. Robotaxis blockierten andere Robotaxis — „Multi-Agenten-Stillstand“ — den die zentrale Leitstelle nicht auflösen konnte.
Anfang 2025 wurden Waymo-Fahrzeuge während ziviler Unruhen in LA von Menschenmengen angegriffen — Reifen wurden aufgeschlitzt, Fahrzeuge in Brand gesteckt. Auf „passive Sicherheit“ programmiert, hielten sie einfach an, als sie umzingelt wurden. Dies verdeutlichte die Notwendigkeit eines „Gefahren-Fluchtmodus“ (Danger Escape Mode) , der von passiver Befolgung zu aktiver Flucht übergehen kann, ohne jemals darauf programmiert zu sein, Schaden anzurichten.
Diese Vorfälle unterstreichen die „Unabhängigkeitsfalle“ — die Annahme, dass ein autonomes Fahrzeug als einzelner Agent sicher operieren kann. Deep AI muss V2V- (Fahrzeug-zu-Fahrzeug) und V2I- (Fahrzeug-zu-Infrastruktur) Protokolle berücksichtigen, die eine Auflösung von Blockaden auf Flottenebene ermöglichen.
Jeder obige Fehler hat dieselbe Wurzel: die Lücke zwischen dem, was die KI wahrnimmt, und dem, was sie logisch schlussfolgern sollte. Passen Sie die Konfidenzschwelle an, um zu sehen, wie deterministische Gates katastrophale Entscheidungen verhindern.
Die Wahrnehmungskonfidenz liegt unter der deterministischen Sicherheitsschwelle. Ein stochastisches System würde fortfahren; das Assurance Gate von Veriprajna löst einen ausfallsicheren Übergang aus.
Das Assurance Gate von Veriprajna: Wenn irgendeine Sicherheits-Eingangsgröße unter den verifizierten Schwellenwert fällt, geht das System in einen Minimal Risk Condition-Zustand über — nicht basierend auf Wahrscheinlichkeiten, sondern auf einem mathematischen Beweis, dass der Ausgang nicht garantiert sicher sein kann.
Die architektonische Antwort auf Klassifizierungsoszillation, Blindheit nach dem Aufprall und Sensorsättigung.
Occupancy-Netzwerke verfolgen Volumen, keine Labels. Das System weiß, dass ein Raum belegt ist, selbst wenn es nicht entscheiden kann, ob das Objekt ein Fußgänger oder ein Fahrrad ist. Dies eliminiert den Klassifizierungswechsel von Uber ATG.
Occupancy-Netzwerke erfassen vertikale Strukturen und Objekte unter dem Fahrgestell, die 2D-BEV-Karten ignorieren. Dies hätte es dem Cruise-Fahrzeug ermöglicht, die Fußgängerin unter sich zu „sehen“ , während des Manövers nach dem Aufprall.
Durch den Einsatz von BEVFormer-Architekturen mit temporaler Selbstaufmerksamkeiterinnert sich das System daran, wo sich ein Objekt befand, selbst bei vorübergehenden Verdeckungen — ein Fußgänger, der hinter einem geparkten Lkw geht, wird weiter verfolgt.
Einheitliche BEV-Fusionsarchitektur
Die Transformer-Architektur dient nicht als Konversationswerkzeug, sondern als räumliche Denk-Engine , die heterogene Sensordaten zu einer einzigen „Shared Canvas“ für die Navigation fusioniert.
Traditionelles Testen fragt: „Besteht es N Tests?“ Formale Verifikation fragt: „Existiert irgendeine Eingabe, die zu einer unsicheren Ausgabe führt?“ Der Unterschied ist die Kluft zwischen Hoffnung und Beweis.
Wenn ein SMT-Solver ein Gegenbeispielliefert, hat er eine spezifische Störung gefunden, die zum Versagen der KI führen würde — was es ermöglicht, das Modell während des Trainings zu „härten“.
Große Netze sind zu komplex für eine erschöpfende Solver-Analyse. Veriprajna begegnet dem durch Neuronen-Pruning — das Entfernen redundanter Neuronen und Nichtlinearitäten, die nicht zur Genauigkeit beitragen, wodurch ein Modell entsteht, das mathematisch einfacher zu verifizieren ist, ohne die Leistung zu beeinträchtigen.
| Technik | Methodik | Nutzen |
|---|---|---|
| Schranken-Verschärfung | Symbolische Analyse von Neuronenaktivierungsbereichen | Reduziert den Suchraum des SMT-Solvers |
| Erreichbarkeitsanalyse | Berechnung aller erreichbaren Ausgaben für eine Eingabemenge | Garantiert, dass die KI innerhalb des „sicheren Polytops“ bleibt |
| Stückweise lineare Approx. | Ersetzen komplexer Aktivierungen durch ReLU-Segmente | Korrekte und vollständige Beweise |
| Formaler Sicherheitsfilter | Laufzeitüberwachung gegen verifizierte Baseline | „Sichere Wiederherstellung“, falls KI sich irrational verhält |
ISO 21448 (SOTIF) schließt die Lücke, die ISO 26262 nicht abdecken kann: Gefahren, die auftreten, wenn das System genau wie programmiert arbeitet, aber auf eine „unbekannte/unsichere“ Umgebung trifft.
Das Ziel von Veriprajna: den Bekannt/Sicher-Quadranten maximieren und gleichzeitig Unbekannt/Unsicher-Szenarien systematisch reduzieren.
Verifizierte ODD. Unter dokumentierten Bedingungen getestet und nachweislich sicher.
Identifizierte Randfälle mit ausfallsicheren Übergängen.
Bisher nicht getestete, aber inhärent risikoarme Szenarien.
Nicht identifizierte Gefahren — die Quelle aller größeren AV-Fehlfunktionen.
Behandelt Hardware-/Software-Komponentenausfälle (Sensorfehlfunktion, Chip-Kurzschluss). Notwendig, aber unzureichend für KI-spezifische Risiken.
Sicherheit der beabsichtigten Funktionalität. Behandelt Gefahren, wenn KI wie programmiert arbeitet , aber auf neuartige Umgebungen trifft.
Der erste globale Standard für das Management des gesamten KI-Lebenszyklus im Automobilbereich — von der Datenerfassung bis zur Überwachung nach dem Rollout.
Drei technische Säulen, die jeden in dieser Analyse identifizierten systemischen Fehlermodus direkt adressieren.
Überführung von Kunden von Einzelkamera-2D-Wahrnehmung zu Transformer-basierten BEV-Occupancy-Netzwerken — Gewährleistung von Objektpermanenz und Tracking-Stabilität selbst bei Verdeckungen, Neuklassifizierungen und Sensorsättigung.
Implementierung SMT-basierter formaler Verifikation zum mathematischen Beweis, dass KI-gesteuerte Steuerungsarchitekturen niemals fundamentale Sicherheitseigenschaften verletzen — nicht nur Testen, sondern Erbringen des Korrektheitsbeweises.
Entwicklung ausgefeilter „Fluchtmodi“ und V2X-Kommunikations-Frameworks zur Bewältigung ziviler Unruhen, von Multi-Agenten-Blockaden und Infrastrukturausfällen — wo passive Befolgung gefährlich wird.
„Die Ära der stochastischen KI geht zu Ende. Der ‚billige‘ Wrapper wird zum teuersten Fehler, den ein Unternehmen machen kann, wenn die Kosten eines einzelnen Todesfalls bei autonomen Systemen in die Dutzende Millionen gehen. Die Ära des Deep AI Engineering hat begonnen.“
— Strategischer Rahmen von Veriprajna
Das Uber ATG-System erkannte Elaine Herzberg 5,6 Sekunden vor dem Aufprall in 378 Fuß Entfernung — mehr als ausreichend Zeit für eine Notbremsung. Eine Klassifizierungsoszillation stufte die Fußgängerin jedoch wiederholt als „unbekanntes Objekt“, dann als „Fahrzeug“, dann als „Fahrrad“ ein, wobei jede Neuklassifizierung die Trajektorienprädiktion zurücksetzte. Eine Notbremsung wurde erst 1,3 Sekunden vor dem Aufprall als erforderlich erachtet — als die Kollision physikalisch unvermeidbar war. Zudem hatte Uber das werkseitige AEB von Volvo deaktiviert. BEV-Occupancy-Netzwerke lösen dies, indem sie Volumen statt Labels verfolgen — das System weiß unabhängig von der Klassifizierung, dass der Raum belegt ist.
Traditionelle Tests fragen: „Besteht das System N Tests?“ Die formale Verifikation fragt: „Existiert irgendeine Eingabe, die zu einer unsicheren Ausgabe führt?“ Mithilfe von SMT-Solvern wie Marabou und alpha-beta-CROWN beweist das System mathematisch Sicherheitseigenschaften — beispielsweise, dass bei allen Eingaben unter „Geringe Sichtbarkeit“ die Bremsreaktion der KI immer über dem Mindestschwellenwert liegt. Wenn ein Gegenbeispiel existiert, identifiziert der Solver die spezifische Störung, sodass das Modell während des Trainings gehärtet werden kann.
ISO 26262 behandelt Hardware-/Software-Komponentenausfälle (Sensorfehlfunktion, Chip-Kurzschluss), reicht jedoch für KI-spezifische Risiken nicht aus. ISO 21448 (SOTIF) befasst sich mit Gefahren, wenn die KI genau wie programmiert arbeitet, aber auf neuartige Umgebungen trifft — die „Unbekannt/Unsicher“-Szenarien, die jeden größeren AV-Ausfall verursachten. Sie erfordert eine Gefahren- und Risikoanalyse für Wahrnehmungsfehler, die Identifikation von Auslösebedingungen und High-Fidelity-Simulationen für gefährliche Randfälle. Das Ziel von Veriprajna ist die Maximierung des Bekannt/Sicher-Quadranten bei systematischer Reduzierung der Unbekannt/Unsicher-Szenarien.
Veriprajna liefert die fundierte Engineering-Expertise, um KI zu entwickeln, die nicht nur im Labor funktioniert — sondern in der realen Welt Bestand hat.
Arbeiten Sie mit uns zusammen, um verifizierbare, hochgradig abgesicherte Autonomie für Ihre sicherheitskritischen Systeme zu entwickeln.
Vollständige strategische Analyse: Fehlermodi von Uber ATG, GM Cruise, Tesla FSD und Waymo. BEV-Architektur, formale Verifikation, ISO-Compliance-Framework und der Weg zu deterministischer Gewissheit.