Warum KI im autonomen Fahren scheitert — und was das für Sie bedeutet

Das Problem

Ubers KI für autonomes Fahren erfasste eine Fußgängerin 5,6 Sekunden vor dem Aufprall. Das hätte reichlich Zeit sein müssen. Das Auto war mit 43 mph unterwegs, etwa 378 Fuß entfernt. Doch statt zu bremsen änderte das System ständig seine Meinung. Es stufte die Person als „unbekanntes Objekt“ ein, dann als „Fahrzeug“, dann als „Fahrrad“ — sechsmal neue Klassifizierung in diesen kritischen Sekunden. Jede Neuklassifizierung setzte ihre vorhergesagte Route zurück. Die KI konnte nicht herausfinden, was sie war, also konnte sie nicht herausfinden, wohin sie lief.

Bis das System entschied, dass es bremsen musste, blieben nur noch 1,3 Sekunden. Die Physik machte den Aufprall unvermeidbar. Elaine Herzberg starb im März 2018 auf einer Straße in Tempe, Arizona.

Was die Sache noch schlimmer macht: Uber hatte das werkseitig installierte Kollisionsvermeidungssystem des Volvo absichtlich deaktiviert. Das Team wollte eine „ruhigere Fahrt“ für seine experimentelle Software. Sie ersetzten eine bewährte Sicherheitsschicht durch ungeprüften Code. Wenn Ihre Organisation KI in irgendeiner physischen oder sicherheitskritischen Umgebung einsetzt, sollte dieser Fall Sie nachts wachhalten. Er zeigt, was passiert, wenn man einem wahrscheinlichkeitsbasierten System Entscheidungen über Leben und Tod anvertraut und zugleich die Sicherheitsnetze entfernt.

Warum das für Ihr Unternehmen wichtig ist

Das ist nicht nur ein Problem autonomer Fahrzeuge. Es ist ein Muster, das sich wiederholt, wann immer Organisationen KI in hochriskante Entscheidungen drücken, ohne eine verifizierte Sicherheitsarchitektur. Die finanziellen und regulatorischen Konsequenzen sind brutal:

• Uber zahlte 8,5 Millionen US-Dollar, um den Todesfall von 2018 beizulegen. Diese Zahl bildet allein die rechtliche Haftung ab — nicht den Reputations­schaden, nicht verlorene Partnerschaften, nicht die Kosten eines Betriebsstillstands.
• GM Cruise zahlte eine strafrechtliche Geldbuße von 500.000 US-Dollar, nachdem sein Robotaxi in San Francisco einen Fußgänger 20 Fuß weit hinter sich hergeschleift hatte. Das Justizministerium stellte fest, dass das Unternehmen gegenüber Bundesermittlern einen falschen Bericht eingereicht hatte. Kalifornien entzog die Betriebserlaubnis vollständig.
• Tesla steht mit Stand 2025 unter NHTSA-Untersuchungen, die 2,9 Millionen Fahrzeuge umfassen. Über 40 separate Unfalluntersuchungen zielen auf sein Full-Self-Driving-System. Achtzehn Beschwerden schildern Fahrzeuge, die bei Rot über die Kreuzung fahren.
• Die weltweiten Kosten eines einzelnen Datenlecks liegen inzwischen im Schnitt bei 4,44 Millionen US-Dollar. Ein autonomer Todesfall treibt die Haftung durch rechtliche und operative Schäden in die Zehnermillionen.

Ihr Vorstand fragt nicht mehr, ob Sie KI einsetzen. Gefragt wird, ob sich Ihre KI auditieren, erklären und vor Gericht verteidigen lässt. Die Aufsichtsbehörden gehen von der freiwilligen Selbsteinschätzung zur verpflichtenden Einhaltung von Standards wie ISO/PAS 8800 und dem EU AI Act über. Wenn Ihr KI-System keine klare Entscheidungsnachverfolgung vorlegen kann, sind Sie exponiert — rechtlich, finanziell und operativ. Jeder Dollar, den Sie mit dem Einsatz einer schnellen, ungeprüften KI-Schicht sparen, vervielfacht sich nachgelagert als Risikoexposition.

Was tatsächlich unter der Haube passiert

Der Kernfehler in all diesen Vorfällen trägt bei Ingenieuren den Namen „Klassifikationsoszillation“ — aber Sie können ihn sich so vorstellen: Denken Sie sich einen Wachmann, der eine Person betrachtet, die auf Ihr Gebäude zuläuft, und nicht entscheiden kann, ob sie ein Mitarbeiter, ein Lieferbote oder ein Fremder ist. Jede Sekunde beginnt der Wachmann von vorn mit einer neuen Vermutung. Er baut nie auf dem auf, was er zuvor gesehen hat. Er verfolgt nie den Weg der Person. Bis er sich entscheidet zu handeln, ist es zu spät.

Genau das geschah mit Ubers KI. Sie verarbeitete jeden Moment nahezu unabhängig. Ihr fehlte „Objektpermanenz“ — kein beständiges Gedächtnis, das sagte: „Was auch immer das ist, es bewegt sich seit fünf Sekunden auf uns zu.“

Der Cruise-Unfall 2023 zeigte eine andere Variante derselben Lücke. Nachdem das Robotaxi einen Fußgänger erfasst hatte, der zuvor in seinen Weg geschleudert worden war, konnte das System nicht erkennen, dass eine Person unter dem Fahrzeug eingeklemmt war. Es stufte die Kollision als „Seitenaufprall“ ein statt als frontales Überrollen. Das löste ein programmiertes Anhalte-Manöver aus. Das Auto schleifte das Opfer rund 20 Fuß weit mit etwa 7 mph, bevor es stoppte — nicht, weil es eine Person erkannte, sondern weil es „übermäßigen Radschlupf“ registrierte und ihn als mechanischen Defekt behandelte.

Teslas rein kamerabasiertes System legt eine weitere Ebene darüber. Ohne LiDAR oder Radar verlässt es sich vollständig auf Kameras. Bei Bedingungen wie Blendung durch die Sonne auf nassem Asphalt oder Nebel fällt das optische Signal unter das für sichere Navigation erforderliche Maß ab. Ein tödlicher Unfall 2023 ereignete sich genau unter diesen Bedingungen. Das System konnte schlicht nicht sehen.

Das sind keine zufälligen Bugs. Es sind architektonische Schwächen — vorhersehbare Folgen davon, sicherheitskritische Systeme auf Wahrscheinlichkeit statt auf Beweis zu bauen.

Was funktioniert (und was nicht)

Drei verbreitete Ansätze, die immer wieder scheitern:

• „Mehr Testen wird das beheben.“ Klassisches Black-Box-Testing prüft, ob ein System N Szenarien besteht. Aber Sie können nicht jeden Randfall auf jeder Straße bei jeder Wetterlage testen. Tests sagen Ihnen, was geschehen ist; sie beweisen nicht, was geschehen wird.
• „Nur Kameras reichen aus.“ Der Ansatz von Tesla verzichtet vollständig auf LiDAR und Radar. Die 18+ NHTSA-Beschwerden über Rotlichtverstöße und Fahren in falscher Richtung zeigen die Grenzen der ausschließlichen Kameranutzung — besonders bei schlechter Sicht.
• „Ein menschlicher Backup fängt die Fehler schon ab.“ Ubers Sicherheitsoperator beobachtete das System, als es Elaine Herzberg tötete. Die Forschung nennt das „Automation Complacency“ — Menschen vertrauen der Maschine und hören auf, aufmerksam zu sein. Ihre menschliche Rückfallebene lässt mit der Zeit nach.

Was tatsächlich funktioniert, ist eine dreistufige Architektur, gebaut auf Verifikation statt auf Hoffnung:

1. Vereinheitlichte 3D-Wahrnehmung (Eingabe): Statt jeden Kamerafeed separat zu verarbeiten, transformiert das System alle Sensordaten — Kameras, LiDAR, Radar — in eine einzige Top-Down-3D-Karte namens Bird’s-Eye-View (BEV). Occupancy Networks — Modelle, die vorhersagen, ob jeder kleine Raumwürfel belegt ist — tracken Volumen, nicht Labels. Selbst wenn die KI nicht entscheiden kann, ob ein Objekt ein Fußgänger oder ein Fahrrad ist, weiß sie, dass der Raum belegt ist und sich dort etwas bewegt. Das verhindert unmittelbar genau jenen Klassifikationswechsel, der Elaine Herzberg das Leben kostete.

2. Formale Verifikation (Verarbeitung): Werkzeuge namens SMT-Solver — mathematische Engines, die jeden möglichen Input eines neuronalen Netzes testen — können beweisen, ob es einen Input gibt, der einen unsicheren Output erzeugte. Zum Beispiel: „Für jeden Input unter Nebelbedingungen darf der Bremsbefehl niemals unter einen Mindestschwellenwert fallen.“ Findet der Solver eine Verletzung, beheben Ingenieure sie vor dem Deployment. Das nennt man formale Verifikation und Proof-Automatisierung — und das ist der Unterschied zwischen der Hoffnung, dass Ihre KI sicher ist, und dem Beweis dafür.

3. Deterministische Sicherheitsfilter (Ausgabe): Ein Runtime-Monitor prüft jeden Befehl, den die KI ausgibt, gegen eine verifizierte Sicherheitsbaseline. Versucht die KI etwas Irrationales — auf einen belegten Raum zubeschleunigen, ein Rotlicht ignorieren — überschreibt der Filter sie augenblicklich. Denken Sie an ein mathematisch garantiertes Veto.

Für Ihre Compliance- und Rechtsteams erzeugt diese Architektur etwas Entscheidendes: einen manipulationssicheren Audit-Trail. Jede Entscheidung der KI wird in einem deterministischen Format protokolliert. Wenn Aufsichtsbehörden fragen, warum Ihr System so handelte, wie es handelte, können Ihnen die Mathematik zeigen — keine Blackbox. Das ist besonders wichtig, da die Sicherheitsstandards im Automotive-Bereich sich unter ISO/PAS 8800 und SOTIF (ISO 21448) verschärfen, die eigens auf Gefahren eingehen, die entstehen, wenn KI-Systeme wie vorgesehen funktionieren, dabei jedoch unerwarteten Umgebungen begegnen.

Ihre Organisation sollte außerdem prüfen, wie Sensorfusion und Signalintelligenz in Ihre übergreifende KI-Strategie passen. Multi-Sensor-Architekturen reduzieren Single Points of Failure — genau die Schwachstelle, die Teslas rein kamerabasierter Ansatz offenlegt.

Die vollständige technische Analyse hinter diesen Empfehlungen finden Sie im vollständigen technischen Whitepaper, und Sie können die interaktive Version erkunden für eine geführte Durchsicht der Fehlerfälle und Lösungen.