Das selbstfahrende Auto sah sie 5,6 Sekunden vor dem Aufprall — und konnte trotzdem nicht entscheiden, was sie war

Ende 2023 saß ich in einem Konferenzraum und sah mir ein Video an, das mein Denken über KI-Sicherheit für immer verändern sollte. Die Aufnahmen stammten von einem Cruise-Robotaxi in San Francisco. Eine Fußgängerin war von einem menschlich gesteuerten Auto erfasst, in die Fahrbahn des autonomen Fahrzeugs geschleudert und unter diesem eingeklemmt worden. Das Robotaxi hielt an — kurz — und begann dann, an den Straßenrand zu fahren, wobei es die Frau sechs Meter weit über den Asphalt schleifte.

Im Raum herrschte Stille. Jemand aus meinem Team sagte: „Das Auto dachte, es hätte eine Seitenkollision gehabt.“ Und dieser Satz — das Auto dachte — wurde zur Keimzelle für alles, was wir seither bei Veriprajna aufbauen.

Denn das Auto hat gar nichts „gedacht“. Es hat eine Klassifikations-Subroutine ausgeführt, das falsche Ergebnis erhalten und ein vorprogrammiertes Manöver eingeleitet, das aus einem überlebbaren Unfall etwas weit Schlimmeres machte. Da war kein Schlussfolgern. Kein Bewusstsein. Keine Sicherheitsarchitektur, die eine katastrophale Fehldiagnose hätte abfangen können, bevor sie zur Katastrophe wurde.

Das ist die Lücke, die ich Investoren, Kunden und Kollegen aus der Technik immer wieder zu erklären versuche: der Abstand zwischen einer KI, die in Demos gut abschneidet, und einer KI, die sich sicher verhält, wenn die Welt nicht mehr mitspielt. Ich habe angefangen, das die Perception-Logic Gap (Perzeptions-Logik-Lücke) zu nennen — den Raum zwischen dem, was ein autonomes System sieht, und dem, was es tatsächlich versteht. Und genau jetzt kostet diese Lücke Menschenleben.

Was geschah, als die KI fast sechs Sekunden Zeit hatte und trotzdem versagte?

Der Uber-ATG-Unfall in Tempe, Arizona, im März 2018 ist der Fall, auf den ich am häufigsten zurückkomme, weil er am reinsten veranschaulicht, wie ein probabilistisches System sämtliche benötigten Daten haben und dennoch einen tödlichen Fehler machen kann.

Die Sensoren des Fahrzeugs erfassten Elaine Herzberg — eine Fußgängerin, die ein Fahrrad über eine dunkle Straße schob — erstmals rund 5,6 Sekunden vor dem Aufprall. Bei 69 km/h (43 mph) sind das rund 115 Meter Distanz. Mehr als genug für jedes kompetente Bremssystem, um das Auto zum Stehen zu bringen.

Aber die KI konnte sich nicht entscheiden, was sie da vor sich hatte. Über diese 5,6 Sekunden hinweg klassifizierte das Perzeptionssystem Herzberg immer wieder neu: zuerst als „unbekanntes Objekt“, dann als „Fahrzeug“, dann als „Fahrrad“. Jede Neuklassifizierung war nicht bloß ein Wechsel des Labels — sie war ein vollständiges Zurücksetzen der vorhergesagten Trajektorie des Objekts. Das System entwickelte im Grunde jedes Mal Amnesie, wenn es seine Meinung änderte.

Ich erinnere mich, wie ich den NTSB-Bericht zum ersten Mal las und mir körperlich schlecht wurde. Nicht wegen des Ergebnisses — so verheerend das auch war — sondern wegen des Mechanismus. Die KI stellte erst 1,3 Sekunden vor dem Aufprall fest, dass eine Notbremsung nötig war. Die Physik machte den Rest unausweichlich.

Eine KI, die ein Hindernis fast sechs Sekunden lang sehen kann und trotzdem nicht entscheiden kann, was es ist, hat kein Sensorproblem. Sie hat ein Architekturproblem.

Was es noch schlimmer machte — was mich ehrlich gesagt wütend machte — war die Erkenntnis, dass Uber das werkseitig installierte Kollisionsvermeidungssystem des Volvo XC90 bewusst deaktiviert hatte. Das Auto kam ab Werk mit einem automatischen Notbremsassistenten. Uber schaltete ihn ab, um zu verhindern, was sie „erratisches Fahrzeugverhalten“ nannten. Sie wollten eine geschmeidigere Fahrt für ihre experimentelle Software, also entfernten sie genau die eine deterministische Sicherheitsschicht, die ein Leben hätte retten können.

Diese Entscheidung verfolgt die Branche bis heute. Sie ist die Erbsünde, KI-Sicherheit als Tuning-Problem statt als Ingenieursdisziplin zu behandeln.

Warum passiert derselbe Fehler immer wieder in unterschiedlichen Autos?

Nach dem Uber-Unfall hatte ich erwartet, dass die Branche daraus lernt. Konkret erwartete ich, dass Unternehmen Architekturen bauen, in denen ein Perzeptionsfehler nicht zu einem Entscheidungsfehler kaskadieren kann. In denen es harte Sicherheitsgrenzen gibt, die keine experimentelle Software überschreiben kann.

Stattdessen bekamen wir Cruise.

Der Vorfall vom Oktober 2023 in San Francisco unterschied sich in den Einzelheiten von Uber, war in seiner Architektur aber identisch. Ein menschlich gesteuerter Nissan erfasste eine Fußgängerin und schleuderte sie in die Fahrbahn eines Cruise-Robotaxis. Das Cruise-Fahrzeug traf sie und hielt an. Bis dahin funktionierte das System — unvollkommen, aber innerhalb der Parameter.

Dann setzte die Nachaufprall-Logik ein. Die Aufprallerkennung des Systems war nicht fein genug, um zwischen einem frontalen Überfahren und einer Seitenkollision zu unterscheiden. Es stufte das Ereignis als Seitenaufprall ein. Und die vorprogrammierte Reaktion auf einen Seitenaufprall lautete: an den Straßenrand fahren, um den Verkehr nicht zu blockieren.

Das Auto fuhr an den Rand. Mit einem Menschen, der darunter eingeklemmt war. Es schleifte sie sechs Meter weit mit etwa 11 km/h, bevor es „übermäßigen Radschlupf“ erkannte — den es als mechanischen Defekt interpretierte, nicht als Person.

Nach diesem Vorfall habe ich eine Woche lang mit meinem Team darüber gestritten, wie die richtige Reaktionsarchitektur hätte aussehen müssen. Einer unserer Ingenieure — brillanter Kopf, sehr stark auf formale Methoden ausgerichtet — beharrte darauf, das Problem sei mit besserer Sensorfusion lösbar. „Wenn das System eine Belegungserkennung unter dem Chassis gehabt hätte“, sagte er, „hätte es Bescheid gewusst.“

Er hatte recht. Aber er verfehlte auch den Kern. Das tiefere Versagen war, dass das System kein Konzept von Unsicherheit über die eigene Diagnose hatte. Es klassifizierte den Aufprall und handelte dann mit voller Überzeugung nach dieser Klassifizierung. Es gab keinen Zwischenzustand von „Ich bin mir nicht sicher, was gerade passiert ist, also sollte ich nichts tun, bis ich es bin.“ Die Architektur ließ keinen Zweifel zu.

Genau das meine ich, wenn ich von der Perception-Logic Gap spreche. Es geht nicht nur darum, besser zu sehen. Es geht darum, zu wissen, wann man etwas nicht weiß.

Die Vertuschung war ebenfalls Architektur

Was nach dem Cruise-Schleifvorfall geschah, war fast so aufschlussreich wie der Vorfall selbst. Untersuchungen ergaben, dass die Führungsspitze „darauf fixiert war, das unzutreffende Mediennarrativ zu korrigieren“, statt gegenüber den Aufsichtsbehörden transparent zu sein. Mitarbeiter räumten ein, den Behörden ein Video des Unfalls gezeigt zu haben, obwohl sie wussten, dass Internet-Verbindungsprobleme häufig verhinderten, dass der Schleifteil überhaupt abgespielt wurde.

Cruise zahlte schließlich eine strafrechtliche Geldbuße von 500.000 US-Dollar wegen falscher Meldungen an die NHTSA. Die kalifornische Betriebserlaubnis wurde entzogen.

Ich bringe das nicht zur Sprache, um auf Cruise einzudreschen, sondern weil es etwas Strukturelles darüber offenlegt, wie die Branche mit Sicherheit umgeht. Wenn Ihr KI-System eine Blackbox ist — wenn selbst Ihre eigenen Ingenieure nicht vollständig erklären können, warum es in einem bestimmten Moment eine bestimmte Entscheidung getroffen hat — wird die Versuchung übermächtig, das Narrativ zu kontrollieren, statt die Architektur zu reparieren.

Transparenz ist bei autonomen Fahrzeugen keine PR-Strategie. Sie ist eine technische Anforderung. Wenn Sie nicht jede Entscheidung, die Ihre KI in einer Krise getroffen hat, auditieren können, haben Sie kein Sicherheitssystem — Sie haben ein Haftungsrisiko.

Bei Veriprajna haben wir erklärbare Sicherheitsaudits zu einem Kernbestandteil unserer Architekturarbeit gemacht. Jede Entscheidung, die die KI trifft — besonders nach einem Aufprall — wird in einem deterministischen, manipulationssicheren Format protokolliert, das Aufsichtsbehörden in Echtzeit prüfen können. Nicht, weil wir tugendhafter wären als Cruise — sondern weil wir gesehen haben, was passiert, wenn die Alternative lautet: „Lassen wir das Video für sich sprechen.“

Über das vollständige technische Rahmenwerk hinter diesem Ansatz habe ich in unserem interaktiven Whitepaper geschrieben, einschließlich der spezifischen Fehlermodi, die wir bei Uber, Cruise, Tesla und Waymo katalogisiert haben.

Was bedeutet Teslas „Vision-Only“-Wette tatsächlich für die Sicherheit?

Teslas Ansatz beim autonomen Fahren unterscheidet sich philosophisch von dem von Uber oder Cruise, und die Fehler sind ebenfalls andere. Aber sie reimen sich.

Teslas Full-Self-Driving-System verlässt sich ausschließlich auf Kameras — kein LiDAR, kein Radar. Elon Musk hat LiDAR eine „Krücke“ genannt. Die Wette lautet, dass hinreichend fortschrittliche neuronale Netze ein vollständiges 3D-Verständnis der Welt allein aus 2D-Bildern rekonstruieren können, so wie es das menschliche Sehen tut.

Es ist eine elegante Idee. Ich finde sie sogar intellektuell überzeugend. Aber die NHTSA hat zwischen 2024 und 2025 über 40 Untersuchungen zu FSD-bezogenen Unfällen eröffnet, die 2,9 Millionen Fahrzeuge betreffen, und das Muster ist vernichtend.

Achtzehn separate Beschwerden betreffen Fahrzeuge, die rote Ampeln überfuhren oder Signalzustände nicht erkannten. Mehrere Berichte beschreiben Autos, die in den Gegenverkehr gerieten. Eine tödliche Kollision im Jahr 2023 ereignete sich bei Sonnenblendung auf nassem Asphalt — Bedingungen, unter denen das optische Signal-Rausch-Verhältnis unter das fällt, was irgendein Kamerasystem zuverlässig interpretieren kann.

Ich nenne das Capability Theater (Kompetenz-Theater): Das System glänzt unter optimalen Bedingungen und erzeugt eine Illusion von Kompetenz, die an den Rändern zusammenbricht. Sonniger Tag, freie Straße, Standardkreuzung? Makellos. Flacher Sonnenstand, nasse Fahrbahn, ungewöhnliche Fußgängerquerung? Das System baut nicht sanft ab. Es fällt abrupt aus.

Das Problem ist nicht, dass Vision-Only theoretisch nicht funktionieren kann. Das Problem ist, dass Tesla es im großen Maßstab ausrollt, ohne das, was ich Assurance Gates (Absicherungsschranken) nennen würde — harte Grenzen, die verhindern, dass die KI folgenschwere Entscheidungen trifft, wenn ihre Konfidenz unter einen verifizierten Schwellenwert fällt. Wenn die Blendsättigung einen bestimmten Prozentsatz überschreitet, sollte das System das Fahren verweigern, nicht härter raten.

Wie beweist man, dass eine KI niemanden töten wird?

Das ist die Frage, die mich nachts wach hält. Nicht metaphorisch — buchstäblich. Es gab im letzten Jahr eine Phase, in der ich bis 2 Uhr morgens formale Verifikationsexperimente laufen ließ und versuchte, die Grenze zwischen „ausreichend getestet“ und „nachweislich sicher“ zu finden.

Klassisches Softwaretesten ist Blackbox-Testen: Man lässt das System durch N Szenarien laufen, und wenn es alle besteht, liefert man aus. Aber autonome Fahrzeuge begegnen nicht N Szenarien. Sie begegnen der gesamten physischen Welt, mit all ihrem Chaos, ihren Grenzfällen und Menschen, die Unerklärliches tun. Kein noch so umfangreiches Szenariotesten kann diesen Raum abdecken.

Formale Verifikation verfolgt einen anderen Ansatz. Statt zu fragen „Hat das System diese Tests bestanden?“, fragt sie: „Gibt es irgendeine Eingabe, die eine unsichere Ausgabe erzeugen könnte?“ Werkzeuge wie Marabou und α,β-CROWN können ein neuronales Netz als Menge mathematischer Constraints darstellen und dann — erschöpfend — nach Verletzungen suchen.

Eine Sicherheitseigenschaft könnte so aussehen: Für jede mögliche Eingabe innerhalb eines Bereichs „schlechte Sicht“ darf der Bremsbefehl niemals unter einen Mindestschwellenwert fallen. Wenn der Solver ein Gegenbeispiel findet — eine konkrete Eingabe, die die Eigenschaft verletzt — haben Sie eine Schwachstelle identifiziert, bevor sie jemanden tötet.

Eines Nachts ließen wir eine Verifikation an einem Perzeptionsmodell laufen, und der Solver lieferte ein Gegenbeispiel zurück, mit dem keiner von uns gerechnet hatte. Eine sehr spezifische Kombination aus Lichteinfallswinkel und Objektabstand, die dazu führte, dass die Bremskonfidenz auf nahezu null fiel. Es war kein Szenario, auf dessen Test einer von uns gekommen wäre. Der Solver fand es, weil er nicht riet — er bewies.

Dieser Moment hat für mich etwas kristallisiert. Testen fragt: „Funktioniert das?“ Verifikation fragt: „Kann das fehlschlagen?“ Das sind grundlegend verschiedene Fragen, und sicherheitskritische KI verlangt die zweite.

Testen sagt Ihnen, was Ihre KI tut. Verifikation sagt Ihnen, was sie niemals tun kann. Für sicherheitskritische Systeme zählt nur die zweite Frage.

Der Haken ist, dass heutige neuronale Netze riesig sind — Millionen von Parametern — und die erschöpfende Verifikation großer Netze rechnerisch nicht handhabbar ist. Wir begegnen dem mit Neuron-Pruning: dem systematischen Entfernen redundanter Neuronen, die nichts zur Genauigkeit beitragen, das Netz aber zu komplex zum Verifizieren machen. Das Ergebnis ist ein schlankeres Modell, das sowohl leistungsfähig als auch mathematisch beweisbar ist.

Für die vollständige technische Aufschlüsselung unserer Verifikations-Pipeline — einschließlich der SMT-Solver-Methodik und des Pruning-Ansatzes — siehe unser ausführliches Forschungspapier.

Wenn das Problem nicht die KI ist — sondern die Welt

Waymo hat über 90 Millionen Kilometer (56 Millionen Meilen) zurückgelegt und weist deutlich niedrigere Verletzungsraten auf als menschliche Fahrer. Nach den meisten Kennzahlen sind sie der Branchenführer. Und dennoch hat Waymo einen Fehlermodus offengelegt, auf den niemand in der Branche für autonome Fahrzeuge vorbereitet war: die Welt selbst, die sich der Kooperation verweigert.

Während eines Stromausfalls 2025 in Los Angeles blieben Dutzende Waymo-Robotaxis an unbeleuchteten Kreuzungen stecken. Die Fahrzeuge waren so programmiert, dass sie ausgefallene Ampeln wie Vier-Wege-Stoppschilder behandelten — die rechtlich korrekte Reaktion. Aber wenn Dutzende autonomer Fahrzeuge alle an derselben toten Kreuzung ankommen, jedes höflich auf seinen Zug wartet und jedes gleichzeitig menschliche Fernunterstützung anfordert, bekommt man etwas, das ich die Independence Trap (Unabhängigkeitsfalle) zu nennen begonnen habe: Jedes Fahrzeug verhält sich isoliert betrachtet korrekt und erzeugt dabei kollektiv einen Stau, den kein einzelnes Fahrzeug auflösen kann.

Das Zentrum für Fernunterstützung war überlastet. Robotaxis blockierten andere Robotaxis. Das System, das mit einem Auto an einer Kreuzung perfekt funktionierte, brach zusammen, als es auf eine Flotte in einem stadtweiten Notfall skaliert wurde.

Und dann gibt es das Problem, über das öffentlich niemand sprechen will. Während ziviler Unruhen in Los Angeles Anfang 2025 griffen Menschenmengen Waymo-Fahrzeuge an — sie zerstachen Reifen, zertrümmerten Scheiben, setzten Autos in Brand. Die Fahrzeuge, programmiert auf „passive Sicherheit“, hielten einfach an, sobald sie von Menschen umringt waren. Was genau die falsche Reaktion ist, wenn die Menschen, die einen umringen, das Fahrzeug mitsamt den Insassen zerstören wollen.

Das hat zu ernsthaften Diskussionen über etwas geführt, das manche Forscher einen „Danger Escape Mode“ nennen — die Fähigkeit eines autonomen Fahrzeugs, geringfügige Verkehrsverstöße zu begehen (einen Bordstein zu überfahren, bei Rot weiterzufahren), um seine Insassen vor Gewalt zu schützen. Das erfordert ein grundlegendes Überdenken der ethischen Hierarchie der KI, und es ist ein Problem, das sich mit noch so guten Sensoren oder noch so schnellen Prozessoren nicht lösen lässt.

Ich habe das in einem Meeting mit einem potenziellen Kunden angesprochen, und jemand sagte: „Kann man solche Grenzfälle nicht einfach mit GPT abhandeln?“ Ich glaube, mein Gesichtsausdruck sagte mehr als meine Worte. Das ist ein Problem der Entscheidungsarchitektur, das formales ethisches Schlussfolgern erfordert, keinen Chatbot.

Warum können wir uns nicht einfach zur Sicherheit hin testen?

Diese Frage bekomme ich ständig gestellt. „Wenn Waymo 90 Millionen Kilometer an Daten hat — ist das nicht genug Testen?“

Nein. Und der Grund ist mathematischer, nicht philosophischer Natur.

Der Raum möglicher Fahrszenarien ist praktisch unendlich. Man kann 90 Millionen Kilometer fahren und dabei nie auf die spezifische Kombination aus Sonnenblendung, nassem Asphalt und einem ungewöhnlich gekleideten Fußgänger treffen, die das Perzeptionssystem scheitern lässt. Grenzfälle sind keine seltenen Varianten häufiger Szenarien — sie sind Szenarien, die in den Lücken zwischen allem existieren, was man bereits gesehen hat.

Deshalb verschiebt sich die Regulierungslandschaft von „Zeigt uns eure Testergebnisse“ hin zu „Zeigt uns eure Sicherheitsnachweise“. ISO 21448, bekannt als SOTIF — Safety of the Intended Functionality — wurde speziell entwickelt, um Gefahren zu adressieren, die auftreten, wenn die KI exakt wie programmiert arbeitet, aber auf eine Umgebung trifft, mit der sie nicht umgehen kann. Es geht nicht um versagende Hardware. Es geht um die inhärenten Grenzen der KI, die auf die reale Welt treffen.

Und ISO/PAS 8800, die Ende 2024 zur maßgeblichen Norm für KI in Straßenfahrzeugen wurde, geht noch weiter: Sie verlangt das Management des gesamten KI-Lebenszyklus, von der Datenerhebung bis zur Überwachung nach dem Einsatz. Die Ära des „Erst ausliefern, dann sehen, was passiert“ geht zu Ende — zumindest für Unternehmen, die in der EU, den USA und den großen asiatischen Märkten legal operieren wollen.

Bei Veriprajna richten wir unsere Arbeit darauf aus, Kunden in das zu bewegen, was SOTIF den „Known/Safe“-Quadranten nennt — indem wir auslösende Bedingungen systematisch identifizieren, Umgebungszustände kartieren, die Perzeptionsfehler verursachen, und High-Fidelity-Simulation nutzen, um Grenzfälle einzuspeisen, deren Test auf echten Straßen zu gefährlich wäre.

Der wahre Unterschied zwischen einem Wrapper und einer Lösung

Ich habe die letzten Jahre damit verbracht zu beobachten, wie sich die KI-Branche in zwei Lager spaltet — und die Kluft wird größer.

Auf der einen Seite steht die Wrapper-Ökonomie — Unternehmen, die Konversationsschnittstellen auf große Sprachmodelle aufsetzen und dabei auf Bereitstellungsgeschwindigkeit und Nutzererlebnis optimieren. Ein Teil dieser Arbeit ist wirklich nützlich. Das meiste davon ist für sicherheitskritische Anwendungen irrelevant.

Auf der anderen Seite steht das, was ich Deep AI Engineering (tiefes KI-Engineering) nenne: die Integration von formaler Verifikation, Resilienz der Sensorfusion und deterministischen Sicherheitsarchitekturen. Es ist langsamer. Es ist schwerer. Es macht in Demos weniger Eindruck. Und es ist der einzige Ansatz, der den Kontakt mit der physischen Welt übersteht.

Das technische Herzstück dieser Verschiebung ist Bird's-Eye-View-Perzeption mit Occupancy Networks. Statt einzelne Kamerabilder zu verarbeiten und zu versuchen, sie zusammenzunähen — ein Prozess, der an jeder Naht Daten verliert — transformiert BEV-Perzeption Kamera- und LiDAR-Daten aus mehreren Blickwinkeln in ein einheitliches 3D-Raster in der Draufsicht. Und statt zu fragen „Was ist dieses Objekt?“, fragen Occupancy Networks: „Ist dieser Raum belegt?“

Diese Unterscheidung ist enorm wichtig. Hätte das Uber-ATG-System belegten Raum verfolgt, statt zu versuchen, Objekte zu klassifizieren, wäre es egal gewesen, ob das System Herzberg für eine Fußgängerin, ein Fahrrad oder ein unbekanntes Objekt hielt. Der Raum war belegt. Der Raum lag in der Fahrbahn des Fahrzeugs. Bremsen.

Ebenso hätte das Cruise-Fahrzeug, wenn es unter seinem Chassis eine Belegungserkennung betrieben hätte, gewusst, dass sich etwas unter dem Auto befand — unabhängig davon, wie es den Aufprall klassifizierte. Der belegte Raum hätte das Rangiermanöver an den Straßenrand überschrieben.

Die Frage lautet nicht „Was ist dieses Objekt?“ — sie lautet „Ist dieser Raum belegt?“ Diese eine Neuformulierung hätte die beiden berüchtigtsten Katastrophen autonomer Fahrzeuge des letzten Jahrzehnts verhindern können.

Wir nutzen Transformer-Architekturen — dieselbe grundlegende Technologie, die hinter GPT steckt — aber nicht für Konversation. Wir setzen sie als räumliche Schlussfolgerungsmaschinen ein, die heterogene Sensordaten zu etwas verschmelzen, das wir Shared Canvas (gemeinsame Leinwand) nennen. Temporale Self-Attention erlaubt es dem System, sich zu merken, wo ein Objekt war, selbst während vorübergehender Verdeckungen — eine Fußgängerin, die hinter einem geparkten Lkw entlanggeht, verschwindet nicht aus dem Bewusstsein des Modells, nur weil die Kameras sie zwei Sekunden lang nicht sehen können.

Die 8,5-Millionen-Dollar-Lektion

Der Uber-ATG-Vergleich belief sich auf 8,5 Millionen US-Dollar. Die strafrechtliche Geldbuße für Cruise lag bei 500.000 US-Dollar — eine Zahl, die die Betriebseinstellung, den Reputationsschaden und das menschliche Leid nicht im Ansatz abbildet. Die NHTSA-Untersuchung zu Tesla umfasst 2,9 Millionen Fahrzeuge. Die globalen Durchschnittskosten einer einzelnen Datenschutzverletzung liegen inzwischen bei 4,44 Millionen US-Dollar.

Wenn ich diese Zahlen zusammenzähle, ist die Schlussfolgerung für die „Move fast and break things“-Fraktion unbequem: Der billige KI-Wrapper ist der teuerste Fehler, den ein Unternehmen machen kann. Nicht, weil er nicht funktionierte — in kontrollierten Umgebungen läuft er einwandfrei. Aber in dem Moment, in dem er auf die unkontrollierte Welt trifft — die dunkle Straße, die Verwirrung nach dem Aufprall, die Sonnenblendung auf nassem Asphalt, die wütende Menge — verwandelt das Fehlen einer deterministischen Sicherheitsarchitektur eine Software-Beschränkung in eine menschliche Katastrophe.

Manche halten unserem Ansatz entgegen, formale Verifikation sei zu langsam, zu teuer, zu akademisch für reale Einführungszeitpläne. Ich verstehe den Einwand. Verifikation ist rechenintensiv. Netze auf Verifizierbarkeit hin zu prunen, kostet Zeit. Sicherheitsarchitekturen mit harten Assurance Gates zu bauen, ist mehr Arbeit, als eine API zu umhüllen.

Aber ich würde diese Leute bitten, sich das Cruise-Schleifvideo anzusehen. Den NTSB-Bericht über Elaine Herzbergs Tod zu lesen. Sich die 18 Rotlicht-Beschwerden in der Untersuchung zu Teslas FSD anzuschauen. Und mir dann zu sagen, dass „zu langsam“ ein triftiger Einwand gegen einen Ansatz ist, der genau darauf ausgelegt ist, solche Ausgänge zu verhindern.

Die Ära, autonome Systeme auf probabilistischer Hoffnung zu bauen, geht zu Ende. Nicht, weil Regulierungsbehörden es erzwingen — obwohl sie das tun — sondern weil die Physik der realen Welt es verlangt. Ein KI-System, das tausend Kreuzungen perfekt bewältigt und dann an der tausendersten eine rote Ampel überfährt, ist nicht zu 99,9 % sicher. Es ist unsicher, Punkt. Sicherheit ist kein Prozentsatz. Sie ist eine Eigenschaft — eine, die entweder unter allen verifizierten Bedingungen gilt oder überhaupt nicht.

Das ist der Wandel, um den herum ich Veriprajna aufbaue. Keine besseren Wrapper. Keine schnelleren Demos. Deterministische Absicherung für Systeme, bei denen ein Versagen kein Bugreport ist — sondern eine Totenzahl.