Meine Drohne hält 0,9 % Drift durch eine GPS-Störblase. Der Code, auf den ich stolz bin, ist die Zeile, die sich weigert zu fliegen.
Ich hatte nicht erwartet, dass der wichtigste Teil dieses Projekts der Teil sein würde, der aufgibt.
Den größeren Teil eines Nachmittags hatte ich auf die Wiedergabe eines synthetischen Flugs gestarrt. Eine Drohne absolviert eine 80-Sekunden-Mission über einen 245,3-m-Pfad. GPS hält die ersten 18 Sekunden, dann stirbt es, sobald das Fluggerät in eine simulierte Blase elektronischer Kampfführung eintritt. Auf dem Bildschirm fächern sich von diesem Moment an drei Spuren auf. Eine davon, eine leuchtend pinke Linie, biegt Richtung Kartenecke ab und fliegt weiter — selbstbewusst und völlig falsch —, während eine kleine Anzeige daneben beharrt, alles sei in Ordnung.
Diese pinke Linie ist Standard-visuell-inertiale Odometrie (VIO), und zuzusehen, wie sie mich anlügt, hat die ganze Gestalt dessen verändert, was ich baute. Ich hatte angenommen, das harte Problem bei GPS-freier Navigation sei, genau zu bleiben. Das ist es nicht. Das harte Problem ist zu wissen, in dem einen Moment, der zählt, dass man es nicht ist.
Im GPS-freien Luftraum ist eine selbstbewusste, aber falsche Position gefährlicher als ein ehrliches „Ich weiß es nicht.“
Dies ist die Geschichte vom Bau von Lodestar, unserer Navigationsintegritäts-Engine, und von der Woche, in der ich das falsche Problem löste, bevor ich das richtige verstand.
Eine Woche lang jagte ich der Genauigkeit hinterher, bevor ich das eigentliche Problem verstand
Ich fing dort an, wo die meisten anfangen: beim Schätzer. Elektronische Kampfführung hat GPS genau dort unzuverlässig gemacht, wo autonome Drohnen jetzt zählen: umkämpfter Luftraum, Tagebaue, Tunnel, urbane Canyons. Störung und Spoofing im umkämpften Luftraum werden inzwischen weithin berichtet — so häufig, dass GPS-freie Navigation aufgehört hat, eine Forschungskuriosität zu sein, und zu einer harten Anforderung geworden ist. Der offensichtliche Fix ist, visuell-inertiale Odometrie anzubauen, die Kamera mit den Inertialsensoren zu fusionieren und zu hoffen, dass der Drift klein bleibt.
Also baute ich ein echtes eng gekoppeltes VIO-EKF und verbrachte meine erste Woche damit, es genau zu machen. Derselbe Filter, drei ehrliche Konfigurationen: eine IMU-Koppelnavigation als Baseline ganz ohne Vision, ein Standard-VIO, das jedes visuelle Merkmal fusioniert, das es sieht, und eine integritätsbewusste Version, die vorsichtiger ist, welchen Merkmalen sie glaubt. Ich ließ sie alle gegen eine Ground Truth laufen, die der Simulator unabhängig von jedem Schätzer erzeugt, sodass nichts seine eigene Hausaufgabe bewerten konnte. Die ganze Mission ist geseedet — Byte für Byte reproduzierbar —, was damals wichtiger war, als ich ahnte.
Die Genauigkeitszahlen waren wirklich gut. Durch die Störblase hält der integritätsbewusste Schätzer 0,92 % Drift, 2,26 m Endfehler über diesen 245,3-m-Pfad. Die Koppelnavigation hingegen explodiert auf 30,95 % Drift und 75,92 m Endfehler — der Unterschied zwischen Landen auf dem Pad und Landen im nächsten Landkreis. Etwa einen Tag lang war ich zufrieden mit mir.
Dann ließ ich den Konvoi laufen.
Was eine Störblase mit einer Drohne macht, die ihren eigenen Augen vertraut
Ich will ehrlich sagen, wie alltäglich die GPS-Übergabe aussieht, denn das ist der Teil, der funktioniert. Wenn GPS bei t=18 s ausfällt, gewichtet der Filter auf die visuell-inertiale Quelle um — ohne Moduswechsel, ohne Alarm, ohne für den Bediener sichtbare Naht. Die Schätzung bleibt einfach kontinuierlich. Würden Sie die Mission fliegen, spürten Sie nicht, dass der Boden verschwindet.
Hier ist, was ich unterschätzt habe. Eine Drohne, die mit Vision fliegt, scheitert nicht, indem sie langsam schlechter wird. Sie scheitert, indem sie sich auf das Falsche einrastet und eine saubere, selbstbewusste Position meldet, die schlicht Müll ist. Der Schätzer weiß nicht, dass er getäuscht wurde, weil die Maschinerie, die die Position berechnet, dieselbe Maschinerie ist, die bemerken müsste, dass die Position falsch ist. Ich hatte ein System gebaut, das genau war bis zu dem Moment, in dem es katastrophal, still falsch lag — und von innen hatte ich keine Möglichkeit, die beiden Zustände zu unterscheiden.
Das ist kein Tuning-Problem. Man kann sich nicht durch Tuning aus einem System herauswinden, das selbstbewusst falsch liegt. Ich brauchte etwas, das vollständig außerhalb des Schätzers sitzt.
Der Konvoi, der einen guten Schätzer das Lügen lehrte
Ich baute das Konvoi-Szenario eigens, um meine eigene Arbeit zu zerbrechen — und das tat es. Zwischen t=30 und t=43 durchquert eine Fahrzeugkolonne eine texturarme Lichtung und sprüht Scheinmerkmale, die für ein hungriges VIO-Frontend genau wie die stabilen Landmarken aussehen, die es verfolgen will. Das ist der dokumentierte ORB-SLAM3-Fehler — der, bei dem der Algorithmus den Lastwagen verfolgt und schließt, die Drohne stehe still.
Standard-VIO fiel voll darauf herein. Im selben geseedeten Lauf rastet es auf die bewegten Fahrzeuge ein und fliegt davon, endet bei 28,79 % Drift und 70,61 m Endfehler, mit einem ATE von 32,95 m, der tatsächlich schlimmer ist als ganz ohne Vision. Das war die pinke Linie, die ich beobachtet hatte. Das hässliche Detail: Während es scheiterte, sah seine interne Konfidenz gesund aus. Der Schätzer war seiner Sache sicher. Sicher einer Position, die zum Kartenrand driftete.
Der integritätsbewusste Schätzer übersteht den Konvoi aus einem einfachen Grund: Er weigert sich, Merkmalen zu glauben, die zu bewegten Objekten gehören. Im Bild oben hat semantisches Maskieren die 10 Konvoi-Merkmale verworfen und nur die 2 statischen behalten, sodass der Schätzer nie auf die Kolonne einrastet. Die Trajektorie hält. Aber der Teil, den ich nicht vorhergesehen hatte, ist, was mein Integritätsmonitor im selben Moment tat. Er malte den Bildschirm nicht grün und tat nicht so, als sei die Welt in Ordnung. Er schaltete auf AMBER, weil mit den maskierten Konvoi-Merkmalen wirklich nur eine Handvoll statischer Landmarken zum Vertrauen übrig waren. Er war genau und er war nervös — gleichzeitig — und er sagte das.
Das war das erste Mal, dass der Monitor mir etwas sagte, was der Schätzer nicht konnte, und das ist mehr wert als die Genauigkeit allein. Es zwang auch die Frage auf, der ich ausgewichen war.
Warum kann der Schätzer sich nicht einfach selbst zertifizieren?
Ich verbrachte eine peinliche Zahl von Stunden damit, das mit den eigenen Zahlen des Schätzers zu beantworten. Mein erster Integritätscheck las einfach die vom Filter gemeldete Unsicherheit, sein Positionssigma, und machte das Weiterfliegen davon abhängig. Sah die Kovarianz eng aus — fliegen. Es schien vernünftig.
Der Konvoi demolierte das. Als Standard-VIO auf den Lastwagen einrastete, blieb sein gemeldetes Sigma klein. Der Filter war genau deshalb selbstbewusst, weil er etwas Konsistentes zum Verfolgen gefunden hatte. Die Konsistenz war eine Lüge, aber die Kovarianz konnte das nicht wissen, denn Kovarianz ist eine Aussage, die der Schätzer über sich selbst trifft. Ich bat den Zeugen, sein eigenes Zeugnis zu zertifizieren.
Vertrauen darf nicht von dem abhängen, dem vertraut wird.
Dieser Satz wurde zum Entwurf. Der Navigationsintegritätsmonitor lebt absichtlich außerhalb des Schätzers, als separater Code, der eine andere Frage beantwortet. Nicht „was ist meine Position“, die das EKF beantwortet, sondern „kann dieser Position gerade vertraut werden“, die das EKF strukturell über sich selbst nicht beantworten kann. Der Monitor fusioniert drei Signale zu einem GREEN-, AMBER- oder RED-Zustand mit harten Schwellen: Anzahl nutzbarer Merkmale (GREEN bei 8 oder mehr, RED unter 1), Positionssigma (GREEN unter 0,6 m, RED über 1,5 m) und Vision-NIS, die Chi-Quadrat-Innovationskonsistenz, die genau den Fall erwischt, in dem der Schätzer selbstbewusst und falsch ist (GREEN unter 7,0, RED über 30,0). Keine einzelne Zahl kann vom Schätzer ausgespielt werden, weil zwei der drei gar nicht aus der Selbsteinschätzung des Schätzers stammen.
Das ist die Sache, von der ich bei sicherheitskritischer Autonomie inzwischen am stärksten überzeugt bin. Ein besseres VIO behebt den selbstbewusst-aber-falsch-Fehler nicht, weil „ist das vertrauenswürdig“ eine andere Frage ist als „was ist das,“ und man die erste nicht mit der Maschinerie beantworten kann, die die zweite erzeugt hat. Die Industrie hetzt weiter, den Schätzer schlauer zu machen. Die dauerhafte Architektur ist kein schlauerer Schätzer. Es ist ein Monitor, der bereit ist, ihn zu überstimmen.
Die Codezeile, die sich weigert zu fliegen
Der Moment, in dem ich mein eigenes Produkt wirklich verstand, war der Tunnel — und ich erinnere mich daran, weil es der Moment ist, in dem das System am wenigsten tut.
Zwischen t=52 und t=66 tritt die Mission in einen dunklen Tunnel ein und die nutzbaren visuellen Merkmale kollabieren auf praktisch null. Es gibt nichts zu sehen. Kein Schätzer, wie gut auch getunt, kann aus einer Szene, die er nicht beobachten kann, eine vertrauenswürdige Position herstellen. Das ist kein Fehler zum Beheben. Es ist eine Tatsache zum Respektieren. Das Standard-VIO, immer noch bemüht, treibt in eine Position ab, die es nicht beanspruchen darf.
Lodestar macht etwas anderes. Merkmale sterben, die Positionsunsicherheit überschreitet die Schwelle, und nach 0,5 Sekunden anhaltendem RED verriegelt der Monitor den Failsafe und befiehlt Return-to-Home bei t=52,5 s. Er blufft keine Position. Er erklärt die Schätzung für nicht vertrauenswürdig und gibt die Kontrolle an ein sicheres Verhalten zurück — und das deterministisch, ohne Modell in der Schleife, das irgendetwas entscheidet.
Ich will bei den Zahlen hier vorsichtig sein, denn Ehrlichkeit ist das gesamte Verkaufsargument. Über diese eine geseedete Mission hinweg markiert der Monitor den echt unbeobachtbaren Tunnel 100 % der Zeit und löst auf dem gesunden GPS-freien Abschnitt Fehlalarme bei etwa 0,1 % der Zeit, hält GREEN über 56,3 % des GPS-freien Flugs. Das sind die Ergebnisse dieser Mission — ein physiktreuer Beweis des Mechanismus, keine Open-World-Flugtestgarantie. Der dauerhafte Anspruch ist die Struktur: Vertrauen außerhalb des Schätzers berechnet, RED anhaltend bis zum verriegelten Return-to-Home, ehrliche Enthaltung bei einer Szene, die niemand navigieren könnte. Die exakten Meter gehören zu diesem Lauf. Die Architektur gehört zu jedem Lauf.
Die wertvollste Codezeile in einem Autonomiestack ist die, die sich weigert zu fliegen.
Was ich in den Bericht steckte, damit niemand mir aufs Wort glauben muss
Ich wollte nicht, dass irgendjemand meinen Screenshots vertrauen muss, also war das Letzte, was ich baute, die Quittung. Ein Klick exportiert einen Flugintegritätsbericht — JSON plus druckbares HTML — mit dem Scoreboard, den Headline-Metriken, der Enthaltungskorrektheit, der Failsafe-Zeit, der Ereigniszeitlinie und, dem Teil, der mir am meisten am Herzen liegt, einer expliziten Scope-Offenlegung dessen, was als Stub vorliegt und was zurückgestellt ist.
Diese Offenlegung ist kein Disclaimer, den ich vergrabe. Sie ist ein Feature. Der Bericht sagt klar, dass das visuelle Frontend ein Platzhalter ist, dass die LiDAR-Fusion eine simulierte Entfernungsbeschränkung statt eines echten LiDAR-Faktors ist, dass die MAVLink-Schnittstelle und der Jetson-Durchsatz hier nicht getestet werden, und dass die 30–45 FPS auf einem Jetson Orin NX 16 GB eine Zielhardware-Spezifikation sind, kein gemessenes Ergebnis. Die 16.000 EKF-Propagations-Updates im Bericht wurden auf der Demo-Maschine gemessen. Die FPS nicht — und der Bericht sagt das in genau diesen Worten.
Dieser LiDAR-Lauf lohnt das Verweilen, weil dort viele Demos betrügen würden. Schalten Sie die simulierte LiDAR ein und der Tunnel erholt sich: Die Entfernungsbeschränkung verankert die Lösung, die Integrität hält, und kein Failsafe zündet, weil die Szene nicht mehr unbeobachtbar ist. Es wäre leicht, nur diesen Lauf zu zeigen und das Problem für gelöst zu erklären. Aber der Bericht trägt auch die Kosten, zu denen die Lösungsseite steht — grob 250 bis 400 g Nutzlast und 8 bis 12 W Leistung. LiDAR ist eine echte Engineering-Abwägung mit einer echten SWaP-C-Rechnung, kein kostenloser Gewinn, und ein Käufer verdient es, die Rechnung neben dem Nutzen zu sehen.
Es gibt genau ein Modell irgendwo in der Nähe dieses Systems — einen optionalen Button, der die Technical-Review-Narrative aus dem strukturierten Bericht entwirft. Er läuft vollständig außerhalb der Flugschleife. Er schreibt Prosa. Er berührt nie eine Steuerentscheidung. Das Gate, das entscheidet, ob geflogen wird, ist deterministisch, geseedet und offline, und es würde dieselbe Entscheidung treffen, wenn der Narrative-Button herausgerissen wäre. Bei dieser Grenze war ich hart, denn der Tag, an dem ein Sprachmodell eine Stimme dazu bekommt, ob eine Drohne ihrer eigenen Position vertraut, ist ein Tag, für den ich nicht verantwortlich sein will.
Wozu ich immer wieder zurückkomme
Ich machte mich daran, eine Drohne zu bauen, die genau bleibt, wenn GPS stirbt — und das tat ich, auf dieser Mission, unter einem Prozent Drift. Was ich nicht erwartet hatte, war, überzeugt wegzugehen, dass Genauigkeit die leichte Hälfte war.
Genauigkeit ist ein Rennen, an dem jeder teilnehmen kann. Jeder in diesem Feld macht seinen Schätzer etwas enger, seine Merkmale etwas dichter, sein Backend etwas schlauer — und all das ist gute Arbeit. Aber nichts davon beantwortet die Frage, die eine Drohne in einer Störblase tatsächlich umbringt, und die lautet nicht „wie falsch liege ich“, sondern „bin ich in einer Situation, in der ich nicht wissen kann, wie falsch ich liege.“ Diese Frage muss von außerhalb des Schätzers gestellt werden — von etwas, das bereit ist, das unglamouröse Ding zu sagen und die Steuerung abzugeben.
Genauigkeit ist ein Rennen, an dem jeder teilnehmen kann. Ein System, das weiß, wann es blind ist, ist das Produkt.
Sie können das Ganze selbst laufen lassen und zusehen, wie die pinke Linie davonfliegt, dann den RED-Zustand zünden — unter veriprajna.com/de/demos/lodestar-drohnenautonomie-in-gps-verweigerten-umgebungen-die-weiss-wann-sie-nicht-kann. Es ist geseedet, also sehen Sie genau das, was ich sah.
Und wenn Sie es lieber sehen als mich es beschreiben zu lesen — hier läuft das Ganze von Ende zu Ende.
Die Frage, die ich nicht aufgehört habe zu wälzen, ist diese. Wenn das wertvollste Verhalten in Ihrem Autonomiestack die Weigerung zu handeln ist — wie viel Ihres Engineering-Budgets geht in den Teil, der aufgibt, und wie viel in den Teil, der nie gelernt hat, wann?
