Sensorfusion & Signal Intelligence

Jede Sensormodalität weist Fehlermodi auf, die keine Randfälle sind, sondern vorhersehbare physikalische Konsequenzen: Eine Kamera kann nicht durch Nebel blicken, ein LiDAR liefert bei starkem Regen Phantompunkte, und Radar liefert Entfernung und Geschwindigkeit, kann aber kein Stoppschild lesen. Unser Ansatz besteht darin, Architekturen für Multi-Sensor-Fusion aufzubauen — die Radar, LiDAR, Kameras, HF- und Spektraldaten kombinieren —, die darauf ausgelegt sind, Sensordiskrepanzen als Information statt als Rauschen zu behandeln und auch bei partiellem Sensorverlust, Kalibrierungsdrift und adversarialer Manipulation kohärent zu bleiben, während sie auf Edge-Hardware unter strikten Latenzbeschränkungen laufen.

Warum Single-Sensor-Perzeption in der realen Welt versagt

Am 18. März 2026 stufte die NHTSA ihre Untersuchung des rein kamerabasierten Full-Self-Driving-Systems von Tesla zu einer Engineering Analysis für 3.2 Millionen Fahrzeuge hoch. Die zentrale Erkenntnis: Die Degradationserkennung des Systems warnte Fahrer bei schlechten Sichtverhältnissen erst unmittelbar vor dem Aufprall. Damit holt die Regulierungswelt das ein, was Sensorfusions-Ingenieure seit Jahren wissen.

Eine Kamera kann nicht durch Nebel blicken. Ein LiDAR liefert bei starkem Regen Phantompunkte. Radar liefert Entfernung und Geschwindigkeit, kann aber kein Stoppschild lesen. Jede Sensormodalität weist Fehlermodi auf, die vorhersehbare physikalische Konsequenzen sind und keine Randfälle (ausführlich beschrieben in unserer Forschung zu physikalisch beschränkter Perzeption). Die Frage ist nie, ob ein einzelner Sensor ausfällt — sondern wann, und ob Ihr System diesen Ausfall kontrolliert oder katastrophal bewältigt.

Unser Ansatz besteht darin, Fusionsarchitekturen zu entwickeln, die darauf ausgelegt sind, Sensordiskrepanzen als Information und nicht als Rauschen zu behandeln. Wenn ein LiDAR ein Hindernis meldet, das das Radar nicht bestätigt, ist dieser Konflikt selbst ein Signal über die Umgebung, den Zustand des Sensors oder eine adversariale Bedingung. Die ingenieurtechnische Herausforderung besteht darin, Systeme zu entwerfen, die bei partiellem Sensorverlust, Kalibrierungsdrift und adversarialer Manipulation kohärent bleiben, während sie auf Edge-Hardware unter harten Latenzbeschränkungen laufen.

Das Kalibrierungsproblem, für das niemand ein Budget einplant

37 Prozent der Unternehmen, die Multi-Sensorsysteme einsetzen, nennen Kalibrierungskomplexität als ihre primäre Integrationshürde. Der Grund liegt auf der Hand: Extrinsische Parameter zwischen Sensoren driften durch thermische Zyklen, mechanische Vibrationen und schlichte Alterung. Ein Kamera-LiDAR-Paar, das im Labor bei 20 Grad Celsius kalibriert wurde, weist messbar veränderte extrinsische Parameter auf, nachdem es bei 50 Grad unter direkter Sonneneinstrahlung auf einer Motorhaube betrieben wurde. Eine manuelle Neukalibrierung durch Techniker mittels Schachbrett-Kalibriertafeln ist bei Hunderten von Einheiten im Feld nicht skalierbar.

Wir konzipieren automatisierte Rekalibrierungs-Pipelines, die kontinuierlich im Feldeinsatz laufen. Diese nutzen zielfreie Methoden, die geometrische Korrespondenzen direkt aus der Umgebung ableiten — Kanten, Ebenen, Bewegungsparallaxe —, anstatt Kalibrierungsziele zu erfordern. Die Pipeline ist darauf ausgelegt:

• Zustandsmetriken für jeden einzelnen Sensor zu überwachen und Drifts zu erkennen, bevor sie die Fusionsqualität beeinträchtigen.
• Rekalibrierungen auszulösen, ohne das System offline zu nehmen.
• Den Kalibrierungszustand für ganze Flotten zentral zu verfolgen, damit Wartungsteams wissen, welche Einheiten sich Rekalibrierungsschwellen nähern, bevor sie eine Perzeptions-Qualitätsprüfung nicht bestehen.

Die Fusionsstrategie ist eine Engineering-Entscheidung, kein Standardwert

Die Wahl zwischen Early-, Mid-Level- und Late-Fusion wird durch die spezifische Sensorkonfiguration, das Rechenbudget und die Toleranz des Systems gegenüber dem Ausfall einzelner Sensoren bestimmt. Es gibt keine allgemeingültige Antwort.

Foundation Models und Vision-Language Models beginnen dieses Kalkül zu verändern. Der DriveX-Workshop der CVPR 2026 widmet sich vollständig Foundation Models für autonome Perzeption, und diffusionsbasierte generative Fusion sowie rekurrente Architekturen im Mamba-Stil etablieren sich als Alternativen zur traditionellen Merkmalskonkatenation. Diese Ansätze ermöglichen Zero-Shot-Erkennung, die handgefertigte Pipelines nicht erreichen können, verursachen jedoch höhere Rechenkosten und sind in sicherheitskritischen Produktionsumgebungen noch nicht erprobt.

Entscheidungskombination: Bayes'sch vs. Dempster-Shafer

Für die Aggregation auf Entscheidungsebene ist die Wahl zwischen bayesscher Kombination und Dempster-Shafer-Evidenztheorie in der Praxis von entscheidender Bedeutung. Die klassische Dempster-Shafer-Theorie weist eine gut dokumentierte Pathologie auf — Zadehs Paradoxon: Wenn zwei Sensoren stark voneinander abweichen, kann die Kombinationsregel einen katastrophalen Vertrauenskollaps verursachen und einer irrelevanten Hypothese nahezu die gesamte Glaubwürdigkeit zuweisen. Die meisten Produktions-Stacks nutzen modifizierte Dempster-Shafer-Verfahren mit Konfliktumverteilung oder wechseln vollständig zu bayesschen Netzen. Unsere Methode besteht darin, das erwartete Sensorübereinstimmungsprofil für jedes Deployment zu analysieren und diejenige Kombinationsmethode auszuwählen, die realistische Diskrepanzmuster ohne pathologisches Verhalten verarbeitet.

Adversariale Resilienz ist nicht optional

GPS-Spoofing-Angriffe auf autonome Fahrzeuge erzielen in getesteten Szenarien Erfolgsraten zwischen 59% und 82% , wobei die Lokalisierung des Fahrzeugs durch das Einspeisen falscher Satellitensignale manipuliert wird. LiDAR-Spoofing nutzt ein adversariales Gerät in direkter Sichtlinie, um LiDAR-Pulse zu erfassen, zu modifizieren und neu auszusenden, wodurch Phantomobjekte erzeugt oder reale Objekte in der 3D-Punktwolke verborgen werden. Elektromagnetische Interferenzen können Radar blenden. Dies sind keine theoretischen Risiken — es sind demonstrierte Angriffe mit publizierten Erfolgsraten, und die Verteidigungsforschung stuft sie als operationelle Bedrohungen in umkämpften Einsatzgebieten ein.

Wir entwickeln Fusionsarchitekturen mit expliziten Schichten für adversariale Resilienz, gestützt auf unsere Forschung zum Aufbau von KI-Robustheit gegen adversariale Angriffe:

• Cross-modale physikalische Validierung prüft, ob die Meldungen eines Sensors mit den anderen konsistent sind. Meldet das GPS eine Bewegung nach Norden mit 60 km/h, während IMU und visuelle Odometrie Stillstand signalisieren, markiert das System das GPS als kompromittiert, anstatt den Widerspruch herauszumitteln.
• Sensorzustands-Überwachung nutzt Anomalieerkennung, um Spoofing-Signaturen zu identifizieren, bevor korrumpierte Daten in die Pipeline gelangen.
• Für Verteidigungskontexte wird ein Auftrag so zugeschnitten, dass unter systematischen adversarialen Szenarien getestet wird — einschließlich simultaner Angriffe auf mehrere Sensoren —, was eine formale Analyse des Degradationsverhaltens liefert.

Signal Intelligence: Von rohen HF-Signalen zu handlungsrelevanter Klassifizierung

Der Signal-Intelligence-Zweig dieser Kompetenz deckt die Verarbeitungskette von rohen Sensorströmen bis zur handlungsrelevanten Klassifizierung ab. Für HF-Signale bedeutet dies eine automatische Modulationsklassifizierung mittels Deep Learning auf Plattformen für Software-Defined Radio, wodurch unstrukturierte Spektrumserfassungen in identifizierte Emittertypen mit Standortschätzungen überführt werden. Das SBIR-Programm der US Army für 2025 fordert ausdrücklich KI/ML-basierte Erkennung von HF-Modulationen, da taktische Sensoren weite Spektrumsbereiche scannen und Emissionen mit Maschinengeschwindigkeit charakterisieren müssen.

Für Nicht-HF-Signale gilt dieselbe Verarbeitungsdisziplin. Vibrationssignaturen von Industrieanlagen durchlaufen eine spektrale Zerlegung — Kurzzeit-Fourier-Transformationen, Wavelet-Analysen — sowie gelernte Repräsentationen aus Temporal Convolutional Networks oder State-Space-Modellen, um Fehlervorläufer zu erkennen. Schallemissionen von Windkraftanlagen-Rotorblättern werden mit Wärme- und Vibrationsdaten fusioniert und prognostizieren strukturelle Degradation 18 Stunden vor dem Ausfall, wie jüngste Produktionseinsätze belegen.

Systeme zur prädiktiven Instandhaltung mit fusionierten Vibrations-, Wärme- und Akustikdaten erreichen Falsch-Positiv-Raten von unter 8%, im Vergleich zu 35–40% bei Einzelsensor-Ansätzen. Jeder Verarbeitungsschritt bewahrt die Unsicherheitsschätzung, sodass nachgelagerte Entscheidungssysteme kalibrierte Konfidenzgrenzen anstelle von bloßen Vorhersagen erhalten.

Domänenspezifische Fusion über vertikale Branchen hinweg

Sensorfusion ist keine generische Fähigkeit, die sich unverändert auf alle Domänen übertragen lässt. Die Sensorsuite, die Fusionsstrategie, die Latenzbeschränkungen und die Ausfallfolgen unterscheiden sich grundlegend.

Autonome Fahrzeuge und ADAS

Der Markt für 4D-Imaging-Radar wächst um 13.5% jährlich, und erreicht $3.13 Milliarden im Jahr 2026, da 4D-Radar seine Leistung bei Regen und Nebel aufrechterhält, wo LiDAR erheblich degradiert. Die Fusion von LiDAR und 4D-Radar verbessert die 3D-Objekterkennung um bis zu 20% unter Nebelbedingungen im Vergleich zu LiDAR allein. Waymos System der 6. Generation reduzierte die Sensoranzahl um 42% bei einer Senkung der Stückkosten von rund $100,000 auf unter $20,000, was belegt, dass bessere Fusionsalgorithmen Sensorredundanz ersetzen können, wenn das Engineering solide ist.

Verteidigung und ISR

Der Markt für Drohnenabwehr (Counter-UAS) erreicht Prognosen zufolge $19 Milliarden bis 2035. HF-Sensoren erfassen Drohnen auf 8–10 km, können jedoch eine feindliche Drohne nicht von einem Vogel unterscheiden. Eine kamerabasierte visuelle Bestätigung ist vor einer Bekämpfung zwingend erforderlich, doch Kameras haben eine begrenzte Reichweite. Die Fusion von HF-Erkennung mit KI-gestütztem Videotracking und Radar schafft eine mehrschichtige Identifikationskette, die kein Einzelsensor bieten kann. Das Konsortium aus Palantir und Anduril baut genau eine solche integrierte Sensor-to-Effector-Pipeline auf, doch ihr Ansatz erzeugt tiefe Plattformabhängigkeiten. Organisationen, die eine souveräne oder anbieterneutrale Fusionsfähigkeit benötigen, brauchen maßgeschneiderte Architekturen — siehe unsere funktionierende Demo für GPS-unabhängige Drohnenautonomie.

Industrie, Landwirtschaft und Sport

• Industrielle Fertigung: Fusionierte Vibrations-, Wärme- und Akustiksensorik erfasst über 80% der Ausfallmodi von Anlagen.
• Präzisionslandwirtschaft: Multispektrale und thermische Drohnenfusion erkennt Pflanzenkrankheiten 2–3 Wochen vor Symptomausbruch mit 81–95% Genauigkeit.
• Sportanalytik: Die Fusion aus IMU und Kameras verbessert die Positionsgenauigkeit um 42% gegenüber Einzelsystem-Tracking (unsere Forschung zu Sensorfusion bei Schiedsrichterentscheidungen im Sport).

Wann Sensorfusion die falsche Wahl ist

Nicht jedes Perzeptionsproblem erfordert mehrere Sensoren. Ein gut kalibrierter Einzelsensor ist besser als ein mangelhaft integrierter Multi-Sensor-Stack. Bietet Ihre Sensorkonfiguration redundante statt komplementäre Abdeckung, führt das Hinzufügen weiterer Modalitäten zu Komplexität, Kalibrierungsaufwand und potenzieller Fehlerverstärkung ohne verhältnismäßigen Nutzen. Reicht Ihr Rechenbudget für eine Echtzeit-Fusionsverarbeitung nicht aus, erzielen Sie eine schlechtere Leistung als mit einer einzelnen, optimierten Sensor-Pipeline. Wir evaluieren Perzeptionsanforderungen und Sensorphysik sorgfältig vor jeder Fusionsempfehlung — und sprechen es offen aus, wenn ein Einzelsensor die richtige Lösung ist.