確率的モデルから決定論的保証へ:セーフティクリティカル人工知能のための戦略的枠組み

現代の人工知能の状況は、技術的深度に関する根本的な誤解によって二分されている。この分断の一方には、大規模言語モデル(LLM)の「ラッパー」と特徴づけられることの多い生成インターフェース層の急速な普及があり、迅速な展開と会話の流暢さを優先する。対極にあるのは、形式検証、センサフュージョンのレジリエンス、決定論的安全アーキテクチャの統合によって定義される、ディープAIエンジニアリングという厳格な領域である。この移行を進めるエンタープライズのリーダーにとって、この区別はもはや学術的なものではない。自律システムがデジタル環境から高リスクの物理展開へと移行するにつれ、確率的な「ラッパーベース」アプローチの限界は、一連の注目を集めた失敗によって露呈してきた。

Uber Advanced Technologies Group(ATG)、GM Cruise、Tesla、Waymoが関与した事案は、本分析にとって決定的な実証データとなる。これらの事象は孤立した事故にとどまらず、アーキテクチャ上の脆弱性を示すシステム的指標である。2018年テンピ死亡事故後のUber ATGに関する$8.5 millionの和解、2023年のGM Cruiseに対するカリフォルニア州運行許可の取消、そしてTeslaのFull Self-Driving(FSD)システムに対する米国道路交通安全局(NHTSA)の継続的調査は、いずれも「知覚-論理ギャップ」の症状である。1 本レポートはこれらの失敗を分析し、セーフティクリティカルAIの新たなパラダイムを確立する——Veriprajnaを確率的インターフェースの仲介者としてではなく、深く検証可能な自律性の提供者として位置づけるものである。

確率的知覚のアーキテクチャ上の脆弱性:Uber ATGから得た教訓

2018年3月、アリゾナ州テンピで発生したUber ATG試験車両の衝突は、分類の脆性に関する基礎的ケーススタディであり続けている。当時の物語は人間の安全オペレーターの注意散漫に大きく焦点を当てていたが、米国国家運輸安全委員会(NTSB)の所見は、物理世界の安定した表現を維持するソフトウェア能力における、はるかに深刻な失敗を明らかにした。3

分類振動と対象永続性の失敗

Uber ATGシステムは、歩行者エレイン・ハーツバーグを衝突の約5.6秒前に初めて検知した。5 時速43マイルの速度で、車両はほぼ378フィート離れており、標準的な自動緊急ブレーキ(AEB)システムが介入するには十分な時間があった。7 しかし、システムの知覚ロジックは「分類振動」によって特徴づけられていた。衝突直前の数秒間、ソフトウェアは歩行者を繰り返し再分類した——まず「未知の物体」、次に「車両」、そして最後に「自転車」として。6

各再分類は単なるラベルの変更ではなく、物体の予測軌跡のリセットであった。時間的一貫性を欠く確率的システムでは、AIは各フレームまたはフレームのクラスタをほぼ独立した事象として扱う。システムが物体の持続的な同一性に定着できなかったため、手遅れになるまで信頼できる経路予測を計算できなかった。システムが緊急ブレーキが必要と判断したのは衝突のわずか1.3秒前であり、その時点では物理法則により衝突は不可避となっていた。3

技術的負債と安全冗長性の除去

Uber ATG失敗の決定的要素は、車両の本来の安全システムの意図的な無効化であった。「不規則な車両挙動」を防ぎ、自律システムにより滑らかな走行を提供するため、UberはVolvo XC90の工場装着の衝突回避およびAEB機能を無効化していた。4 エンジニアリングチームは、高信頼介入についてまだ検証されていない独自の開発中システムに全面的に依存することを選択した。

失敗構成要素 技術的メカニズム 戦略的含意
知覚パイプライン 分類振動(未知 -> 車両 -> 自転車) 対象永続性の喪失が経路予測を不能にする。6
論理の抑制 Volvo工場AEBの手動無効化 実験的コードを優先してハードコードされた安全層を除去。4
HMIインターフェース 注意散漫な人間監視者への過度な依存 「自動化自己満足」を考慮できなかったこと。3
予測エンジン 動的アクターに対する静的軌跡仮定 非標準的な歩行者横断をモデル化できないこと。5

この意思決定プロセスは、AI開発における危険な傾向を示している。すなわち、確率的モデルにおける「滑らかな」性能のために決定論的安全層を犠牲にすることである。2018年衝突に対する$8.5 millionの和解は、単なる法的責任ではなく、自動運転システムの「機能的限界」を管理できなかった失敗を反映している。4 Veriprajnaが提唱するディープAIエンジニアリングは、この階層に反対し、知覚層が実験的ポリシーによって上書きできない形式的制約に拘束される「安全第一」アーキテクチャを主張する。

誤診断と衝突後論理の失敗:Cruise 2023年危機

2023年10月、サンフランシスコのGM Cruiseロボットタクシーが歩行者に衝突し20フィート引きずった結果、同社のカリフォルニア州における無人運転が全面停止された。9 この事案は、初期の衝突回避の問題を超え、「衝突後推論」の領域に踏み込んだ——典型的なLLMラッパーや単純な知覚APIが完全に失敗する領域である。

前方轢過対側面衝突の誤謬

Cruise事案は第三者によって始まった。人間が運転するNissanが歩行者に衝突し、彼女をCruise車両の進路に投げ出した。9 Cruise車は歩行者に衝突し、当初は停止した。しかし、システムの「衝突検知」論理が十分に粒度高くなかったため、衝突を誤診断した。歩行者が車両の下に挟まれていたにもかかわらず、システムのセンサは前方轢過を認識できず、代わりに側面衝突として分類した。1

この誤診断は、事前プログラムされた「最小リスク状態」(MRC)マニューバを発動した。システムは、側面衝突後に交通を妨げないよう路肩に寄せるよう設計されていた。11 知覚層が衝突後に歩行者を「忘却」していたため、車両は路肩へ移動し始め、被害者を時速約7マイルで20フィート引きずった。9 引きずりが止まったのは、車両が「過度のホイールスリップ」を検知し、それを人間の障害物ではなく機械的故障と解釈したときだけであった。11

技術要件としての透明性

Cruiseの失敗は、技術的失敗であると同時に組織的失敗でもあった。調査により、上級経営陣が「不正確なメディア言説の訂正に固執」し、引きずりに関して規制当局に対して透明性を欠いたことが明らかになった。9 Cruiseの従業員は、DMVとの会合で「動画に語らせる」ことにしたと認め、インターネット接続の問題で動画の「引きずり」部分がしばしば再生されないことを知っていた。9

これはディープAIコンサルティングにとって決定的な教訓を示している。自律システムの安全性はその透明性と不可分である。Veriprajnaのアプローチは「説明可能な安全監査」の開発を重視する。AIが行うすべての決定、とりわけ衝突後の決定が、規制当局がリアルタイムで監査できる改ざん防止の決定論的形式で記録されるものである。NHTSAへの虚偽報告提出に対するその後の$500,000の刑事罰金は、AI安全性をエンジニアリング問題ではなくマーケティング問題として扱うことの高い代償を強調している。1

「ビジョンオンリー」のジレンマと確率的センシングの限界:Tesla FSD

TeslaのFull Self-Driving(FSD)システムは大規模な規制調査の中心となっており、NHTSAは2024年から2025年にかけて40件を超える衝突調査を開始している。2 これらの調査、特にPE24-031およびPE25-012として識別されるものは、システムの「能力劇場」における失敗——晴天条件下では最適に見える性能が、環境的「エッジケース」に直面すると崩壊すること——に焦点を当てている。13

環境感受性と信号不遵守

NHTSAの調査は、Teslaのビジョンオンリーシステムが基本的な交通安全法規を遵守できない特定のパターンを特定している。

  1. 信号不履行:18件の別個の苦情において、FSD有効車両が赤信号で停止を維持できなかった、または信号状態を全く検知できなかった。12
  2. 逆走マニューバ:システムは対向車線に進入したり、直進専用車線から旋回を実行したりすることが観察されており、明確な路面標示と標識を無視している。2
  3. 低視認性飽和:2023年の重大な死亡衝突は「濡れたアスファルト上の太陽光グレア」の状態で発生し、システムは歩行者を検知できなかった。14

Teslaの「ビジョンオンリー」アーキテクチャ——LiDARとレーダーを排除すること——への依存は、「センサ飽和」に対する根本的脆弱性を生む。霧、粉塵、または空中浮遊物の条件下では、光学的信号対雑音比が安全な航法に必要な閾値を下回る。13 Teslaは2D画像から世界の3D幾何を予測する「Occupancy Networks」を利用しているが、NHTSAの報告は、これらの予測がいまだ主安全層として用いるには確率的すぎることを示唆している。15

運転環境の形式化

Teslaの失敗モデルを超えるため、ディープAIエンジニアリングは「ハザード駆動エンベロープ」を用いる。曖昧な「機能」ではなく、システムは明示的な運用設計領域(ODD)を定義しなければならない。「グレア飽和率」または「霧後方散乱指数」が検証済み閾値を超えた場合、システムはフェイルセーフ遷移を開始しなければならない。14

調査対象の失敗モード 頻度/影響 技術的原因
赤信号不遵守 18+件の苦情 ビジョンスタックにおける信号状態検知の失敗。12
車線標示違反 4+件のSGO報告 右左折専用車線と直進車線を区別できないこと。12
低視認性衝突 死亡事故(2023-2024) 光学センサ飽和(グレア/霧/粉塵)。13
対向車線進入 2件のSGO報告 車線幾何の3D再構成の失敗。12

Veriprajnaの哲学は、自律性は「ベストエフォート」ソフトウェアの上に構築できないというものである。2025年NHTSA調査の対象となった290万台の車両は、フリート全体のリスクを表しており、「アシュアランスゲート」——知覚システムの信頼度が決定論的な点を下回ったとき、AIが高リスク決定を行うことを防ぐソフトウェアロック——の実装によってのみ緩和できる。2

マルチエージェント膠着と社会技術的レジリエンス:Waymoの経験

Waymoはしばしば安全性のベンチマークとみなされ、人間運転者より有意に低い傷害率で5,600万マイル超を走行している。17 しかし、システムが規模を拡大するにつれ、新たなクラスの失敗に直面している。「社会技術的摩擦」である。これはAIがどのように運転するかだけでなく、複雑でしばしば敵対的な人間の社会環境とどのように相互作用するかに関わる。

交差点閉塞と通信失敗

2025年のロサンゼルス停電中、数十台のWaymoロボットタクシーが一連の消灯交差点で立ち往生した。暗い信号を四方向停止として扱うようプログラムされた「Waymo Driver」は、「リモートアシスタンス」要求の集中的急増に圧倒された。18 車両同士が効果的に通信できなかったため、「マルチエージェント膠着」状態に入り、ロボットタクシーが他のロボットタクシーを塞ぎ、中央指令センターが解消できない滞留を生じさせた。18

この失敗は「独立性の罠」を浮き彫りにする——自律車両が、より広範で協調されたシステムなしに単独エージェントとして安全に運用できるという仮定である。18 ディープAIエンジニアリングは、無線通信の喪失と、フリートがデッドロックを自律的に解消できる「V2V」(Vehicle-to-Vehicle)および「V2I」(Vehicle-to-Infrastructure)プロトコルの必要性を考慮しなければならない。20

「危険脱出モード」の必要性

自律運用に対する最も重大な新興脅威は、おそらく公衆の攻撃である。2025年初頭、ロサンゼルスの市民騒乱中に複数のWaymo車両が群衆に襲撃され、抗議者がタイヤを切り裂き車両に放火した。21 「受動的安全」のためにプログラムされた車両は、人々に囲まれると単に停止した。

これが「危険脱出モード」の開発提案につながった。そのようなシステムは360度センサスイートを用いて「悪意ある人間の攻撃」を検知し、車両の指令を「受動的遵守」から「能動的脱出」へと切り替える。21 車両は危害を加えるようプログラムされてはならないが、ディープAI提供者は、乗客を保護し不安定な状況から脱出するため、軽微な交通違反(歩道走行や赤信号通過など)を実行できるべきだと主張する。21 これはAIの「倫理エンジン」の抜本的再考を要する——LLMラッパーの能力をはるかに超える課題である。

技術的解決策:俯瞰視点(BEV)とOccupancy Networks

UberおよびCruiseの事例で見られた追跡失敗に対処するため、業界は俯瞰視点(BEV)知覚へと移行している。標準的なカメラ単位システムは個別画像を処理し、「ステッチング」中にデータ損失を招く。対照的に、BEV知覚はマルチビューカメラとLiDARデータを統一されたトップダウンの3Dグリッドに変換する。22

Occupancy Networks対標準センサフュージョン

従来のセンサフュージョンは2Dピクセルを3D点に「照合」しようとし、計算コストが高く投影誤差を起こしやすい。Veriprajnaは「Occupancy Networks」——3Dボリューム内のすべてのボクセルの「占有確率」を予測するアーキテクチャ——を提唱する。16

  1. 対象永続性:Occupancy Networksは単なる「ラベル」ではなく体積を追跡するため、物体が歩行者か自転車かを判定できなくても、空間が占有されていることを知る。これによってUber ATGの分類反転が防げたであろう。16
  2. 幾何忠実性:Occupancy Networksは、2D BEVマップではしばしば無視される垂直構造と路上破片を捉える。これによってCruise車両は衝突後マニューバ中にシャーシ下の歩行者を「見る」ことができただろう。16
  3. 時空間的一貫性:「BEVFormer」アーキテクチャを用いることで、システムは「時間的自己注意」を使い、一時的オクルージョン中(例:駐車トラックの陰を歩く歩行者)でも物体がどこにあったかを記憶できる。24

XBEV=ftransformer(I1,I2,...,In,Lcloud)X_{BEV} = f_{transformer}(I_1, I_2, ..., I_n, L_{cloud})

このモデルでは、Transformerアーキテクチャは会話ツールとしてではなく、異種データを単一の「共有キャンバス」に融合する空間推論エンジンとして機能する。23 これがディープAIエンジニアリングである。航法における根本的な物理学問題を解くために最先端アーキテクチャを用いることである。

形式検証:高保証AIのためのVeriprajna標準

「ラッパー」と「ソリューション」の最も重要な差別化要因は、形式手法の適用である。従来のソフトウェアテストは「ブラックボックス」シナリオに依存する。システムがN件のテストに合格すれば、安全であると仮定される。しかしセーフティクリティカルシステムでは、正しさの数学的証明を要求する。

SMTソルバとネットワークレベル推論

Marabouやα,β-CROWNのようなツールにより、エンジニアはディープニューラルネットワークの性質を検証できる。ネットワークを区分線形制約の集合として表現することで、不安全な出力につながりうる任意の入力が存在するかを判定できる。25

「安全性質」は次のように定義されうる。

「低視認性」の範囲内のすべての入力xについて、出力y(ブレーキ指令)は決してk未満であってはならない。

xXfogf(x)Brakingmin\forall x \in X_{fog} \Rightarrow f(x) \geq Braking_{min}

MarabouのようなSMTソルバが「反例」を返せば、AIを失敗させる特定の、しばしば知覚できない摂動を特定したことになる。これによりVeriprajnaは学習段階でモデルを「硬化」できる。このプロセスは「検証認識型学習」として知られる。28

検証可能性のための刈り込み

形式検証における大きな課題は「次元の呪い」である。大規模ネットワークは現行ソルバが網羅的に解析するには複雑すぎる。Veriprajnaは「ニューロン刈り込み」によってこれに対処する。モデル精度に寄与しない冗長ニューロンと非線形性を除去することで、性能を犠牲にせず数学的に検証しやすい「刈り込み済みモデル」を生成する。29

検証手法 方法論 便益
境界の締め付け ニューロン活性化範囲の記号解析 SMTソルバの探索空間を縮小する。25
到達可能性解析 入力集合に対する到達可能な全出力集合の計算 AIが「安全ポリトープ」内に留まることを保証する。28
区分線形近似 複雑な活性化をReLUベースの区分で置換 健全かつ完全な検証証明を可能にする。27
形式的安全フィルタ 検証済みベースラインに対するAI指令の実行時監視 主AIが非合理に振る舞った場合に「安全回復」を提供する。31

規制の地平:SOTIFとISO/PAS 8800

エンタープライズにとって、新興の国際規格への適合はもはや任意ではない。状況は「任意の自己評価」から、階層化された安全枠組みへの義務的遵守へと移行した。5

ISO 26262対ISO 21448(SOTIF)

ISO 26262は「機能安全」(例:センサ故障やチップの短絡)を扱うが、AIの固有の限界を考慮できない。34 このギャップを埋めるのが、ISO 21448、「意図した機能の安全性」(SOTIF)の規格である。SOTIFは、システムがプログラムどおりに動作しているにもかかわらず「未知/不安全」な環境に遭遇したときに発生するハザードに対処するために特に設計されている。34

Veriprajna関与の目標は、クライアントのAIシステムの「既知/安全」象限を最大化することである。これには以下が含まれる。

  1. ハザードおよびリスク分析(HARA):豪雨下でのセンサ誤解釈などの非故障リスクを特定する。36
  2. 誘発条件の特定:知覚誤差につながる環境状態を体系的にマッピングする。36
  3. V&V(検証および妥当性確認):公道での試験には危険すぎるエッジケースを「注入」する高忠実度シミュレーションを用いる。36

ISO/PAS 8800:AI統合の将来

2024年末時点で、ISO/PAS 8800は「道路車両におけるAIの機能安全」の主要規格となっている。37 「データ取得」から「展開後監視」まで、AIライフサイクルを管理する初のグローバルガイドラインを提供する。33 Veriprajnaは、クライアントのアーキテクチャが単に適合するだけでなく、EU AI ActやNIST AI Risk Management FrameworkのようなグローバルなAIガバナンス基準の厳格化に対して「将来対応」であることを保証する。33

戦略的前進の道:VeriprajnaのディープAIマンデート

「ラッパー」文化から「ディープAI」文化への移行は、確率的な希望から決定論的保証への旅である。$8.5 millionのUber和解、Cruiseの停止、40件超のTesla調査は、AIを放棄する理由ではなく、正しくエンジニアリングする理由である。

Veriprajnaのコンサルティングモデルは、本レポートで特定された具体的失敗モードに対処する3本の柱の上に構築されている。

  1. 知覚レジリエンス:クライアントをカメラ単位の2D知覚からTransformerベースのBEV Occupancy Networksへ移行させ、対象永続性と追跡安定性を確保する。16
  2. 検証済み意思決定:SMTベースの形式検証を実装し、AI駆動の制御アーキテクチャが中核的安全性質を決して侵害しないことを証明する。25
  3. 社会技術的硬化:市民騒乱とマルチエージェント膠着の現実を管理するため、高度な「脱出モード」とV2X通信枠組みを開発する。18

単一のデータ侵害の世界的コストが$4.44 millionに達し、自律システムの死亡事故のコストが法的・運用損害で数千万ドルに入るなか、「安価な」ラッパーはエンタープライズが犯しうる最も高価な過ちとなる。14 Veriprajnaは、実験室で動くだけでなく世界で耐えうるAIを構築するために必要な深いエンジニアリング専門性を提供する。

現代のエンタープライズの選択は明確である。確率的ブラックボックスをラップし続け不可避の余波を管理するか、Veriprajnaと提携して検証可能で高保証の自律性の未来を設計するかである。確率的AIの時代は終わりつつある。ディープAIエンジニアリングの時代が始まった。

参考文献

  1. Cruise Admits To Submitting A False Report To Influence A Federal Investigation And Agrees To Pay $500000 - Department of Justice, 2026年2月9日閲覧, https://www.justice.gov/usao-ndca/pr/cruise-admits-submitting-false-report-influence-federal-investigation-and-agrees-pay
  2. NHTSA Opens Probe into 2.9M Teslas Over FSD Violations - Autobody News, 2026年2月9日閲覧, https://www.autobodynews.com/news/nhtsa-opens-probe-into-2-9m-teslas-over-fsd-violations
  3. HWY18MH010.aspx - NTSB, 2026年2月9日閲覧, https://www.ntsb.gov/investigations/Pages/HWY18MH010.aspx
  4. NTSB Shares Investigation Findings and Recommendations Regarding March 2018 Uber ATG Fatality | Eckert Seamans, 2026年2月9日閲覧, https://www.eckertseamans.com/legal-updates/ntsb-shares-investigation-findings-and-recommendations-regarding-march-2018-uber-atg-fatality
  5. H-19-047 - Accident Data - NTSB, 2026年2月9日閲覧, https://data.ntsb.gov/carol-main-public/sr-details/H-19-047
  6. NTSB releases preliminary report on fatal Uber self-driving car crash - Metro Magazine, 2026年2月9日閲覧, https://www.metro-magazine.com/news/ntsb-releases-preliminary-report-on-fatal-uber-self-driving-car-crash
  7. Death of Elaine Herzberg - Wikipedia, 2026年2月9日閲覧, https://en.wikipedia.org/wiki/Death_of_Elaine_Herzberg
  8. New Details Emerge Regarding Uber Self-Driving Vehicle Accident in Tempe, Arizona, 2026年2月9日閲覧, https://schwedlawfirm.com/blog/new-details-emerge-regarding-uber-self-driving-vehicle-accident/
  9. A Root Cause Analysis of a Self-Driving Car Dragging a Pedestrian, 2026年2月9日閲覧, https://www.computer.org/csdl/magazine/co/2024/11/10720344/215PD0vqgTe
  10. Notes on Cruise's pedestrian accident - Dan Luu, 2026年2月9日閲覧, https://danluu.com/cruise-report/
  11. Lessons from the Cruise Robotaxi Pedestrian Dragging Mishap, 2026年2月9日閲覧, http://users.ece.cmu.edu/~koopman/pubs/Koopman2024_CruiseMishap_IEEEReliabilityMagazine.pdf
  12. Office of Defects Investigation (ODI) Resume - nhtsa, 2026年2月9日閲覧, https://static.nhtsa.gov/odi/inv/2025/INOA-PE25012-19171.pdf
  13. US regulators launch investigation into self-driving Teslas after series of crashes, 2026年2月9日閲覧, https://www.theguardian.com/technology/2025/oct/09/tesla-cars-self-driving-us-regulators-investigation
  14. Tesla FSD Safety Issues: NHTSA Probes & AI Driving Future (Part 6) - PRIZ Guru, 2026年2月9日閲覧, https://www.priz.guru/tesla-fsd-safety-issues-nhtsa-probes-ai-driving-future-part-6/
  15. AI & Robotics | Tesla, 2026年2月9日閲覧, https://www.tesla.com/AI
  16. A Survey on Occupancy Perception for Autonomous Driving: The Information Fusion Perspective - arXiv, 2026年2月9日閲覧, https://arxiv.org/html/2405.05173v2
  17. New Study: Waymo is reducing serious crashes and making streets safer for those most at risk, 2026年2月9日閲覧, https://waymo.com/blog/2025/05/waymo-making-streets-safer-for-vru
  18. On Waymo's Traffic Jams - Stanford Center for Internet and Society, 2026年2月9日閲覧, https://cyberlaw.stanford.edu/blog/2025/12/on-waymos-traffic-jams/
  19. Self-driving cars may create more traffic congestion than they solve, expert says - KJZZ, 2026年2月9日閲覧, https://www.kjzz.org/the-show/2026-01-07/self-driving-cars-may-create-more-traffic-congestion-than-they-solve-expert-says
  20. A Systematic Literature Review on Vehicular Collaborative Perception – A Computer Vision Perspective - arXiv, 2026年2月9日閲覧, https://arxiv.org/html/2504.04631v2
  21. When Robotaxis Get Attacked: Do Waymo Cars Need a 'Danger Escape Mode'?, 2026年2月9日閲覧, https://aragonresearch.com/robotaxis-attack-waymo-cars-danger-escape-mode/
  22. MIC-BEV: Multi-Infrastructure Camera Bird's-Eye-View Transformer with Relation-Aware Fusion for 3D Object Detection - arXiv, 2026年2月9日閲覧, https://arxiv.org/html/2510.24688v1
  23. [AV Vol.3] BEVFusion: Unifying Vision in Autonomous Driving Systems - Medium, 2026年2月9日閲覧, https://medium.com/demistify/av-vol-3-bevfusion-unifying-vision-in-autonomous-driving-systems-b2190f877c9b
  24. A Transformer-based Temporal Feature Fusion Approach for Autonomous Driving BEV Perception | Request PDF - ResearchGate, 2026年2月9日閲覧, https://www.researchgate.net/publication/395804054_A_Transformer-based_Temporal_Feature_Fusion_Approach_for_Autonomous_Driving_BEV_Perception
  25. The Marabou Framework for Verification and Analysis of Deep Neural Networks - Stanford Center for AI Safety, 2026年2月9日閲覧, https://aisafety.stanford.edu/marabou/MarabouCAV2019.pdf
  26. Marabou 2.0: A Versatile Formal Analyzer of Neural Networks - arXiv, 2026年2月9日閲覧, https://arxiv.org/html/2401.14461v1
  27. Marabou 2.0: A Versatile Formal Analyzer of Neural Networks - Stanford CS Theory, 2026年2月9日閲覧, https://theory.stanford.edu/~barrett/pubs/WIZ+24.pdf
  28. Creating a Formally Verified Neural Network for Autonomous Navigation: An Experience Report - CSE CGI Server, 2026年2月9日閲覧, https://cgi.cse.unsw.edu.au/~eptcs/paper.cgi?FMAS2024.12.pdf
  29. Verification of Neural Networks for Safety and Security-critical Domains - CEUR-WS.org, 2026年2月9日閲覧, https://ceur-ws.org/Vol-3345/paper10_RiCeRCa3.pdf
  30. Formal Verification of Neural Networks for Safety-Critical Tasks in Deep Reinforcement Learning, 2026年2月9日閲覧, https://proceedings.mlr.press/v161/corsi21a/corsi21a.pdf
  31. Formal Methods for Trustworthy AI-based Autonomous Systems - NII Shonan Meeting, 2026年2月9日閲覧, https://shonan.nii.ac.jp/docs/No.178.pdf
  32. Formal Verification of Neural Networks-Based Control Architecture for Safety-Critical Autonomous Systems - Frontiers, 2026年2月9日閲覧, https://www.frontiersin.org/research-topics/74336/formal-verification-of-neural-networks-based-control-architecture-for-safety-critical-autonomous-systems
  33. Implementing Responsible AI for Automotive Vehicle Safety - LHP Engineering Solutions, 2026年2月9日閲覧, https://www.lhpes.com/blog/implementing-responsible-ai-for-automotive-vehicle-safety
  34. Functional Safety vs. SOTIF: What Is the Difference and Where Do They Overlap? - MES, 2026年2月9日閲覧, https://model-engineers.com/en/blog/functional-safety-vs-sotif-differences-overlaps/
  35. The Necessity of a Holistic Safety Evaluation Framework for AI-Based Automation Features, 2026年2月9日閲覧, https://arxiv.org/html/2602.05157v1
  36. What is SOTIF? (ISO 21448) - Visure Solutions, 2026年2月9日閲覧, https://visuresolutions.com/automotive/iso-21448/
  37. Safety-Related Systems in Road Vehicles with Artificial Intelligence Are Addressed in ISO/PAS 8800:2024 | UL Solutions, 2026年2月9日閲覧, https://www.ul.com/sis/blog/safety-related-systems-road-vehicles-artificial-intelligence-are-addressed-isopas-88002024
  38. ISO 26262, SOTIF and simulation | Applied Intuition, 2026年2月9日閲覧, https://www.appliedintuition.com/blog/iso26262-sotif-simulation
  39. Introducing ISO/PAS 8800 – Functional Safety for AI in Road Vehicles | SGS Georgia, 2026年2月9日閲覧, https://www.sgs.com/en-ge/news/2025/04/safeguards-04625-introducing-iso-pas-8800-functional-safety-for-ai-in-road-vehicles
  40. NIST vs ISO - Compare AI Frameworks - ModelOp, 2026年2月9日閲覧, https://www.modelop.com/ai-governance/ai-regulations-standards/nist-vs-iso
  41. AI Safety vs AI Security in LLM Applications: What Teams Must Know - Promptfoo, 2026年2月9日閲覧, https://www.promptfoo.dev/blog/ai-safety-vs-security/

ビジュアルでインタラクティブな体験をご希望ですか?

本ペーパーの主要な調査結果、統計、アーキテクチャを、ナビゲーション可能なセクションとデータビジュアライゼーションを備えたインタラクティブ形式でご覧いただけます。

インタラクティブ版を見る
FAQ

よくあるご質問

技術的観点から、Uber ATGの自動運転死亡事故の原因は何か。

Uber ATGシステムは衝突の5.6秒前、378フィートの地点で歩行者を初めて検知したが、分類振動に陥り、歩行者を未知の物体、車両、自転車として繰り返し再分類した。各再分類が予測軌跡をリセットし、システムが緊急ブレーキが必要と判断したのは衝突の1.3秒前であった。加えて、UberはVolvo XC90の工場装着の衝突回避およびAEBシステムを無効化していた。

SMTソルバはニューラルネットワークの安全性質をどのように形式検証するか。

MarabouのようなSMTソルバは、ニューラルネットワークを区分線形制約として表現し、不安全な出力を生じうる入力が存在するかを判定する。例えば、安全性質は、低視認性範囲内のすべての入力について、ブレーキ指令が最小閾値を超えなければならないと要求しうる。ソルバが反例を見つけた場合、エンジニアは検証認識型学習とニューロン刈り込みによってモデルを硬化できる。

BEV Occupancy Networksとは何か、自動運転の失敗をどのように防ぐか。

俯瞰視点(BEV)Occupancy Networksは、ラベル付き物体を追跡するのではなく、3Dボリューム内のすべてのボクセルの占有確率を予測する。これにより、物体を分類できなくても対象永続性が確保され、Uber ATGの分類反転を防ぐ。2Dマップが見落とす垂直構造を捉え、BEVFormerアーキテクチャはオクルージョン中の時空間的一貫性のために時間的自己注意を用いる。

ソーシャル

他のプラットフォームでも公開

確かな信頼のもとに、AIを構築する。

次世代のエンタープライズAI構築において豊富な経験を持つチームと、ぜひご一緒ください。信頼できるAI戦略の設計・構築・導入を、私たちがお手伝いします。

Veriprajna ディープテック・コンサルティング は、ヘルスケア・金融・規制対応分野における安全性重視のAIシステム構築を専門としています。当社のアーキテクチャは確立されたプロトコルに照らして検証され、包括的なコンプライアンス文書を備えています。