自動運転車は衝突の5.6秒前に彼女を見ていた——それでも、彼女が何なのか決められなかった
2023年後半、私は会議室に座り、AIの安全性についての私の考え方を永遠に変えることになる映像を見ていた。それはサンフランシスコを走るCruiseのロボタクシーが記録したものだった。人間が運転する車にはねられた歩行者が、その自動運転車の進路へと投げ出され、車体の下敷きになった。ロボタクシーは一瞬だけ停止し、それから路肩に寄せようと動き出し、女性をアスファルトの上を20フィートにわたって引きずった。
室内は静まり返った。チームの誰かがこう言った。「車は側面衝突が起きたと思ったんだ」。そして、その一言——車が思った——こそが、その後Veriprajnaで私たちが築いてきたすべての種になった。
なぜなら、車は何も「思って」などいなかったからだ。分類サブルーチンを実行し、誤った答えを出し、あらかじめプログラムされた動作を実行した。その結果、生存可能だったはずの事故が、はるかに悲惨なものへと変わった。そこに推論はなかった。認識もなかった。破滅的な誤診断が破局に至る前にそれを捕まえられる安全アーキテクチャも、存在しなかった。
これこそ、私が投資家やクライアント、そして同業のエンジニアたちに説明しようとし続けているギャップだ。すなわち、デモでうまく機能するAIと、世界が協力をやめたときに安全に振る舞うAIとの距離である。私はこれを知覚・論理ギャップ（Perception-Logic Gap）と呼ぶようになった——自律システムが見ているものと、それが実際に理解しているものとの間に横たわる空白だ。そして今この瞬間も、そのギャップが人を殺している。
6秒近くの猶予がありながら、AIに何が起きたのか？
2018年3月にアリゾナ州テンピで起きたUber ATGの事故は、私が最も頻繁に立ち返るケースだ。確率的なシステムが、必要なデータをすべて手にしていながら、なお致命的な誤りを犯しうることを、これほど純粋に示す例はないからである。
車両のセンサーが、自転車を押して暗い道路を横断していた歩行者イレイン・ハーツバーグを最初に捉えたのは、衝突の約5.6秒前だった。時速43マイルであれば、およそ378フィートの距離に相当する。まともなブレーキシステムなら車を止めるのに十分すぎる余裕だ。
しかしAIは、自分が何を見ているのかを決められなかった。その5.6秒の間に、知覚システムはハーツバーグを繰り返し分類し直した。最初は「未知の物体」、次に「車両」、そして「自転車」と。この分類のやり直しは単なるラベルの変更ではなく、その物体の予測軌道を完全にリセットすることを意味した。システムは、考えを変えるたびに、実質的に記憶喪失に陥っていたのだ。
NTSB（米国運輸安全委員会）の報告書を初めて読んだとき、身体的な吐き気を覚えたのを記憶している。結末のためではない——それは確かに痛ましいものだったが——そのメカニズムのためだ。AIが緊急ブレーキは必要だと判断したのは、衝突のわずか1.3秒前だった。あとは物理法則が、結果を不可避にした。
6秒近くも障害物を捉えていながら、それが何なのかを決められないAIが抱えているのは、センサーの問題ではない。アーキテクチャの問題だ。
さらに事態を悪化させたのは——正直に言えば、私を怒らせたのは——UberがボルボXC90に工場出荷時から搭載されていた衝突回避システムを、意図的に無効化していたと知ったことだった。その車にはメーカー純正の自動緊急ブレーキが備わっていた。Uberは、彼らが「車両の不安定な挙動」と呼ぶものを避けるために、それをオフにした。実験的なソフトウェアのために滑らかな乗り心地が欲しかったのだ。そうして彼らは、命を救えたかもしれない唯一の決定論的な安全レイヤーを取り除いた。
あの決定は、いまもこの業界に取り憑いている。AIの安全性を、工学の一分野ではなくチューニングの問題として扱ってしまった原罪だ。
なぜ同じ失敗が、違う車で繰り返されるのか？
Uberの事故のあと、私は業界が学ぶだろうと期待していた。具体的には、知覚の失敗が意思決定の失敗へと連鎖しないアーキテクチャを各社が築くはずだ、と。どんな実験的ソフトウェアにも上書きできない、厳格な安全境界が設けられるはずだ、と。
ところが実際に起きたのは、Cruiseの一件だった。
2023年10月にサンフランシスコで起きた事故は、細部ではUberの件と異なっていたが、アーキテクチャの点では同一だった。人間が運転する日産車が歩行者をはね、彼女をCruiseのロボタクシーの進路へと投げ出した。Cruiseの車両は彼女に衝突し、停止した。ここまでは、システムは動作していた——不完全ではあるが、想定の範囲内で。
そこで、衝突後のロジックが作動した。システムの衝撃検知は、正面からの轢過と側面衝突を区別できるほどの精度を持っていなかった。システムはこの事象を側面衝突と分類した。そして側面衝突に対してあらかじめプログラムされた対応は、交通を妨げないよう路肩に寄せる、というものだった。
車は路肩に寄せた。人間を車体の下に挟んだまま。時速約7マイルで20フィート引きずったところで、「過度なホイールスリップ」を検知した——それをシステムは、人ではなく機械的な故障だと解釈した。
あの事故のあとの一週間、私は正しい対応アーキテクチャとはどうあるべきだったのかをチームと議論して過ごした。うちのエンジニアの一人——非常に優秀で、形式手法を重んじる男だ——は、この問題はより優れたセンサーフュージョンで解決できると主張し続けた。「シャシーの下に占有検知があったなら」と彼は言った。「システムは分かっていたはずだ」
彼は正しかった。だが同時に、要点を外してもいた。より深いところにある失敗は、システムが自らの診断に対する不確実性という概念をまったく持っていなかったことだ。システムは衝撃を分類し、その分類に全幅の信頼を置いて行動した。「いま何が起きたのか分からない。分かるまでは何もすべきでない」という中間状態は存在しなかった。そのアーキテクチャは、疑うことを許していなかったのだ。
私が知覚・論理ギャップと言うとき、意味しているのはこれだ。より良く見ることだけの話ではない。自分が分かっていないときに、それを分かっている、ということの話なのだ。
隠蔽もまた、アーキテクチャだった
Cruiseの引きずり事故のあとに起きたことは、事故そのものに劣らないほど多くを物語っていた。調査によれば、経営陣は規制当局に対して透明であることよりも、「不正確なメディア報道を訂正することに執着していた」。従業員たちは、インターネット接続の問題によってしばしば引きずりの場面が再生されないと知りながら、規制当局に事故の映像を見せたことを認めた。
Cruiseは最終的に、NHTSA（米国道路交通安全局）に虚偽の報告を提出したとして50万ドルの刑事罰金を支払った。カリフォルニア州の営業許可は取り消された。
これを持ち出すのは、Cruiseに追い打ちをかけたいからではない。業界が安全性をどう扱っているかについて、構造的な何かを露わにしているからだ。自社のAIシステムがブラックボックスであるとき——ある瞬間になぜ特定の判断を下したのかを、自社のエンジニアですら完全には説明できないとき——アーキテクチャを直す代わりに物語をコントロールしたいという誘惑は、抗いがたいものになる。
自動運転車にとって、透明性はPR戦略ではない。技術要件だ。危機の最中にAIが下したすべての判断を監査できないのなら、あなたが持っているのは安全システムではない——負債だ。
Veriprajnaでは、説明可能な安全監査をアーキテクチャ業務の中核に据えている。AIが下すすべての判断は、とりわけ衝突後の判断は、規制当局がリアルタイムで監査できる決定論的で改ざん不能な形式で記録される。私たちがCruiseより高潔だからではない——その代わりが「映像に語らせる」ことになったとき何が起きるのかを、私たちは見てきたからだ。
このアプローチの背後にある技術フレームワークの全体像については、私たちのインタラクティブ・ホワイトペーパーに記した。Uber、Cruise、Tesla、Waymoの事例から私たちがカタログ化してきた具体的な失敗モードも含まれている。
Teslaの「カメラのみ（Vision-Only）」という賭けは、安全性にとって実際に何を意味するのか？
Teslaの自動運転へのアプローチは、UberやCruiseのそれとは哲学的に異なり、失敗の形もまた異なる。だが、どこか韻を踏んでいる。
TeslaのFull Self-Drivingシステムは、完全にカメラだけに依存している——LiDARもレーダーもない。イーロン・マスクはLiDARを「松葉杖」と呼んだ。十分に高度なニューラルネットワークであれば、人間の視覚がそうしているように、2D画像だけから世界の完全な3D的理解を再構成できる、という賭けだ。
エレガントな発想だ。私自身、知的には惹かれるところがある。しかしNHTSAは2024年から2025年にかけて、290万台の車両を対象に、FSD関連の事故について40件を超える調査を開始しており、そこに現れたパターンは弁解の余地のないものだ。
18件の個別の苦情は、車両が赤信号を無視した、あるいは信号の状態を検知できなかったというものだ。複数の報告は、車が対向車線へ進入したと述べている。2023年の死亡事故は、濡れたアスファルト上の太陽光のグレアのなかで起きた——どんなカメラシステムも確実には解釈できない水準まで、光学的なS/N比が低下する条件である。
私はこれを能力の劇場（Capability Theater）と呼んでいる。最適な条件下ではシステムは見事に機能し、有能さの幻想を生み出すが、その幻想は縁（エッジ）で崩壊する。晴天、見通しの良い道路、標準的な交差点なら？ 完璧だ。太陽高度が低く、路面は濡れ、歩行者が異例の渡り方をしたら？ システムは緩やかに劣化してはくれない。突然、破綻する。
問題は、カメラのみの方式が理論上機能しえないということではない。問題は、Teslaがそれを、私の言うアシュアランス・ゲート（Assurance Gates）——AIの確信度が検証済みのしきい値を下回ったときに、重大な判断を下させないための厳格な境界——を持たないまま大規模に展開していることだ。グレアの飽和が一定の割合を超えたなら、システムはより強引に推測するのではなく、運転を拒否すべきなのである。
AIが人を殺さないことを、どうやって証明するのか？
これが、私を夜も眠らせない問いだ。比喩ではなく、文字どおりに。昨年には、「十分にテストした」と「安全だと証明された」の境界を見つけようと、午前2時まで形式検証の実験を回していた時期があった。
従来のソフトウェアテストはブラックボックス方式だ。システムにN個のシナリオを通し、そのすべてに合格すれば出荷する。しかし自動運転車が遭遇するのは、N個のシナリオではない。遭遇するのは物理世界のすべてだ。その混沌も、エッジケースも、説明のつかない行動をとる人間も含めて。どれだけシナリオテストを重ねても、その空間を覆い尽くすことはできない。
形式検証は、異なるアプローチをとる。「システムはこれらのテストに合格したか？」と問う代わりに、「安全でない出力を生みうる入力が一つでも存在するか？」と問うのだ。Marabouやα,β-CROWNといったツールは、ニューラルネットワークを数学的制約の集合として表現し、違反を——網羅的に——探索できる。
安全性プロパティは、たとえばこうなる。「視界不良」の範囲にあるすべての可能な入力について、ブレーキ指令は最小しきい値を決して下回ってはならない。ソルバーが反例——そのプロパティに違反する具体的な入力——を見つけたなら、それが人を殺す前に脆弱性を特定できたことになる。
ある夜、私たちは知覚モデルの検証を回していて、ソルバーが誰一人予期していなかった反例を返してきた。照明の角度と物体までの距離の、きわめて特定の組み合わせが、ブレーキの確信度をほぼゼロまで低下させるというものだった。私たちの誰も、テストしようとは思いつかなかったシナリオだ。ソルバーがそれを見つけられたのは、推測していたのではなく、証明していたからである。
あの瞬間、私のなかで何かが結晶化した。テストは「これは動くか？」と問う。検証は「これは失敗しうるか？」と問う。この二つは根本的に異なる問いであり、安全上重要なAIが要求するのは後者だ。
テストは、あなたのAIが何をするかを教えてくれる。検証は、あなたのAIが決して何をしないかを教えてくれる。安全上重要なシステムにおいて意味を持つのは、二つ目の問いだけだ。
厄介なのは、現在のニューラルネットワークが巨大——数百万のパラメータ——であり、大規模ネットワークの網羅的な検証は計算量的に手に負えない、という点だ。私たちはこれをニューロン・プルーニングによって解決している。精度には寄与しないのに、ネットワークを検証できないほど複雑にしている冗長なニューロンを、体系的に取り除くのだ。その結果得られるのは、高性能でありながら数学的に証明可能な、より無駄のないモデルである。
私たちの検証パイプラインの完全な技術的解説——SMTソルバーの方法論やプルーニングのアプローチを含む——については、私たちの詳細な研究論文をご覧いただきたい。
問題がAIではなく、世界の側にあるとき
Waymoは5,600万マイル以上を走行し、人間のドライバーよりも大幅に低い負傷事故率を記録している。ほとんどの指標において、彼らは業界のリーダーだ。それでもWaymoは、自動運転業界の誰もが備えていなかった失敗モードを露わにした。世界そのものが、協力を拒むという失敗モードだ。
2025年にロサンゼルスで起きた停電の際、数十台のWaymoのロボタクシーが暗くなった交差点で立ち往生した。車両は、消灯した信号機を四方一時停止として扱うようプログラムされていた——法的には正しい対応だ。しかし数十台の自動運転車が同じ消灯した交差点に集まり、それぞれが礼儀正しく順番を待ち、それぞれが同時に遠隔の人間による支援を要求すると、私が独立性の罠（Independence Trap）と呼ぶようになった現象が生じる。すべての車両が単体としては正しく振る舞いながら、集合としては、どの一台にも解消できない渋滞を作り出してしまうのだ。
遠隔支援センターはパンクした。ロボタクシーが他のロボタクシーの行く手を塞いでいた。一つの交差点で一台の車なら完璧に機能していたシステムが、都市全体の緊急事態のなかでフリート規模へとスケールした途端に崩壊した。
そして、誰も公の場では語りたがらない問題がある。2025年初頭にロサンゼルスで起きた騒乱の際、群衆がWaymoの車両を襲撃した——タイヤを切り裂き、窓を割り、車に火を放った。「受動的安全」のためにプログラムされた車両は、人々に囲まれると、ただ停止した。取り囲んでいる人々が、乗客を乗せたままの車両を破壊しようとしているとき、それはまさに間違った対応である。
このことは、一部の研究者が「危険回避モード（Danger Escape Mode）」と呼ぶものについての真剣な議論を呼んだ。自動運転車が、乗客を暴力から守るために軽微な交通違反（縁石への乗り上げ、赤信号での進行）を犯せるようにする、という能力だ。それにはAIの倫理的な優先順位を根本から考え直す必要があり、どれほど優れたセンサーや高速なプロセッサを積んでも解決できない問題である。
見込み客との会議でこの話を持ち出したところ、誰かがこう言った。「そういうエッジケースは、GPTを使えば処理できるのでは？」 私の表情は、私の言葉よりも多くを語っていたと思う。これは形式的な倫理推論を要する意思決定アーキテクチャの問題であって、チャットボットの出番ではない。
なぜ、テストを重ねるだけでは安全に到達できないのか？
これは、しょっちゅう聞かれる質問だ。「Waymoに5,600万マイル分のデータがあるなら、テストとしては十分ではないのか？」
違う。そしてその理由は、哲学的なものではなく数学的なものだ。
起こりうる運転シナリオの空間は、事実上無限である。5,600万マイルを走っても、知覚システムを破綻させる、太陽光のグレアと濡れたアスファルトと風変わりな服装の歩行者という特定の組み合わせに、一度も出会わないことはありうる。エッジケースとは、よくあるシナリオの珍しい変種ではない——すでに見てきたすべてのものの隙間に存在するシナリオなのだ。
だからこそ規制環境は、「テスト結果を見せろ」から「安全性の証明を見せろ」へと移りつつある。SOTIF（Safety of the Intended Functionality＝意図した機能の安全性）として知られるISO 21448は、AIがプログラムされたとおりに正確に動作していながら、対処できない環境に遭遇したときに生じるハザードに対処するために策定された。ハードウェアの故障の話ではない。AIに内在する限界が、現実世界と出会うことの話なのだ。
さらに、2024年後半に道路車両向けAIの主要規格となったISO/PAS 8800は、もう一歩踏み込む。データ取得から展開後のモニタリングに至るまで、AIのライフサイクル全体を管理することを求めているのだ。「とりあえず出して、様子を見る」の時代は終わりつつある。少なくとも、EU、米国、そしてアジアの主要市場で合法的に事業を行いたい企業にとっては。
Veriprajnaでは、クライアントをSOTIFが「既知／安全（Known/Safe）」と呼ぶ象限へ移すことを軸に、業務を組み立てている。トリガー条件を体系的に特定し、知覚エラーを引き起こす環境状態をマッピングし、実際の道路で試すにはあまりに危険なエッジケースを、高忠実度のシミュレーションによって注入するのだ。
ラッパーとソリューションの、本当の違い
この数年、私はAI業界が二つの陣営に分かれていくのを見てきた。そしてその亀裂は、広がる一方だ。
一方には、ラッパー経済がある。大規模言語モデルの上に会話型インターフェースを構築し、展開の速さとユーザー体験を最適化する企業群だ。その一部は本当に有用である。だが大半は、安全上重要なアプリケーションには無関係だ。
もう一方には、私がディープAIエンジニアリングと呼ぶものがある。形式検証、センサーフュージョンの堅牢性、そして決定論的な安全アーキテクチャの統合だ。こちらは遅い。難しい。デモでの見栄えもしない。そして、物理世界との接触を生き延びられる唯一のアプローチでもある。
この転換の技術的な中核は、占有ネットワーク（Occupancy Networks）を伴う俯瞰視点（Bird's-Eye-View）知覚だ。個々のカメラ映像を処理してから継ぎ合わせようとする——継ぎ目のたびにデータを失う——のではなく、BEV知覚は多視点のカメラとLiDARのデータを、上空から見た統一的な3Dグリッドへと変換する。そして占有ネットワークは、「この物体は何か？」と問う代わりに、「この空間は占有されているか？」と問うのだ。
この区別が、途方もなく重要である。もしUber ATGのシステムが、物体を分類しようとする代わりに占有された空間を追跡していたなら、システムがハーツバーグを歩行者だと思ったか、自転車だと思ったか、未知の物体だと思ったかは、どうでもよかったはずだ。空間は占有されていた。その空間は車両の進路上にあった。ならば、ブレーキだ。
同様に、もしCruiseの車両がシャシーの下で占有検知を走らせていたなら、衝撃をどう分類したかにかかわらず、車の下に何かがあると分かっていたはずだ。占有された空間が、路肩に寄せる動作を上書きしていただろう。
問うべきは「この物体は何か？」ではない——「この空間は占有されているか？」だ。この一つの問い直しだけで、過去10年で最も悪名高い二つの自動運転車の惨事は防げたかもしれない。
私たちはTransformerアーキテクチャ——GPTを支えるのと同じ基盤技術——を使うが、会話のためではない。異種のセンサーデータを、私たちが共有キャンバス（Shared Canvas）と呼ぶものへ融合させる、空間推論エンジンとして使うのだ。時間方向の自己注意（Temporal self-attention）により、一時的なオクルージョンの間でも、システムは物体がどこにあったかを記憶できる。駐車中のトラックの陰を歩く歩行者は、カメラが2秒間見失ったというだけで、モデルの認識から消えたりはしない。
850万ドルの教訓
Uber ATGの和解金は850万ドルだった。Cruiseの刑事罰金は50万ドル——事業停止も、評判の毀損も、人間の苦しみも、まるで勘定に入れていない数字だ。NHTSAによるTeslaの調査は290万台の車両を対象としている。1件のデータ侵害あたりの世界平均コストは、いまや444万ドルにのぼる。
これらの数字を足し合わせたとき、「素早く動いて壊せ」を信じる人々にとって居心地の悪い結論が出てくる。安価なAIラッパーこそ、企業が犯しうる最も高くつく過ちだ、という結論である。それが機能しないからではない——管理された環境なら、問題なく機能する。だが、管理されていない世界に出会った瞬間——暗い道路、衝突後の混乱、濡れたアスファルト上の太陽光のグレア、怒れる群衆——決定論的な安全アーキテクチャの不在が、ソフトウェアの限界を人間の惨事へと変えてしまう。
私たちのアプローチに対しては、形式検証は現実の展開スケジュールには遅すぎる、高すぎる、学術的すぎる、という反論が返ってくることがある。その異議は理解できる。検証は計算コストが高い。検証可能性のためにネットワークを剪定するには時間がかかる。厳格なアシュアランス・ゲートを備えた安全アーキテクチャを構築するのは、APIをラップするよりも手間がかかる。
だが私は、そういう人たちにCruiseの引きずり映像を見てほしいと言いたい。イレイン・ハーツバーグの死に関するNTSB報告書を読んでほしい。TeslaのFSD調査に寄せられた18件の赤信号関連の苦情に目を通してほしい。そのうえで、まさにそうした結末を防ぐために設計されたアプローチに対して、「遅すぎる」が正当な批判だと私に言ってみてほしい。
確率的な希望の上に自律システムを築く時代は、終わりつつある。規制当局がそれを強いているからではない——実際に強いてはいるが——現実世界の物理がそれを要求するからだ。1,000か所の交差点を完璧に通過し、1,001か所目で赤信号を無視するAIシステムは、99.9％安全なのではない。安全ではない、それだけだ。安全性はパーセンテージではない。プロパティ（性質）だ——検証されたすべての条件下で成り立つか、まったく成り立たないか、そのどちらかである。
それこそが、私がVeriprajnaを築いている転換だ。より良いラッパーではない。より速いデモでもない。失敗がバグ報告ではなく死者の数として現れるシステムのための、決定論的なアシュアランスである。