自動運転AIが失敗する理由——それがあなたのビジネスに意味するもの

問題点

Uberの自動運転AIは、衝突の5.6秒前に歩行者を検出していました。本来なら十分すぎる時間でした。車は時速43マイルで走行しており、距離にして約378フィート先です。しかしシステムはブレーキをかける代わりに、判断を変え続けました。相手を最初は「未知のオブジェクト」、次に「車両」、さらに「自転車」と分類し——この決定的な数秒間に6回もの再分類を繰り返したのです。再分類のたびに、彼女の進路予測はリセットされました。AIは彼女が何であるかを特定できず、だからこそ彼女がどこへ向かっているのかも判断できなかったのです。

システムがブレーキが必要だと判断したときには、残り時間はわずか1.3秒でした。物理法則によって衝突は回避不可能でした。エレイン・ハーツバーグさんは2018年3月、アリゾナ州テンピの路上で命を落としたのです。

さらに悪いことがあります。Uberはボルボに工場出荷時から搭載されていた衝突回避システムを意図的に無効化していたのです。チームは実験ソフトウェアのために「より滑らかな乗り心地」を求めました。実績のある安全レイヤーを、検証されていないコードに置き換えたわけです。貴社が物理環境または安全クリティカルな環境にAIを展開しているなら、この事例は眠れぬ夜をもたらすはずです。ここに示されているのは、確率ベースのシステムに生死に関わる判断を委ね、安全ネットを剥ぎ取ったときに何が起きるかということです。

なぜビジネスにとって重要なのか

これは自動運転車だけの問題ではありません。組織が検証済みの安全アーキテクチャなしにAIを高リスクの意思決定へ押し込めるとき、必ず繰り返されるパターンです。財務面・規制面での代償は容赦ありません:

• Uberは850万ドルを支払い、2018年の死亡事故を和解で解決しました。この金額がカバーするのは法的責任のみです。評判の毀損も、失われたパートナーシップも、操業停止のコストも含まれていません。
• GM Cruiseは50万ドルの刑事罰金を科されました。ロボタクシーがサンフランシスコで歩行者を20フィート引きずった事故の後です。司法省は、同社が連邦捜査当局に虚偽の報告書を提出したと認定しました。カリフォルニア州は運営許可を完全に取り消しました。
• テスラは2025年時点で290万台を対象とするNHTSAの調査に直面しています。Full Self-Drivingシステムを狙う個別の事故調査は40件を超え、赤信号での進行に関する苦情は18件あります。
• **データ侵害1件あたりの世界平均コストは現在444万ドルです。**自律運転による死亡事故は、法的・運用上の損害として数千万ドル規模の責任へと押し上げます。

取締役会が問うているのは、AIを使っているかどうかではありません。あなたのAIが監査でき、説明でき、法廷で防御できるのかを問うています。規制当局は、自主的な自己評価から、ISO/PAS 8800やEU AI Actのような標準を伴う義務的コンプライアンスへと移行しつつあります。AIシステムが明確な意思決定の証跡を提示できないなら、あなたは法的にも財務的にも運用的にも無防備です。検証されていない手軽なAIレイヤーの導入で節約した1ドルは、下流でリスク暴露として何倍にもなって跳ね返ります。

実際に内部で何が起きているのか

これらのインシデント全体を貫く根本的な失敗は、エンジニアリングの世界で「分類振動(classification oscillation)」と呼ばれるものです。こう考えると分かりやすいでしょう。ビルに向かって歩いてくる人を見て、従業員なのか配達ドライバーなのか見知らぬ他人なのかを決められない警備員を想像してください。その警備員は毎秒、まっさらな推測からやり直します。以前見たことを足場にすることはありません。人の進路を追跡することもありません。動こうと決めたときには、もう手遅れです。

UberのAIで起きたのがまさにこれです。各瞬間をほぼ独立に処理していました。「物体の永続性」——つまり「これが何であれ、5秒間ずっとこちらに向かって移動してきた」と記憶し続ける仕組み——がなかったのです。

2023年のCruise事故は、同じ欠陥の別の姿を見せました。はね飛ばされて進路上に投げ出された歩行者にロボタクシーが衝突した後、システムは車の下敷きになった人がいることを認識できませんでした。衝突を正面からの轢き逃げではなく「側面衝突」と分類したのです。これがプログラムされた停車マニューバを作動させました。車は時速約7マイルで被害者を約20フィート引きずってようやく止まりました——人を検知したからではなく、「過剰なホイールスリップ」を検出して機械的故障と解釈したからです。

テスラのカメラのみのシステムには、さらに別の層があります。LiDARもレーダーも持たず、カメラに完全に依存しています。濡れたアスファルトへの照り返しや霧などの条件では、光学信号は安全な走行に必要な水準を下回ります。2023年の死亡事故はまさにそうした条件下で発生しました。システムには、もはや何も見えていなかったのです。

これらは偶発的なバグではありません。アーキテクチャ上の弱点であり、証明ではなく確率の上に安全クリティカルなシステムを築いたことの、予測可能な帰結なのです。

機能するもの(と機能しないもの)

失敗し続けている3つの常套手段:

• 「テストをもっとすれば直る」。 従来のブラックボックステストは、システムがN個のシナリオを通過するかを確認するものです。しかし、あらゆる道路・あらゆる気象条件のすべてのエッジケースをテストすることはできません。テストは何が起きたかを教えてくれるだけで、何が起きるかを証明してはくれません。
• 「カメラだけで十分」。 テスラのアプローチはLiDARもレーダーも完全に排除しています。赤信号違反や逆走に関するNHTSAの18件超の苦情は、カメラだけに頼ることの限界——特に低視界状況での限界——を示しています。
• 「人間のバックアップがエラーを拾う」。 エレイン・ハーツバーグさんが亡くなったとき、Uberの安全オペレーターはシステムを監視していました。研究ではこれを「自動化への慢心(automation complacency)」と呼びます。人はマシンを信頼し、注意を払わなくなるのです。人間という最後の砦は、時間とともに劣化します。

実際に機能するのは、希望ではなく検証の上に築かれた3段階のアーキテクチャです:

1. 統合3D認識(入力): 各カメラ映像を別々に処理する代わりに、システムはすべてのセンサーデータ——カメラ、LiDAR、レーダー——を、Bird's-Eye-View(BEV)と呼ばれる単一の俯瞰型3Dマップへ変換します。Occupancy Networks——空間の小さな立方体それぞれが占有されているかを予測するモデル——は、ラベルではなく体積を追跡します。AIがある物体が歩行者なのか自転車なのか判定できなくても、その空間が占有されており、何かが動いていることは把握できます。これは、エレイン・ハーツバーグさんの命を奪った分類の反転を直接防止するものです。

2. 形式的検証(処理): SMTソルバと呼ばれるツール——ニューラルネットワークへのあらゆる可能な入力を試す数学エンジン——は、安全でない出力を引き起こす入力が存在しないことを証明できます。たとえば「霧の条件下でのあらゆる入力に対して、ブレーキ命令は最低閾値を下回ってはならない」といった具合です。ソルバが違反を発見すれば、エンジニアは展開前に修正します。これが 形式的検証と証明の自動化 ——AIの安全性を「願う」ことと「証明する」ことの違いです。

3. 決定論的安全フィルター(出力): ランタイムモニターが、AIが出すすべての命令を検証済みの安全ベースラインと照合します。AIが不合理な挙動——占有された空間へ向かって加速する、赤信号を無視する——に出ようとした瞬間、フィルターは即座にそれを上書きします。数学的に保証された拒否権と考えてください。

コンプライアンス部門と法務部門にとって、このアーキテクチャが生み出す決定的なものは、改ざん不能な監査証跡です。AIが下すすべての判断は、決定論的な形式でログに記録されます。規制当局が「なぜそのシステムはそのように動いたのか」と問うとき、ブラックボックスではなく数学を見せることができます。この点が特に重要になるのは、 自動車安全基準 がISO/PAS 8800およびSOTIF(ISO 21448)の下で厳格化されているからです。これらの基準は、設計どおりに作動するAIシステムが予期しない環境に遭遇することで生じるハザードを特に対象としています。

御社の組織においても、 センサーフュージョンとシグナルインテリジェンス をより広範なAI戦略にどう位置づけるかを検討してください。マルチセンサー構成は単一障害点を減らします。それは、テスラのカメラのみのアプローチがさらけ出しているまさにその弱点です。

これらの推奨事項の根拠となる完全な技術分析は、 技術白書の全文で読むことができます。また、 インタラクティブ版を見れば 、故障事例とソリューションのガイド付きウォークスルーを体験できます。