存在しない洪水をAIが「検知」した——そして莫大な損害を生んだ
東南アジアのある高速道路の衛星画像を見つめていたとき、私は初めて、AIが確信を持って何かを壊滅的に誤るのを目の当たりにするときに湧き上がる、あの独特の恐怖を感じた。
画像には、アスファルトの上に広がる暗く不規則な形が写っていた——少なくともモデルにとっては、それは紛れもなく水だった。システムはそれを洪水として検知した。自動迂回が作動した。50台のトラックが脇道へと迂回させられ、それぞれの走行距離に100キロ以上が上乗せされた。配送の時間枠は崩壊した。生鮮貨物は劣化し始めた。誰かが確認しようと思い立つまでに、金銭的損害は6桁を超えていた。
その道路は、からからに乾いていた。
モデルが見ていたもの——見えていると確信していたもの——それは雲の影だった。2000メートル上空を漂う一片の積雲が地面に落とした暗い斑点で、単一の衛星フレームを処理するAIにとっては、まさに溜まった水そのもののように見えた。これが、私が今シングルフレーム推論の失敗と呼んでいるものだ。凍りついた一瞬に閉じ込められ、その前後に何があったのかの記憶を持たないAIが、存在しない現実を幻視する瞬間である。そしてこれは、稀なエッジケースなどではない。今日、洪水検知のために展開されているほぼすべてのコンピュータビジョンシステムを特徴づける、決定的な脆弱性なのだ。
その出来事が、Veriprajnaにおける私のチームが存在する理由となった。学習済みモデルの周りにもう一つのラッパーを構築するためではない。自らが見ているものを実際に理解する何かを構築するためだ。
なぜAIは影を水と取り違えるのか?
その答えは物理であり、一度分かってしまえば恥ずかしくなるほど単純だ。
光学衛星——Sentinel-2、Landsat、そしてほとんどの洪水検知システムが依存しているもの——は、さまざまな波長にわたって反射した太陽光を捉える。水は近赤外線および短波赤外線の放射を強く吸収する。そのため衛星画像では、水は暗く映る。
しかし、暗さは水だけのものではない。雲の影は暗い。急峻な山腹が作る地形の影も暗い。真新しいアスファルトも暗い。そして静止画像で訓練された畳み込みニューラルネットワークにとって、「柔らかな輪郭を持つ暗く不定形な形」こそが洪水の特徴なのだ。モデルが知らないのは、画素がなぜ暗いのかということだ。モデルが知っているのは、ただ画素が暗いという事実だけである。
さらに事態を悪くしているのはこうだ。災害対応のシナリオでは、これらのモデルは意図的に「引き金を引きやすい」ように調整されている。損失関数は、誤報よりも見逃した洪水をはるかに重く罰する。だからモデルはパニック寄りに誤る。あらゆる影が、潜在的な大惨事となるのだ。
雲の影は風の速さで動く。洪水の水は重力と地形に従う。しかしシングルフレームのモデルは、そのどちらが動くのを見たこともないため、両者の違いを見分けられない。
研究はこれが理論上の話ではないことを裏付けている。雲の影は、光学衛星画像を用いた自動のニアリアルタイム洪水検知における「最大の課題」として文書化されている。高解像度のデータセットでは、影はしばしば分離した特徴として——それを落とした雲から切り離されて——現れ、特に雲の高度が不明な場合、幾何補正の手法を当てにならないものにする。
自分たちのモデルを壊した夜
一つ正直に打ち明けたいことがある。Veriprajnaで洪水検知の構築を始めた当初、私たちは誰もが犯すのと同じ過ちを犯した。しっかりしたセグメンテーションのアーキテクチャを取り、ラベル付けされた洪水画像でファインチューニングし、検証セットで見事に見える数値を得た。適合率90%超。私たちは大喜びした。
それから私たちは、インドのモンスーンが多発する地域を捉えたSentinel-2のライブフィードでそれを運用した。
最初の一週間で、モデルは11件の洪水を検知した。本物は3件。残りは影、灌漑後の暗い農地、そして新しく舗装された道路の一区間だった。リードエンジニアが真夜中にいら立って電話をかけてきて、モデルは「まるで水脈占いの棒のように、そこら中で水を見ている」と言った。
私たちは次の二日間を、すべての偽陽性を手作業で見直すことに費やした。そして私たちは、同じ一つの気づきに何度も立ち返った。モデルには時間という概念がまったくなかったのだ。モデルは各フレームを、見知らぬ他人のカメラロールから引き出された一枚の写真のように見ていた——文脈もなく、前もなく、後もない。同じ暗い斑点を前にした人間のアナリストなら、本能的に前の画像に切り替えるだろう。そして、その暗い形が時速50キロで東へ流れていくのを見て、こう思うはずだ、あれは雲の影だ、洪水ではない、と。私たちのモデルには、それができなかった。記憶を持っていなかったのだ。
それが転機だった。私たちは、より優れたシングルフレーム分類器を作ろうとするのをやめ、根本的に異なる何かを設計し始めた。すなわち、時間を厄介な変数としてではなく、現実の一つの次元として扱うシステムだ。
このアーキテクチャの転換については、私たちの研究のインタラクティブ版で詳しく書いた。
AIに記憶を与えると何が起きるのか?
人間のアナリストは、待つことによって洪水の疑いを検証する。次の画像を確認する。巻き戻す。雲の影は数分で形を変えて消える。洪水の水は何時間も何日も残り続け、重力と地形の抵抗に従ってゆっくりと広がっていく。
時間的な一貫性こそ、シングルフレーム推論が捨て去ってしまうグラウンドトゥルースなのだ。
Veriprajnaでは、私たちの入力は画像ではない。時系列データのテンソルだ——モデルが画素の変化を見守る、フレームの連なりである。私たちは3次元畳み込みニューラルネットワークを使う。そこでは畳み込みカーネルが時間の次元を持つ。高さと幅の上を滑る代わりに、それは高さ、幅、そして時間の上を滑るのだ。
その効果は甚大だ。明るく、次に暗く、そしてまた明るくなる画素は、一過性の異常——通り過ぎる影——として検知される。植生から水へと移り変わり、そしてとどまり続ける画素——フレームを重ねてもなお水のままの画素——は、洪水として分類される。時間的な勾配は、単一のフレームでは決して語り得なかった物語を語る。
より長期的なパターン——数分ではなく数日かけて発達する洪水——に対しては、私たちは畳み込みLSTMネットワークを重ねる。これらは(すべてを1次元ベクトルに平坦化してしまう標準的なLSTMとは異なり)画像の空間構造を保ちながら、洪水の状態の「記憶」を維持する。忘却ゲートは一過性のノイズを捨てる。入力ゲートは持続的な変化を受け入れる。モデルは単に「洪水が起きている」と言うだけではない。「2時間後にここが浸水する」と予測できるのだ——物流事業者に本物のリードタイムを与えながら。
時間的な奥行きを加えたとき、影の誤分類における私たちの偽陽性率は85%低下した。より優れた分類器を作ったからではない——間違った問いを立てるのをやめたからだ。
私たちはまた、時空間グラフ畳み込みネットワークを用いて、道路網に沿った洪水の伝播をモデル化する。道路は画素の格子ではなく、接続されたグラフである。上流のノードが浸水すれば、ネットワークは標高勾配と排水能力に基づいて、下流のノードでの洪水確率を——水が衛星画像に現れる前でさえ——高めることを学習する。これにより私たちは、河川の水位計の読み取り値、交通速度データ、気象予報を、視覚的推論のパイプラインに直接統合できる。
雲を透かして見るレーダー
洪水検知の残酷な皮肉はこうだ。洪水は嵐とともにやって来て、嵐は雲とともにやって来る。洪水を引き起こすまさにその条件こそが、光学衛星の目を眩ませる条件なのだ。
ここでセンサーフュージョンが譲れないものとなる。合成開口レーダー——SAR——は能動型のセンサーだ。自らマイクロ波のパルスを放ち、その反響に耳を澄ます。マイクロ波は雲、雨、煙を透過する。昼も夜も機能する。そして決定的に重要なことに、光学的な光とは異なる仕方で水と相互作用する。
雲の影はレーダーには見えない。レーダーは自らの照明を供給する——太陽が何をしていようと関係ない。だから、光学センサーが暗さを見て、レーダーが後方散乱の強い、粗く乾いた表面を見たとき、答えは明白だ——影である。両方のセンサーが、後方散乱の弱い滑らかで鏡面的な表面で一致したとき、答えは同じく明白だ——水である。
原理は単純。実行は残酷なまでに複雑。
なぜ二つのセンサーを単純に平均するだけではいけないのか?
これは私が最もよく受ける質問であり、その答えは、なぜほとんどの「フュージョン」的手法が見せかけにすぎないのかを明らかにする。
光学とSARのバンドを一つの入力テンソルに積み重ねて、ネットワークが何とかしてくれると期待することはできない。統計的な分布が根本的に異なるからだ——RGBの画素値に対して、デシベルの後方散乱測定値。別々のモデルを訓練してそれらの確率マップを平均することもできない。それでは、本当の曖昧性解消が起きる特徴量レベルの相互作用を取りこぼしてしまうからだ。
その代わりに私たちが構築したのは、クロスモーダル・アテンション機構である。光学エンコーダーとSARエンコーダーは、並列のストリームを通じて独立に特徴を抽出する。次に、複数のスケールにおいて、クロスアテンションのブロックが各モダリティに互いへ「注意を向け」させる。モデルは画素ごとに、今どちらのセンサーがより信頼できるかを計算する。
光学的な特徴が雲ノイズの統計的な指紋——高い分散、低いスペクトル相関——を示すとき、アテンションゲートは重みをレーダー信号の方へ移す。SARが建物からの二重反射アーティファクトに手を焼く都市環境では、ゲートは光学データへと軸足を戻す。これは平均ではない。動的なソース選択なのだ。
AIはデータを融合しているのではない。それは能動的に、どのセンサーを信じるかを、あらゆる画素について、あらゆるフレームにおいて選択しているのだ。
私たちが解決しなければならなかった実際的な問題が一つある。Sentinel-1とSentinel-2は、同じ地点の上空を同じ時刻に飛ばない。嵐の最中に洪水が発生し、SARデータしか手に入らないとき、私たちは敵対的生成ネットワークを用いて、光学的な視界がどう見えるであろうかを、レーダーの反射をもとに合成する。これはデータを捏造することではない——生のレーダー画像は悪名高いほど直感に反して読み取りにくいため、人間のアナリストに解釈可能な参照フレームを与えることなのだ。
私たちのフュージョン・アーキテクチャと訓練手法の完全な技術的解説については、私たちの研究論文を参照してほしい。
私のチームを分裂させかけた議論
初期のある一週間、私のチームは本気で二分された。半分は、純粋に時間的モデリングに集中したがっていた——時間をかけて十分なフレームがあれば、光学データだけで影を水から見分けられる、という主張だ。もう半分は、雲に覆われたフレームが5枚連続したとき——それはまさに、最も検知する必要のある洪水の最中に起きることだが——時間的データは役に立たないと論じた。
議論は白熱した。あるエンジニアが、バングラデシュを捉えたモンスーン期の画像を呼び出し、Sentinel-2が雲頂しか捉えられなかった12日連続の期間を示した。「あなたの時間的モデルは、雲が変化していくのを見ているだけよ」と彼女は言った。「地上で何が起きているかは、まったく分かっていない」
彼女は正しかった。そして時間派もまた正しかった——地上を見ることができるとき、時間は利用できる最も強力な識別子なのだ。
その決着は妥協ではなかった。両方のアプローチが、単独では不完全であり、組み合わさると変革的になるという気づきだった。時空間モデリングは、光学的な可視性が断続的にしか得られない場合に対処する。SARフュージョンは、光学が完全に遮られる場合に対処する。そしてクロスアテンション機構は、どの証拠の組み合わせを信頼すべきかを、動的に学習する。
私たちはこの統合パイプラインをChronos-Fusionと名付けた。それはSentinel-1のSARデータとSentinel-2の光学データをデュアルストリームのエンコーダーで処理し、複数のスケールでクロスアテンションを介して融合し、3次元逆畳み込みネットワークを通じてデコードし、そして物理的にあり得ない予測——数秒で水が現れては消える、あるいは45度の斜面に水が溜まるといった——を罰する損失関数によって、時間的な一貫性を強制する。
私たちの社内ベンチマークが、それを物語っている。
- 静的な光学のみのベースライン: 約0.65 mIoU(平均Intersection over Union)
- 静的なSARのみのベースライン: 約0.70 mIoU
- Chronos-Fusion 時空間モデル: >0.91 mIoU
- 時間的一貫性: 96%のトレンド安定性——ちらつきなし、幻の洪水なし
「基盤モデルを使えばいいだけ」派についてはどうか?
私は絶えずこれを耳にする。昨年、ある投資家がまったくの真顔で私に言った。「SAMを何枚かの洪水画像でファインチューニングして、出荷するだけでいいんじゃないの?」SAM——Segment Anything Model——は素晴らしい技術だ。しかしそれは汎用のセグメンテーション・エンジンである。水が近赤外線の放射を吸収することを理解していない。表面が鏡面的になるとレーダーの後方散乱が落ちることを知らない。影は風とともに動き、洪水は重力に従うということを、一度も学んだことがない。
こうしたラッパー的な手法——学習済みモデルを取り、小さなラベル付きデータセットでファインチューニングし、展開する——は、印象的なデモを生み出す。丁寧に整えられた検証セットでは好成績を収める。そして本番環境では失敗する。現実世界は、きれいなデータセットにはない仕方で敵対的だからだ。
学習済みモデルは、灌漑後のパンジャブの暗い農地が、浅い洪水とスペクトル的に見分けがつかないことを知らない。ケーララのモンスーンの雲が何週間も居座り、事象の全期間にわたって光学のみの検知を役立たずにしうることを知らない。ムンバイの都市部のSAR画像が、水の特徴を模した建物からの二重反射アーティファクトを生み出すことを知らない。
ラッパーAIは、その上流にある前処理のあらゆる失敗を受け継ぐ。もし雲マスクが影を見逃せば、セグメンテーション・モデルはそれを自信満々に洪水とラベル付けするだろう。ゴミを入れれば、自信に満ちたゴミが出てくる。
ラッパーAIと、私たちが構築するものとの区別は、机上の空論ではない。それは、デモで動くシステムと、モンスーンが襲来したときに動くシステムとの違いなのだ。
本当のコストは、迂回させられたトラックではない
私がこのエッセイを物流の例で始めたのは、金銭的な損害が具体的で即座に分かるからだ。しかしより深いコストは、信頼である。
洪水検知システムの誤報率が高いと、人間のオペレーターはそれを信じなくなる。彼らはすべての警報を手作業で検証し始め、AIが排除するはずだった遅延を再び持ち込んでしまう。緊急対応要員は、研究者が警報疲労と呼ぶもの——直近の5件が影だったせいで、正当な警告が遅らされたり無視されたりする「オオカミ少年」的な力学——を発症する。
災害対応において、これは人命で測られる。捜索救助チームを乾いた場所——雲の影——へ派遣することは、実際の洪水被害者を待たせることになる。研究によれば、救援物資配布の「ラストマイル」を最適化することが極めて重要であり、偽りの需要信号は作戦全体の便益費用比を悪化させる。
パラメトリック保険では、衛星データに基づいて保険が自動的に発動する(「資産Xの500メートル以内で洪水を検知」)ため、精度は法的な通貨である。偽陽性は不当な支払いを発動させる。偽陰性は正当な請求を却下する。私たちのシステムは、洪水のラベルだけでなく、時空間的な証拠の連鎖を記録する——水は6時間持続した、レーダーの後方散乱が表面の粗さの変化を確認した、時間的解析が影を除外した、というように。それは確率スコアではなく、フォレンジックな監査証跡なのだ。
見ることのできない物理を理解するよう、どうやってAIを訓練するのか?
人々は私にこれを尋ねる。そして正直な答えはこうだ——物理を直接教え込むわけではない。物理が暗黙のうちに存在する、膨大な時系列衛星データのアーカイブでAIを訓練するのだ。
私たちはラベルのない画像に対して自己教師あり学習を用いる。モデルは、最後の一枚を隠したフレームの連なりを見て、次に何が来るかを予測しなければならない。こうした予測を何百万回と重ねることで、モデルは雲が速く動き、水がゆっくり動くことを学ぶ。影は鋭い時間的勾配を持ち、洪水はなだらかな勾配を持つことを学ぶ。ニュートンの法則を一度も教えられることなく、変化の物理を学ぶのだ。
それから私たちは、入手可能な最良のラベル付きデータセットでファインチューニングする——11の世界的な洪水事象にわたる4,831枚のラベル付きチップを備えたSen1Floods11、多様な形態を捉えた159の洪水事象を含むWorldFloods、雲と影の除去のための400万枚の画像から成るAllClear、都市環境という悪夢に特化したUrbanSARFloods。単一のデータセットで十分なものはない。それぞれが独自のラベリングの偏りを抱えており、それらすべてで訓練することが、モデルに記憶ではなく汎化を強いるのだ。
影は水ではない
私はあの最初の画像に何度も立ち返る。高速道路の上の暗い形。自信に満ちた赤いラベル——「洪水」。誰かがそれに疑問を抱いたときには、すでに50台のトラックが迂回を始めていた。
問題は、AIが愚かだったことでは決してなかった。問題は、私たちがAIに、2次元のスナップショットを見ることで4次元の世界を理解するよう求めたことだった。私たちは一枚の写真を与えて、物語を語れと求めた。幻覚を見たのは当然だ。
重要インフラの意思決定にシングルフレーム推論を用いる時代は終わった。気候変動は、極端な気象現象の頻度を——そしてそれに伴う雲量を——加速させている。雨が降ると見えなくなるシステムは、慎重なのではない。時代遅れなのだ。
私たちがVeriprajnaで構築しているのは、より優れた分類器ではない。それは異なる種類の「見ること」だ。私たちは時間の流れを見守る。電磁スペクトルを融合する。JPEGの中で暗い画素がどう塊になるかではなく、水が地形の上で実際にどう振る舞うかという物理をモデル化する。ラッパーモデルが浸水した道路を見てパニックに陥ったとき、私たちのシステムはレーダーを確認し、テープを巻き戻し、時間的な一貫性を検証し、そしてルートを問題なしと判定した。
影は水ではない。しかし、一度しか見なければ、その違いに気づくことは決してないだろう。
