FEMAの地図に勝つ洪水モデルを作った。すると、届出させてくれなかった。
このデモを構築する中で最も興味深かった瞬間が、ソフトウェアに「いいえ」と言われたことだとは思わなかった。
見たことのないデータに対して、FEMAの洪水ゾーンよりも実際の洪水損失をうまく順位付けする複合格付けファクターがあった。作り手としてのあらゆる直感からすれば、それが勝ちだ。出荷する。ところがパイプラインの最終ステージが赤く点灯し、NOT FILING-READYと表示し、最悪の単一変数を指名して、人間のアクチュアリーへ回した。自慢していたレートが届出に安全ではないと、自分のコードが判断したのだ。それがバグなのか、それともまさに本質なのか、しばらく座って考えた。
まさに本質だった。今では、背後のモデルよりも、届出を拒否するゲートの方が価値があると私は考えている。なぜそう思うのかが、この文章の主題だ。
このデモはFloodProofという。テキサス州ハリス郡のNational Flood Insurance Program（全国洪水保険プログラム）の実クレーム公開ブックを、OpenFEMAから動かしている。「診断を再実行」をクリックすると、九つのステージが実レコード上でライブ実行され、一秒未満で終わる。ハードコードは何もない。固定シードで分割を再現可能にしているので、これから引用する数字は毎回再計算される。
最初に私を止めた数字は、どのモデルも出していないものだった
この数字に何度も立ち返るのは、私が計算したのではなく、クレームが示したからだ。このハリス郡ブックで実際に支払われた建物クレームのドルのうち、31億ドル、すなわち45.9%が、FEMAが高リスクゾーン外と格付けした物件に支払われた（特別洪水危険区域）。モデルなし。スコアなし。実台帳の合計だけだ。ゾーン地図——キャリアがいまだに洪水レートの根拠にしているもの——は、金のほぼ半分について沈黙していた——実際に出て行った金だ。
それは着手前に読んでいた内容と一致していた。米国内の洪水被害の三分の二超はFEMAの高リスクゾーン外で発生し、ハリケーン・ハービー後はハリス郡の洪水クレームのおよそ70%がそれらのゾーン外から来た（Veriprajnaソリューションページ調査、2026年）。統計としては信じていた。自分の画面上で、トラクトごとに、実ドルとして積み上がっていくのを見ると、受け止め方が違う。
ゾーン地図は少しずれていたのではない。単一の郡ブックで、実損失31億ドルについて沈黙していたのだ。
つまり地図は粗い道具だ。洪水プライシングに関わる者なら誰もがすでに知っている。市場の答えは、ベンダーからより良いモデルを買うことだった。私は、より良いモデルが本当に難しい部分なのか、それとも自分がまだ見ていない場所に難しさがあるのかを知りたかった。
六つの素朴な建物属性で、ゾーン地図に勝てるのか？
普通のリッジ回帰が針を大きく動かすとは思っていなかった。スコアリングの中核は意図的に地味だ：実OpenFEMA建物属性——築年、階数、嵩上げフラグ、post-FIRM適合、用途、障害物——のリッジ複合。六つの正直な特徴量だ。最初の直感では、付保建物補償も入れようとした。補償は支払と相関するからだ。自分を止めた。支払いは補償で機械的に上限が決まるので、入れるとスコアが答えをカンニングし、バックテストが循環になる。切った。その単一の削除こそが、デモと手品の違いだ。
バックテストは非循環になるよう設計している。複合を70%の訓練分割でフィットする。一度も見ていないホールドアウト30%でスコアする。それが40,615件の実クレームだ。比較対象とする実のratedFloodZoneをベースラインとし、実のamountPaidOnBuildingClaimをラベルとする。ベースラインもラベルもモデルから独立しているので、勝ちは本物のアウトオブサンプルの勝ちであり、自己採点ではない。
予想以上に勝った。複合が捕捉したのは1.694倍のホールドアウト・クレーム上のFEMAゾーン上位デシル損失ドルであり、ジニは0.31対ゾーンの0.08だ。運の良い分割を引いていないか確認するため、ランダムシードを変えて再実行した。リフトは維持され、シード間でおよそ1.69から1.85だった。六つの素朴な属性を正直にフィットしただけで、一度も見ていない金について連邦の洪水地図に勝った。
そして、まさにそこで、市場全体が犯している過ちを私も犯しそうになった。
構築全体の枠組みを変えた気づき
その時点でデモはほぼ完成だと思い、間違っていたのを覚えている。自分で採点するより良いモデルは証拠ではない。主任アクチュアリーにファクターを渡して「信じてくれ、ゾーンに勝つ」と言えば、自分の宿題に自分の点数を書いて渡したことになる。価値は決してモデルではなかった。ZestyAIやICEYEやFirst Streetのようなベンダーはすでに強い洪水モデルを売っている。耐久するのはあらゆるモデルの周囲にある退屈なインフラだ：懐疑者が却下できないバックテスト、モデルが言い逃れできない公平性監査、そして届出を出すか拒否するゲート。それはどのモデル品質でも成り立つので、モデルが良くなっても古びない。仕組みと正直な開示は自分の目で確認できる：veriprajna.com/ja/demos/flood-risk-underwriting。
自分で採点するより良いモデルは証拠ではない。自分の宿題に自分の点数を書いたものだ。
モデルが全体の話ではありえない、より難しい第二の理由がある。損失をうまく順位付けするファクターは人口統計シグナルも運ぶことがあり、異質的影響テストに失敗するレートは保険局の審査官が却下する届出だ。うまく順位付けすることと、届出可能であることは、二つの別の問いだ。私は最初の問いに答えていた。二つ目が待っていた。
公平性監査を自分のモデルに向け、悪役だと期待した
複合が問題だと本気で構えていた。監査は価格付けされた各変数を、CDC/ATSDR社会的脆弱性指数（2022年リリース）の実トラクト水準のマイノリティ比率と照合し、それぞれに逆影響比率を計算し、EEOCの5分の4ルール——0.80から1.25の帯（29 CFR 1607.4(D)）——と照合する。華やかなAIスコアが人口統計プロキシを運んでいるものだと思っていた。
そうではなかった。複合スコア自体は逆影響比率0.938で合格する。自分のモデルを悪役に見せかけるためにデモを作ったわけではなく、実際そうではない。だが監査はすべてをスクリーンし、価格付けされた変数のうち5つが80%ルールに失敗する。最悪は階数で0.363。付保価額は0.526で失敗する。そして本当に驚いたのは：FEMA自身のゾーン階層が1.467で失敗することだ——高側で、私の複合がどの側でも示すより悪い。皆が安全で中立で規制当局のお墨付きの錨だと扱うベースラインが、人々が神経質になるAIファクターよりも大きい人口統計の歪みを抱えている。
私のAIファクターは公平性テストを0.938で合格した。FEMAのゾーン階層は1.467で失敗した。
その逆転こそ、アクチュアリーに腰を据えて考えてほしいことだ。モデルを疑い地図を信じる直感は、このブックでは逆だ。
届出できる前に、自分で自分を止めた
次に何が起きたかを正確に述べたい。自分が最も誇りに思う部分であり、まったくドラマのないコードだからだ。ポリシーゲートは純粋なPythonで、ルールは一つ：ホールドアウト標本が十分大きく、FEMAゾーンに対するリフトが必要な下限を超え、スクリーンした全変数が公平性帯の内側にあるときだけ届出準備完了。デフォルトは拒否。filing_readyは、ブロッキング所見がゼロの場合に限る。このブックでは変数が失敗したので、ゲートはNOT FILING-READYを返し、最悪の違反者として階数を指名し、レートを出荷する代わりに人間の数理的正当化へ回した。州ごとのチェックリストも走り、コロラド州の変数ごとの正当化要件が未完了として出た。
スタックの任意部分は、小さなPydantic-AIエージェント群——ファクター説明器、敵対的チャレンジャーと対になった公平性正当化器、届出メモ起草器——だ。助言する。ナラティブを起草する。ゲートを上書きできず、APIキーがなければ単に棄権し、決定的な結果は変わらない。信頼が重要な数字はすべて、エージェント枠組みの外にある素のnumpyだ。エージェントは助言し、コードが決定する。このビルドのベンダーフィード（ZestyAI Z-FLOOD、ICEYE SAR深度）とGuidewireコネクタは、実スキーマの背後のスタブ——文書化された本番差し替え——であり、ライブ統合ではない。存在しないパイプをにおわせるより、そうはっきり言う方がいい。届出成果物を含むフルパッケージは次にある：veriprajna.com/ja/demos/flood-risk-underwriting。
ゲートが拒否したときに出すものは行き止まりではない。審査官向けのDOI届出パッケージだ：数理覚書、アウトオブサンプル・バックテスト表、特徴量寄与、公平性スクリーン、そして何がなぜ人間へ回されたかの明示的な記述。証拠成果物であり、認証ではなく、どの審査官も何かを承認したという約束でもない。審査官が求める紙の記録を、聞かれる前に組み立てたものだ。
これを、審査官より先にコンプライアンス・リスクを捕まえること、と呼んでいる。買い手価値は一行に収まる。代替案は、届け出した後に、手紙で、公に、自分のレートが差別的だと知ることだ。
いまも座り続けていること
この構築に入ったとき、より良い洪水モデルを作っているつもりだった。出てくるときには、モデルが最も重要でない部分だと確信していた。正直な開示は精度よりも重要だ。FEMAはクレームの地理座標をおよそトラクト重心まで検閲するので、これは公開データが正直に許す解像度で動き、デモは画面上でそう言う。リフトは一つのハリス郡ブックと一つのホールドアウト分割であり、開かれた世界の保証ではない。それらの限界を名指しすることは、ピッチの弱みではない。それがピッチだ。
24州超がNAIC AIモデル公報を採択し、ニューヨークDFS通達2024-7がプロキシ差別テストを礼儀ではなく期待にするなか、届出を拒否するコードは書類作業ではなくなり、プロダクトになり始めている。格付けファクターは決して難しい部分ではなかった。証明し、統治することが難しかった。
私の言葉を信じるより、決める様子を見たいなら、エンドツーエンドで動く全体がここにある。
そこで、自分でもまだ完全には答えていない問いがあり、アクチュアリーの見解を本当に聞きたい。何年もレートの根拠にしてきたFEMAゾーン階層が、新しいAIファクターにこれから適用しようとしている同じ公平性テストに失敗すると自分の監査が告げたなら、どちらを先に信じなくなるか？
