あなたのリサイクルAIは1.5メートル手遅れだ——物理は待ってくれない

つぶれたPETボトルが毎秒4メートルで空圧式イジェクターの脇を、何にも触れられることなく通り過ぎていくのを見て、私は何かが根本的に壊れていると悟った。

私たちはマテリアルリカバリー施設——業界の略語でMRF——の、どこか騒がしく暑い場所に立ち、クラウド接続型のAI選別システムのデモを見ていた。売り込みは巧みだった。ダッシュボードは美しかった。ニューラルネットワークは、試験台の上では17種類の素材を見事な精度で識別できた。だが実際のベルト上で、本物のゴミが本物の速度で流れる中、システムは取りこぼし続けた。モデルが間違っていたからではない。答えが届くのが遅すぎたからだ。

あの瞬間、私が何ヶ月も周囲をぐるぐると回りながら考えていたことが、はっきりと形になった。リサイクル業界が抱えているのは、AIの精度の問題ではない。抱えているのは、物理の問題だ。そして、どれだけモデルをファインチューニングし、APIを最適化しても、それは解決しない。制約はアルゴリズムにあるのではなく——アーキテクチャにあるからだ。

私はオフィスに戻り、ある計算を行った。それはいまや、マテリアルリカバリー向けFPGAエッジAIに関する私たちの研究の中心に位置している。すべてを変えた数字は、1.5メートルだ。クラウドAIシステムが判断を下すのにかかる時間の間に、リサイクル可能な素材が標準的なコンベアベルト上を進む距離である。

500ミリ秒の間に何が起きるのか?

0.5秒など何でもないように聞こえる。まばたきはおよそ300ミリ秒で終わる。だが毎秒3メートル——現代の選別ラインとしては控えめな速度——で動くコンベアベルト上では、500ミリ秒は物体が1.5メートル進んだことを意味する。TOMRAのSPEEDAIR技術を使う施設のような高スループットの現場が日常的に到達する毎秒6メートルでは、その数字は倍の3メートルになる。

標準的なクラウドAI推論の往復——カメラ撮影、エンコード、伝送、キューイング、GPUバッチ処理、推論、返送——には、およそ500ミリ秒かかる。これは最悪のケースではない。連鎖する各ステップを現実的に積み上げた合計だ。

産業用ベルトの速度では、500ミリ秒のクラウド推論の遅延が1.5〜3.0メートルの盲目的な変位を生む——空圧式排出に求められる精度をはるかに超えている。

これらの機械の排出機構は、12.5〜31ミリ間隔で並ぶ小さな空圧バルブの列で、圧縮空気の精密な噴射を放つ。バルブは、隣接する素材を乱すことなく、特定のボトル、缶、あるいはプラスチック片の重心を正確に捉えなければならない。空間的な許容誤差はミリ単位で測られる。ところがクラウドは、メートル単位で測られる答えを返している。

「もっと速いAPIを使えばいいだけでは」と繰り返し尋ねてくる投資家に、これを説明したのを覚えている。私はナプキンを取り出し、コンベア、カメラ、クラウド、イジェクターを描いた。方程式——変位は速度かける時間——を書き、彼の表情が変わるのを見た。物理で最も単純な方程式であり、それが「選別のためのクラウドAI」という命題全体を打ち砕く。

なぜ単に「先読み」すればいいわけではないのか?

これは誰もが最初に持ち出す反論であり、もっともだ。クラウドが応答するのに500ミリ秒かかるなら、カメラを1.5メートル上流に取り付けて、システムに「先読み」させればいい——そうだろう?

私たちはこれを筋道立てて考えてみた。私のチームは2週間かけてモデル化したが、答えはこうだ——ホワイトボードの上ではうまくいくが、工場の現場では破綻する。

問題は、コンベアベルトが精密機器ではないということだ。ベルトは振動する。モーターは、軽量なプラスチックを横方向に漂わせる周波数でうなりを上げる。毎秒4メートルを超える速度では、薄いフィルムや紙は小さな翼のように振る舞い——作業員はこれを「空飛ぶ絨毯」効果と呼ぶ——ベルト表面から浮き上がって予測不能にはためく。重いガラス瓶はプラスチックのトレイに転がり込み、両方をコースから弾き飛ばす。

1.5メートルの移動距離の間に、これらの確率的な力は積み重なる。カメラの下では完璧に中央にあった軽量な容器が、イジェクターに到達する頃には2センチ左にずれているかもしれない。線形追跡アルゴリズムは一定のベルト速度を補正できるが、まだ起きていないガラス瓶とヨーグルトカップの衝突を予測することはできない。

さらに、身も蓋もない物理的な制約もある。ブラウンフィールド(既存設備)への導入——リサイクル業界の大半がこれだ——では、コンベアラインを2メートル延長するというわけにはいかない。プラントのレイアウトを設計し直し、ガントリーを移動させ、供給角度を変える必要がある。CapEx(設備投資)は莫大で、しかもそれを、遅さそのものを直すのではなく、遅いAIシステムに合わせるために費やすことになる。

そして、誰も話題にしたがらない選択肢がある——ベルトの速度を落とすことだ。毎秒4メートルで正確に選別できないなら、毎秒1メートルまで下げればいい。問題解決——ただし、施設の処理能力を75%削ってしまっただけだが。トンあたりの薄い利幅で回っている業界では、これは妥協ではない。事業性にとっての死刑宣告だ。

目に見えない敵——ジッター

平均レイテンシだけでも十分に厄介だ。だが本当に致命的なのは、ジッターだ——推論ごとに変動する、そのレイテンシのばらつきである。

クラウドシステムは平均で500ミリ秒かもしれないが、個々のリクエストは変動する。あるものは480ミリ秒で返り、次は520ミリ秒、そして時折、Ohioのどこかでルーターのバッファが一杯になったせいで600ミリ秒かかるものもある。その±50ミリ秒の変動が、100ミリ秒の発射不確実性の窓を生む。毎秒3メートルでは、100ミリ秒は300ミリの移動距離だ。

その窓の中で確実に命中させるには、システムは30センチの範囲を覆う圧縮空気の噴射を放つ必要がある。それは膨大な量の圧縮空気を浪費し、その範囲内のすべて——狙った素材と、その隣にある良質な素材——を排出してしまう。純度は崩壊する。

私はこれを巡って同僚と激しく議論した。彼は、5Gエッジクラウドがジッター問題を解決すると主張した。私は彼に数字を示した——5Gエッジでさえ、独自のジッター特性を伴う20〜50ミリ秒のレイテンシをもたらす。毎秒6メートルでは、20ミリ秒はなお120ミリの変位だ。クラウドよりはましだが、12.5ミリピッチで並ぶバルブには、依然として桁違いに不正確すぎる。

高速選別においては、テールレイテンシ——99パーセンタイルの遅延——のほうが、平均レイテンシよりも重要だ。パケットの1%が遅れて届けば、選別された素材の1%が間違ったものになる。

1時間あたり50トンを処理する施設では、純度が1%低下すると、本来はきれいであるべき梱包(ベール)に、1時間あたり500キログラムの汚染物質が紛れ込むことを意味する。それは、ベールをGrade AからGrade Bへと格下げさせ、あるいは買い手による全面的な受け取り拒否を引き起こすのに十分な量だ。採算はあっという間に崩れる。

なぜ私たちはプログラマブルなシリコンを選んだのか

問題がアーキテクチャ上のものであって——アルゴリズム上のものではない——と理解した途端、解決策の選択肢は劇的に狭まった。私たちに必要だったのは2ミリ秒未満の推論レイテンシであり、しかもその数字が決定論的であることだった。「たいてい2ミリ秒未満」ではない。常に2ミリ秒未満。一度の例外もなく、毎回だ。

その要件はGPUを、エッジGPUでさえも排除する。ローカルのGPUは15〜50ミリ秒に達し得て、クラウドよりははるかに優れているが、変動する。GPUはオペレーティングシステム上で動く。オペレーティングシステムはコンテキストスイッチを行い、割り込みを処理し、ファイルシステムをジャーナリングし、そして時折、今こそバックグラウンド更新を走らせる絶好のタイミングだと判断する。リアルタイムLinux(PREEMPT_RT)でさえ、本質的にはタイムシェアリングシステムだ。AI推論がネットワークドライバーやSSHデーモンに割り込まれないことを保証できない。

そこで私たちはFPGA——Field-Programmable Gate Array(フィールドプログラマブルゲートアレイ)——に目を向けた。そしてここで、技術的な素養があってもなお、私が完全に腹落ちさせるまでに時間がかかったことを、説明しておく必要がある。

FPGAはプロセッサではない。命令を実行しない。従来の意味でソフトウェアを書くこともない。そうではなく、そのシリコンファブリックを構成することで、それを変貌させる——あなたのアルゴリズムを実装する回路そのものへと。ニューラルネットワークは、ハードウェア上で動くプログラムではない——それがまさにハードウェアそのものなのだ。

この区別は、それがレイテンシにとって何を意味するかを目にするまでは、学問的な話に聞こえる。CPUは命令をフェッチし、デコードし、データをフェッチし、実行し、結果を格納する——そしてこれを何十億回も繰り返す。FPGAには命令フェッチがない。プログラムカウンタもない。データは、パイプの中を流れる水のように、論理ゲートの物理的なパイプラインを通って流れる。カメラセンサーから最初のピクセルが届いた瞬間に、処理が始まる。システムは、フレーム全体がバッファリングされるのを待たない。

その結果——2ミリ秒未満の決定論的な推論だ。毎秒3メートルでは、これは物体の6ミリの変位に相当する。毎秒6メートルなら12ミリ。どちらも、空圧式排出ノズルの精度の許容範囲に十分収まっている。

FPGAベースのビジョンシステムは、カメラが画像の下部を送信し終える前に、画像の上部についての推論結果を用意することができる。

ニューラルネットワークをどうやって1枚のチップに収めるのか?

ある夜のことだ——遅い時間で、コーヒーを飲みすぎ、オフィスには誰もいなかった——私は、選定したFPGAのメモリ仕様をじっと見つめ、自分たちのモデルの重みの数を計算していた。数字が合わなかった。私たちのニューラルネットワークは、チップのオンチップメモリには大きすぎた。FPGAが持つのは数メガバイトの高速な内部ストレージであり、GPUで手に入る数ギガバイトのVRAMではない。

これは、AI向けFPGAに対して昔から言われてきた批判だ——速いが、小さい。そしてしばらくの間、私たちは壁にぶつかったと思っていた。

突破口となったのは、量子化だった——具体的には、積極的な量子化を、Quantization-Aware Training(量子化を考慮した学習)、すなわちQATと呼ばれる学習手法と組み合わせたものだ。

核心となる考え方はこうだ。ニューラルネットワークは通常、32ビット浮動小数点数(FP32)を使って学習される。学習中の計算が精密である必要があるからだ。だが、いったんモデルが学習されてしまえば、それらの32ビットの重みは、タスクが実際に必要とするよりもはるかに高い精度を担っている。PETボトルとHDPEの牛乳ボトルを見分けることは、巨視的な視覚的区別——形状、不透明度、ラベルの質感——だ。それを捉えるのに、32ビットの数値精度は必要ない。

私たちはモデルをINT8(8ビット整数)まで圧縮し、これによってメモリ使用量が4分の1になる。さらに、重みの多い層についてはINT4(4ビット整数)まで踏み込み、これで8分の1になる。私たちの内部ベンチマークでは、対応するFPGAハードウェア上で、INT4はINT8に対して最大77%の性能向上をもたらし、その一方で元のFP32モデルの99%を超える精度を維持している。

鍵となるのはQATだ。重みをただ切り捨ててうまくいくことを祈るだけの粗雑な学習後量子化とは異なり、QATは量子化ノイズを、学習の最中にシミュレートする。ネットワークは、より低い精度に対して頑健になるよう学習する。これは、細かい筆使いを習得した後に太い筆で描くよう頼むのと、最初から太い筆で美しく描くよう教えるのとの違いに等しい。

量子化されたモデルなら、ニューラルネットワーク全体がFPGAのオンチップBlock RAMに収まる。外部メモリへのアクセスはない。DRAMのボトルネックもない。データはチップ内を毎秒テラバイトで移動する。私たちはFINNやhls4mlといったフレームワークを使い、特定のネットワーク層を特定のFPGAリソースにマッピングし、各層の並列度をカメラセンサーのスループットに合わせて調整することで、パイプラインが決して停滞しないようにしている。

「オペレーティングシステムゼロ」とは、実際のところ何を意味するのか?

私たちは、重要な推論経路をベアメタル上で走らせている。Linuxはない。Windowsもない。思考と実行を担うチップの部分には、オペレーティングシステムがまったく存在しない。

それは極端ではないか、と人はいつも私に尋ねる。極端だ。そして、必要でもある。

私たちが使うFPGAチップ——AMD Xilinx Zynq UltraScale+——は、1枚のシリコン上のヘテロジニアスなシステムだ。プログラマブルなロジックファブリックと、ハードなARMプロセッサコアの両方を備えている。私たちはワークロードを3つのドメインに分割している——

FPGAファブリックが、ビジョンパイプライン、ニューラルネットワークの推論、そしてバルブ制御信号を処理する。純粋なハードウェアロジックだ。ジッターはゼロ。リアルタイム処理ユニット——ベアメタルのC++で動くARM Cortex-R5——が、厳密に制限された割り込みレイテンシで、構成、ステートマシン、安全インターロックを管理する。そして、Linuxで動く別個のアプリケーション処理ユニットが、重要度の低い処理——データのロギング、Web UIの提供、リモート更新の管理——を担う。

思考と実行の経路は、報告の経路から完全に分離されている。Linuxのパーティションがクラッシュしても——そしてLinuxは実際にクラッシュする——FPGAは中断することなく、フルスピードで素材の選別を続ける。私はテスト中にこれが起きるのを目にした。ダッシュボードは真っ暗になり、ログのストリームは止まったが、選別ラインは一拍も乱れなかった。そのとき私は、このアーキテクチャが正しいと確信した。

このアーキテクチャの完全な技術的解説——データフローパイプライン、量子化スキーム、ベアメタルの同期エンジン——については、私たちの詳細な研究論文をご覧いただきたい。

これがなぜサーキュラーエコノミーにとって重要なのか?

そのミリ秒を、お金に翻訳してみよう。

クラウドに制約されたAIでPETプラスチックを処理する典型的なMRFは、レイテンシと追跡誤差に対応するため、ベルト速度を毎秒2メートルほどに抑えている。スループットは、ベルト幅1メートルあたり毎時およそ5トン。2ミリ秒のレイテンシのFPGAエッジ推論なら、そのベルト速度は3倍の毎秒6メートルまで上げられる。スループットは毎時15トン。同じベルト。同じ建物。同じ設置面積で。

それはまさに、300%の増加だ——処理能力の。2交代制——16時間——で稼働する施設なら、それは1日あたり160トンの追加処理に相当する。リサイクルPETが1トンあたり400〜800ドルで取引される中、収益への影響は年間で数百万ドル規模で測られる。

だが、スループットは話の半分にすぎない。精度も同じくらい重要だ。精密な排出は、きれいなベールに紛れ込む汚染物質を減らし(純度が上がり、プレミアム価格がつく)、誤って見逃されて埋立地に送られる狙った素材も減らす(歩留まりが上がり、廃棄が減る)ことを意味する。回収率がわずか1〜2%改善するだけでも、失われる収益は大きく減り、世界的に上昇している埋立処分料(ティッピングフィー)を引き下げる。

さらに、運用コストもある。クラウドのエグレス(下り転送)料金はない。推論ごとのAPI課金もない。高精細動画をデータセンターにストリーミングするための帯域コストもない。そしてFPGAは推論のワークロードに10〜20ワットを消費するのに対し、同等のGPU構成では100〜200ワット——これは、24時間365日稼働する数十の選別ステーションにわたって積み重なる、10倍の効率の優位性だ。

クラウドからエッジFPGAへの移行は、技術的な好みの問題ではない。それは、机上ではうまくいくリサイクル施設と、実際の速度でうまくいくリサイクル施設との違いだ。

本当に重要な堀(モート)

私はこの種の質問を定期的に受ける——「コモディティ化が心配ではないのか? NVIDIAがより速いエッジGPUを出荷したら、どうなるのか?」

私がたどり着いた考えはこうだ。静止したJPEG画像の中のボトルを分類するためにAPIを呼び出すことが週末の趣味プロジェクトになるような時代において、堀となるのはモデルではない。物理だ。つぶれた缶や濡れた段ボールが混沌と流れる中で、毎秒6メートルで動くそのボトルを、インターネット接続なしに、24時間、99%の純度で識別して排出する能力——それが堀だ。

それには、ハードウェアとソフトウェアの協調設計が必要だ——FPGAのシリコンを選定し、HDLを記述し、独自の量子化スキームを設計し、センサードライバーを統合し、サブミリメートルの排出精度のためにビジョン推論をエンコーダーのパルスに同期させる。それは、APIをラップして手に入るようなものではない。

現在のAIの状況は、産業運用の物理的な現実から切り離され、アプリケーション層で事業を営む企業であふれている。私たちは物理層で事業を営む。私たちはモデルを学習させて引き渡すのではない。私たちは、モデルがそれへと姿を変える、その回路を設計するのだ。

リサイクル業界は転換点にある。純度基準は厳しくなっている。使用済み廃棄物の流れはますます複雑化している。労働力は不足している。AIが答えだという点では、誰もが一致している。だが議論はずっと、どのモデルを使うかに終始してきた。しかし本当の問いは、どこで、どれほど速くそのモデルが動くか、という点なのだ。

500ミリ秒の遅延は、最適化して消し去るべき技術的な不都合ではない。それは、毎秒3〜6メートルで動作するプロセスにとっては、物理的な不可能性だ。方程式は単純だ——変位は速度かける時間——そしてそれは、あなたのクラウドプロバイダーのSLAなど気にかけない。

サーキュラーエコノミーの未来は、高速で、決定論的で、空気の噴射がボトルに当たるまさにその地点に置かれた知能にかかっている。データセンターの中ではない。クラウドの中でもない。チップの上で、エッジで、意味を持つそのミリ秒の中で。