ビデオAIを読み替える、人間の動きから物体の未来を予測

『3D座標で予測する』って、何が3Dなの？動画だから映像として見えるんじゃなくて、数字で『あの物体は30cm先、20cm上に移動する』みたいに計算してるってこと？

そのとおりです。動画の映像としては相変わらず2次元ですが、AIが内部で処理しているのは3次元の座標。画面上の「ピクセル位置」ではなく、カメラからの距離と高さと左右を全部含めた空間座標で、物体がどこへ移動するかを数値化しているんですよね。 なぜこんなことをするのか。ロボットが行動するときに必要なのは、映像の見た目ではなく、実際の空間における物体の位置なんです。「画面内で右上に動く」という情報だけでは、ロボットアームが実際にどう腕を伸ばせばいいのか分からない。だから「30cm先、20cm上」という現実の座標が要る。 この研究の面白さは、ビデオモデルが「次フレームで物がどう見えるか」を予測する過程で、実は「空間内での動き」も理解していたという気づきにあります。画像生成という見た目の予測と、3次元座標という本質的な動きは、じつは同じ知識に根ざしていたということ。だからアダプターを噛ませるだけで、映像の見た目から現実空間の動きへ、簡単に読み替えられたのかもしれません。

これができるようになると、日常生活で何が変わるの？掃除ロボットが『あ、そこのリモコン動いてるな』って勝手に避けるようになるみたいなことが起きるの？

ロボットが人間の身の回りで動く場面が増えるほど、こういう予測能力は重要になってきます。 掃除ロボットの例は、ちょっと違うかもしれません。リモコンが動いているのを見て避けるというより、人間が物を「操作している最中」の動きを読み取ることが使える場面を想像するといい。たとえば、調理中のキッチンでロボットアームが動いているとき。人間が鍋を動かそうとしているのを見て、その軌跡を先読みすれば、衝突を避けられる。あるいは、配達ロボットが家に入ってくるときに、人間が荷物をどこに置こうとしているのか、次の3フレームで推測して、邪魔にならない位置に進路を変える。 要するに、今までのロボットは「いま見えているもの」だけで判断していた。これからは「次に起きそうなこと」を予測しながら動ける。人間と同じ空間で一緒に作業する場面が、格段に自然になっていく感覚です。日常生活というより、むしろ工場や医療、物流みたいな現場で先に浸透していくのかもしれません。

ビデオ生成モデルって元々『未来を作る』ために映像を生成してたわけだから、その知識は動きの予測にも使えて当たり前じゃないの？なぜこれまで誰も気づかなかったんだろう？

そのとおり、理屈の上では「当たり前」なんですよ。でも AI の世界では、「理屈では当たり前」と「実装で実現する」の間に、想像以上の溝がある。 ビデオ生成モデルは確かに『動きを知ってる』けど、その知識は「次のフレームをリアルに描く」という目的で最適化されてます。つまり、ピクセル領域での精密さを徹底的に追求してる。一方、3D座標予測は「物体がこの位置からこの位置に移動する」という、もっと粗くていい情報がほしい。求めてる粒度が全然違うんです。 実装の手間も大きかったと思う。既存の大型モデルを「そのまま流用しよう」というのは、実は贅沢な発想。通常は、目的に合わせて新しくモデルを組み立てるほうが確実だし、研究論文も書きやすい。既存モデルの「遺伝子」を活かしつつ、小さなアダプターだけ付けるというやり方は、工学的には逆転の発想だから、試す人がそんなに多くなかったのかもしれません。データ効率の良さも、やってみて初めて見えてくる利点と言えそうです。

結局、『ある領域で学んだ知識を全く別の目的に流用する』ってことだけど、これって今のAI研究全体で起きてることなの？

MotionForesight の工夫を見ると、確かにそれです。でも「全く別の目的」というより「同じ根っこ、別の表れ」という感じで、最近のAI研究に広がってるんですよね。 ビデオ生成モデルが持ってるのは、突き詰めると「映像の中で何が起きてるか理解する力」。画像を吐き出すのに使おうが、3次元座標を読み出すのに使おうが、その本質は変わらない。どちらも「現在から未来への因果関係を捉える」という同じ問題を解いてる。 言語モデルしかり。ChatGPT の言葉予測能力は、当初は「次のテキストを生成する」ためだけに見えてましたが、いま数学問題を解かせたり、コード検索に使ったり、埋め込み表現で類似度判定したり。同じ「言葉の構造を理解してる力」を、用途に応じて付け替えてる。 つまり、大規模モデルを一度きちんと学習させると、その中に「世界の基本的な法則」がコンパクトに詰まってる。それをどう取り出すかは、むしろ小さなアダプターの工夫次第ということ。効率的だし、新たな学習データもそこまで要らない。これって、スケーリングの時代らしい思考パターンだと言えそうです。

人間の『動き方の意図』を予測できるAIができたら、逆に『人間が何をしようとしてるか』まで読まれちゃうリスクもあるのかな？

物体の軌跡を予測するのと、人間の意図を読むのは、似てるようで実は別の問題なんですよね。 物は物理法則に従うので「引き出しを引けば、この角度でこのスピードで動く」という予測が立つ。でも人間の意図は、同じ動作をしても文脈や個人差に左右される。引き出しを開けるのは、中身を取るためかもしれないし、ただ確認したいだけかもしれないし、退屈だから動かしてるかもしれない。 むしろ危ないのは逆側。このAIが「人間はこう動く傾向がある」というパターンを学べば学ぶほど、監視やマニピュレーション（操作）に使いやすくなる。ロボット制御の研究から出発しても、そのノウハウが映像解析や行動予測に応用されれば、個人の習慣パターンを読み取ることは十分可能になりそうです。 意図そのものは読めなくても、「この人はいつも月曜朝にここに行く」「ストレスを感じると手をこう動かす」といった行動の規則性は、十分に個人を特定・追跡・誘導するのに使える。その方が実は、プライバシー侵害としては現実的な脅威になるのかもしれません。