見えない世界をAIはどう「覚えている」のか

『Vision Transformer』って、普通の画像認識とどう違うの？最新だからすごく正確ってわけじゃないってことなの？

Vision Transformer は「画像を部分的に切り分けて、その関係性から全体を理解する」という発想が新しいんですよね。従来の画像認識は、ピクセル単位で細かく順番に処理していく。対してTransformer は、画像を小さなパッチに分割してから、それぞれのパッチがどう関連しているかを同時に判断する。人間が全体を眺めてから「このパッチとあのパッチが繋がってる」と把握する感じに近い。 だから認識精度という点では確かに高いんです。ただこの論文が明かしたのは、「正確さ」と「理解の質」は別物だということ。風景を見分けるのは得意だけど、消えた物体を心に留める、時間の流れで世界を記憶する、そうした能力は全然別。Vision Transformer も結局、目の前の静止画を正確に処理する設計なので、動画の時系列や、隠れたものを追跡する頭脳作用には対応していない。つまり「新しい=何でも得意」ではなく、得意な領域と苦手な領域がはっきり分かれてるということになりそうです。

自動運転の車とか、ロボットが私たちの周りで動き始めてるけど、この『見えない部分を追跡できない』って欠点は、日常生活でどんな危なさに繋がるの？

自動運転車やロボットが目の前の風景は完璧に認識しても、見えない部分の追跡ができないとなると、実は日常的に危険が生まれやすい場面がいくつかあります。 典型的なのは、駐車場から急に飛び出してくる子どもや、ビル陰から突然現れるスクーター。人間の運転手は、見えなくなったその先に「何かいるかもしれない」という心の地図を保ち続けて、減速するなり注意を向けるなりします。ところがAIが「今この瞬間に見えるもの」だけで反応していると、視界に入った時点では回避不能な距離にいる。反応速度ではなく、根本的に「危険の予感」を持てていないわけです。 もう一つ微妙なのは、ロボットが人間の流れの中に入るとき。例えば混雑した駅でロボットが荷物を運ぶ場合、人間は「あっち側から誰かが来そうだな」と先読みして道を譲りますが、ロボットが同じ予測を持たないと、すれ違う人間が急に避けなければならなくなる。安全というより、むしろ人間側の負担や違和感が積もっていく感じになるかもしれません。 見える世界の精度を極めても、見えない世界との連続性がないと、安全というより「予測不能な存在」として機械が周りに溶け込まない状況が生まれていくのかもしれません。

これまで、AI の画像認識の精度を高めることばかり追い求めてたってこと？なぜ『時間とともに覚え続ける』という視点は後回しにされてたんだろう？

認識精度を競う方が、測りやすく、改善も見える。ImageNet のスコアを0.1%上げるだけで論文になる世界が長く続いたんですよね。 一瞬一瞬の「この画像は何か」という問いに答えるのは、ベンチマークテストで点数化しやすい。だから、そこに資源と研究が集中した。一方、時間軸を含めた空間推論は、評価が難しい。「この物体は今どこにあるはず」という仮説を、どう検証するのか。正解も曖昧だし、タスクも複雑だ。 もう一つ、画像認識モデルの設計思想の問題もありそうです。静止画を瞬間的に処理することから始まったので、「次々と入ってくる画像データ」を蓄積して、それを推論に活かす仕組みが、アーキテクチャの外側にあった。ChatGPT が言語トークンを時系列で処理するように、ビジョンモデルも「時間の流れ」を本質として組み込む、という発想が後付けだったのかもしれません。つまり、精度競争に勝つためのショートカットが、次の段階への進化を遅らせてしまった、と言えそうです。

つまり、人間は『いま見えてるもの』と『いま見えてないもの』を同時に頭で管理してるってこと？その仕組みって、AIにとってはそんなに難しいのか？

そこですね。人間にとっては当たり前すぎて意識されていない部分が、実はAIにとっては根本的な矛盾を抱えているんです。 AIの大規模画像モデルは、膨大な画像データから「いま目の前に何があるか」を瞬時に判定するために最適化されています。1枚の静止画を見て「これはソファだ」と認識する。その処理は驚くほど正確です。 でも人間の脳は、そもそも別の問題を解いています。見えないソファの位置を保ち続けるのは、単なる記憶ではなくて、「時間軸を持った3次元モデルの更新」。さっき見えてた場所に、いま見えなくても、ソファはそこにあるはずだ。その推論は、認識とは全く別のシステムが担当しています。 いまのAIは、フレームごとに「目の前の情報」だけを処理する。だから、物体が視界から消えた瞬間、それを「追跡」ではなく「消失」と解釈してしまう。予測もできるし、行動もできるけれど、それらが分断されたまま。人間みたいに「見えないものも含めた世界モデル」を背景に動いていないんです。 認識精度を99%に高めても、この問題は解決しない。むしろ設計思想を変える必要があるということなのかもしれません。

認識精度は高いのに行動がぎこちないなら、逆に『精度は低いけど、時間軸で世界を記憶できるAI』の方が、実は現実世界では使えるってことなのかな？

面白い反転だと思います。ただ現実はもう少し複雑で、「精度の低さ」と「時間軸の記憶」はトレードオフではなく、別の段階の問題らしいんです。 研究の枠組みで考えると、第1段階（目の前の認識）と第4段階（記憶を使った行動）は、いわば土台と応用の関係。精度が低いままでは、たとえ記憶できても、その記憶の土台自体がぐらぐらしている。自動運転を例に出せば、看板や歩行者を正確に読み取ることと、10秒前の交差点の信号状態を覚え続けることは、どちらかが完ぺきなら行動できるわけではなく、両方が最小限必要なわけです。 むしろこの研究が指摘しているのは、認識精度を極限まで高めようとしている現在の大規模モデルのアプローチそのものに、盲点があるということ。精度競争に勝つだけでは、動的な世界では使えないAIができあがってしまう。つまり逆説的ですが、「精度は6割でいいから、時間軸で学ぶ仕組みを組み込んだAI」の方が、実際の環境ではより実用的になる可能性がありそうです。