AI は目を閉じて空間を想像できるか？

『マルチモーダルモデル』って、何が『マルチ』なの？画像も見える AI ってこと？

「マルチモーダル」の「マルチ」は複数という意味で、「モーダル」は情報の種類（モード）を指しています。つまり複数の情報種類を処理できるという意味。 記事で「画像も見える AI」と説明されているのは、この研究の文脈では正しいんですけど、実際には画像だけに限らないんです。音声、動画、テキスト、時間系列データなど、複数の形式を同時に理解できるモデルが「マルチモーダル」と呼ばれます。 この研究では、文字だけを処理する AI と、テキスト＋画像を処理する AI を比べていたから「画像も見える」という説明になった。でも言い方を広げれば、テキスト＋音声を処理するモデルも、テキスト＋動画を処理するモデルも、みんなマルチモーダルなんです。 なぜこういう言い方をするかというと、異なる種類の情報を一つのモデルで一緒に理解させることで、より複雑な問題が解けるようになる、という期待があるから。この研究の場合も、画像が加わったなら空間理解が改善するんじゃないかと期待したんでしょう。ただ実際には、それでも失敗してたというのが興味深いところのようです。

こういう空間認識の弱さって、自動運転車とか、ロボットの安全性に影響する可能性があるの？

自動運転やロボットの空間認識って、実はこの研究とは少し違うレイヤーで動いてるんですよね。 自動運転車は「文字だけで向きを理解する」なんて器用なことはしていません。カメラやLiDARというセンサーから、リアルタイムで現在位置と周囲の物体の距離を直接読み込んでいる。つまり、人間のように「説明を聞いて脳内で空間を再構成する」のではなく、「センサーデータという形で空間そのものを入力している」わけです。 ただ、今回の研究が示唆する弱点は別のところで顔を出すかもしれません。たとえば、自動運転が「この状況はどう理由づけられるのか」と問われたときや、多段階の判断が必要な複雑な場面での選択肢検討など。言語モデルが空間推論に失敗するなら、センサーデータと高級な推論を組み合わせた意思決定の部分で、想定外の誤りが潜んでいる可能性は考えられます。 危険かどうかというより、「このタイプの空間推論が必要な局面では、AIは補助的な手段に留めるべき」という設計の教訓になりそう、という感じです。

AI が文字から空間を理解できないって、いま気づかれたばかりなの？それとも前からわかってたけど改善されてなかったの？

AI の空間認識の弱さ自体は、前からわかっていた話なんですよね。ビジョン系のモデルが画像を見ても「左右」「奥行き」を正確に把握できないとか、ロボティクスの研究では「物理的な配置」を理解させるのに苦労してきた。その系統の延長上にあります。 ただ、この研究が重要なのは、その弱さが「文字だけの世界」でも変わらず顕在化していることを、ここまで体系的に示したところ。ChatGPT みたいな大規模言語モデルなら、言葉の意味をめちゃくちゃ理解してるから、「回転」という概念くらいはさばけるんじゃないかという期待があった。なのに人間とはぜんぜん違う失敗をする。そこが新しい知見なんだと考えられます。 言い換えると、「AI の空間認識は治りにくい問題」だってことがより強く浮き彫りになった。画像でもダメ、言葉でもダメ。深層に幻覚があるということは、単なるチューニング不足じゃなく、設計レベルでの課題を抱えてる可能性が見えてくる。そこを認識させるところまで至ったのが、この研究の意味合いのようです。

『回転を処理できても、景色と結びつけられない』って、つまり AI は『言葉を記号として扱ってるだけで、意味を本当には理解してない』みたいなことなの？

記事を読んでいると、確かにそう感じるのは自然ですね。でも「記号として扱ってるだけ」という説明は、実は AI の失敗を全部は説明していないかもしれません。 AI は「左回転」という言葉を意味なく処理してるわけじゃなくて、内部では回転という概念をちゃんと数値化して計算してる。記事に「深い層では処理している」と書いてある通り、そこまでの段階では意味を掴んでいるんです。問題は、その先です。 人間にとって「左に回る」は、同時に「見える景色も一緒に回る」という物理的な因果関係が自動的に結びつきます。言葉を読んだときに、からだ感覚や視覚イメージが無意識に伴ってくる。でも AI は、回転という抽象的な計算と、「カメラが見るはずの景色」という別の知識層を、上手く統合できていない。つまり理解の段階では差があるんです。 言い換えると、AI が欠けているのは「意味の理解」というより「複数の異なる種類の知識を、リアルタイムで統合する力」なのかもしれません。それは人間にとっては当たり前すぎて、意識にも上らない能力なんですが。

人間ができて AI ができないことがあるって、逆に『人間が AI より圧倒的に得意な能力』が他にもいっぱいありそうだけど、何が一番の差なんだろう？

空間認識の話から考えると、人間が圧倒的に勝ってるのは「身体を持ってる」ことの積み重ねなんですよね。 実際に右に回転した時、内耳がどう動いて、目の映像がどう変わって、足がどう踏み出すのか。その全部を何千回、何万回と経験してきた。だから「文字で言われたこと」が、すぐ自分の身体経験と照合される。回転と景色の結びつきは、言葉じゃなく身体が知ってる知識なわけです。 AI は統計的なパターン認識の集積だから、言葉と言葉の繋がりは学べても、その背景にある「物理的な現実」が抜けてる。回転という操作と、その結果が世界にもたらす変化を、身体を通さずに理解しなきゃいけないのは、そもそも無理ゲーに近い。 つまり人間の最大の武器は、知能そのものじゃなくて「世界と直接つながってる身体」。それを通じて身につける常識が、あらゆる判断の足場になっている。AI がいくら賢くなっても、その足場が無い限り、ある種の問題では永遠に人間に劣るのかもしれません。