AI は『見えているもの』と『実在するもの』を区別できるか

MLLM（マルチモーダル大型言語モデル）って、テキストだけじゃなく画像も理解できるAIってこと？

そうです。「マルチ」は複数、「モーダル」は情報の種類という意味。テキストだけでなく、画像や音声など複数の形式を同時に処理できるAIのことですね。 従来の大型言語モデル（LLM）は、テキストだけを入力して、テキストを出力する仕組みでした。でもMLLMなら「この画像に何が映っていますか」と聞くことで、AIが画像を『見た上で』答えられる。ChatGPTの画像版とか、Geminiが写真をアップロードして分析できるのも、このMLLMの仕組みを使っているんです。 ここで面白いのは、画像が『見える』ことと『理解する』ことの違い。記事のコップの例で言えば、鏡に映ったコップを『映像として見る』ことはMLLMにもできます。でも『それは同じコップの反射である』と『理解する』ことは全く別の能力。最高性能のモデルでも13%程度しか正解できないのは、AIが画像の内容を説明できるのに、その背後にある物理的な現実を推論する力が圧倒的に足りていないということなんです。つまり、見た目の処理と現実の理解を繋ぐステップが、まだAIには難しい領域だと言えそうです。

こういう『見えているのに実在しない像』の区別がAIにできないって、実際の生活でAIが使われるときに何か問題になるの？

自動運転や産業用ロボットを想像するとわかりやすいですよね。ロボットが工場で部品を数えるとき、鏡やガラス越しに映った部品まで数えてしまったら、発注数が間違う。あるいは自動運転の車が、ビルの窓に映った別の車を実在する障害物と勘違いして急ブレーキをかけるかもしれません。 ただ、実際にはこの問題がすぐに深刻な事故につながるわけではないというのが、ちょっと興味深い点です。なぜなら、AIシステムは画像認識だけに頼っているわけじゃなくて、他のセンサーやルール、文脈情報を組み合わせているから。自動運転なら距離センサーが「物体までの距離」を測るので、映り込みだけが見える場合は距離がおかしいことに気づく。 むしろ怖いのは「たいていうまくいっているから大丈夫」と思ってる状態かもしれません。PhysCount の結果を見ると、AIは何が見えているかは正確に認識できる。だからこそ、物体が「存在する」と勘違いしてしまう瞬間を見逃しやすい。完全ではない理解に、人間が過度に信頼してしまう──そこが落とし穴になりそうです。

ここ最近、AIが画像を理解する精度がすごく上がってるって聞くけど、なぜ今になってこんな基本的な弱点が明らかになったの？

AIの画像認識精度が上がったのは、主に「見えている物を正確に識別する」という浅い層での改善だったからなんですよね。 たとえば、写真に映っているすべてのものを分類・検出する能力は飛躍的に伸びた。でも「このコップと鏡に映ったコップは同じ物体か」という、物理世界の因果関係を問われると、AIは見たままの像を独立した対象として数えてしまう。 問題は、そういう弱点に気づく測定方法がなかっただけだと思う。これまでは「コップは何個か数えなさい」という問いかけ自体が、ベンチマークに組み込まれていなかった。ImageNetみたいな大規模データセットでの改善は、「何が写ってるか当てる」という別の課題で測られていたから。 PhysCountが新しいのは、精度の高さではなく、問題の立て方を変えたことにある。AIが実は理解していなかった部分を、初めてあぶり出すような評価軸を用意した。つまり、見かけの性能向上の裏にあった盲点が、やっと可視化されたのかもしれません。

これって『数を数えるのは得意だけど、その奥にある物理的な実在を理解していない』ってことなの？

そこだけ単純には言えない気がします。というのは、AI が何を「理解」しているか自体が問題だから。 鏡に映ったコップを見て「これは同じ物体だ」と判断するには、物理法則の知識が必要ですよね。光が反射する、鏡は映像を生む、だから見える数と実在数が異なる可能性がある――こうした背景知識がないと、単に「映っているものは何か」を識別するだけになる。 実はこれ、視覚認識とは別の層の問題なんです。画像から「コップらしき形」を検出するのは得意でも、「この2つは同じ物体の異なる見え方」という世界の構造を推論する能力が足りない。高解像度にしても変わらないのは、もっと情報が必要だからじゃなく、その情報をどう組み立てるかの論理的フレームワークが欠けているせいかもしれません。 つまり数えるのが得意というより、「見えたものをそのまま数える」という浅い層で止まっているのだと言えそうです。物理的実在を理解するというのは、もっと複雑な世界モデルを脳内に構築することなのかもしれません。

AIがこの違いをちゃんと理解できるようになったら、代わりに人間が『見えているけど実は存在しない』を判別する力は必要なくなるってことなのかな？

面白い逆向きの問いかけですね。でも実は、AIが「実在と映像の区別」を完璧にできるようになっても、人間が「見えているけど存在しない」を見抜く力が不要になるとは限りません。 むしろ逆です。AIが正確になるほど、人間に求められるのは「AIが見落とすもの」を補う力になりそう。たとえば、精密な物体認識ができるAIでも、社会的文脈や人の意図まで読み取ることはできない。詐欺的な画像合成、政治的なプロパガンダ、あるいは統計グラフの誤導的な表現法。こうしたものは「物理的に実在するか」だけでは判定できず、「それが誰に、どう見せるための表現なのか」という批判的思考が必要になります。 AIの得意な領域が「客観的事実の認識」に特化していくぶん、人間に残る仕事は「その事実がもつ意味」を問い直すこと。むしろ両者の役割分担がより明確になり、人間の判別力はより精妙になる必要が出てくるのかもしれません。