画像で学んだAIは、本を読む力で人間に近づくのか

『VLM』と『LLM』って何が違うの？どっちがどっちで、何のために区別してるんだっけ？

VLM は Vision Language Model、つまり文字と画像の両方を学習したAI。LLM は Large Language Model で、文字だけで学んだAI。違いはシンプルです。 ここで大事なのは、この記事では「テキストを読む力」を比べてるんですよね。だから、わざわざ二つを区別する必要があった。もし「画像も見てるほうが必ず強い」なら、わざわざ比較する意味もない。でも現実には、テキストだけの問題では LLM と VLM で差がなかった。つまり、VLM が画像も学習しているという『スペック』は、言葉を理解するタスクには直結していないということです。 逆に言うと、人間が何かを読んで理解するとき、文字情報に視覚的イメージが強く紐付いている箇所では、VLM がその理解に近づく。つまり、どのAIを使うかは、何を理解させたいのかによって変わってくる。区別する理由は「どちらが優れているか」ではなく「何に向いているか」を見極めるためにあるんだと言えそうです。

ChatGPTとか使ってる自分たちにとって、『画像で学んだAIの方が優秀じゃない』って知ると、何が変わるの？

「画像を学んだ方が万能そう」という思い込みが、実は自分たちの期待値を歪めてるんだと気づくことになるのかもしれません。 われわれ利用者は無意識のうちに、AIが人間に近づけば近づくほど「どんな場面でも使える」と思いがち。でも現実は、AIの得意分野と苦手分野がモード切り替えで分かれていた。テキスト理解の深さは、言葉そのものの中に尽くされているし、ビジュアルな認識は別の仕事をしてるだけ。 つまり、AIに何かをさせる時、「このAIなら何でもできるはず」という期待から、「このタスクには、このモードが向いてる」という使い分けの感度が生まれるということ。目玉焼きの描写みたいに、言葉に強い視覚性が詰まった質問なら画像学習済みのAIが活躍する。でも純粋な推論や文献解読なら、シンプルなテキストモデルで十分どころか、むしろそっちが本質的かもしれない。 自分たちにとっての変化は、AIを「より高性能な同じもの」ではなく「異なる専門分野を持つパートナー」として見立てる視点が、少し現実的になるということなのかもしれません。

AIが『より人間らしく』なるために、画像を一緒に学ばせるのが当たり前だと思われてたけど、いつからそういう流れになったの？

マルチモーダル学習の流行って、実は技術の成熟と現実的な課題が合致したタイミングなんですよね。 2010年代後半、画像認識の精度が急速に上がった。同時に、テキストだけの AI も次々と限界を見せ始めた。「医療画像の診断なら、画像情報がないと判断できない」「商品説明を読むなら、写真を見たほうが早い」という、実務的なニーズが明確になってきたわけです。 それで「なら両方学ばせたら最強では」という発想が自然に生まれた。2021年ごろから OpenAI の CLIP や Google の Flamingo みたいな、画像とテキストを同時に処理するモデルが相次いで発表されるようになりました。成功事例が増えると、業界全体が「マルチモーダルは進化の道」と信じ込んでしまった感がある。 ただ、この論文が示してるのは、その前提が自明じゃなかったということ。画像と言葉を一緒に学ぶことが、全ての場面で人間らしさに近づくわけではない。むしろ、言葉の処理能力は言葉そのものから生まれる部分が大きい。そう考えると、何でもかんでもマルチモーダル化させるのではなく、「この問題には画像が本当に必要か」を問い直す時期に来てるのかもしれません。

『言葉の意味は言葉の中にある』って結論は、要するに『道具には向き不向きがある』ってことなの？

そう言えなくもないですが、ちょっと違う層の話をしてるような気がします。 「道具には向き不向きがある」は、たとえば包丁は肉を切るのに向いてるけど、魚を捌くならさしみ包丁のほうがいい、みたいな話。機能の差を使い分けるという意味ですよね。 この実験が言ってるのは、もっと根っこの問題で、『言葉という記号体系は、すでに意味を圧縮・翻訳する仕組みとして完成している』ということなんです。画像学習があってもなくても、テキストだけで読む場面では、その圧縮された意味をほどく力こそが要るということ。 つまり向き不向きというより、言葉はそもそも「視覚を言語化する装置」として機能してるから、その中から意味を抽出する能力自体が独立して存在してる、ということかもしれません。だから画像学習が効く場面は限定的で、わざわざ追加しても汎用性は上がらないんだと言えそうです。 むしろ「複数の入力があれば必ず賢くなる」という直感的な期待が裏切られた、という発見のほうが面白いのかもしれません。

この実験で『画像学習は文字理解に役に立たない』ってわかったけど、逆に画像学習が本当に活躍する場面って何なの？

画像学習が活躍する場面を考えるには、逆に「画像を見ないと困ることって何か」を想像するのが早いかもしれません。 この実験は、文字だけの世界での能力を測ったものなので、 実は画像学習の本領発揮どころじゃないんですよね。 VLMが本当に輝くのは、テキストと画像が同時に存在する場面です。 医療診断で「患者の症状説明」と「レントゲン画像」が両方ある時、 あるいは商品説明文と商品の写真、建築図面と実際の見取り図。 こういう「言葉では完全に伝わらない物の形や色や配置」を 同時に処理する必要がある場面で、 画像学習を受けたAIは、テキストだけのAIより有利になるはずです。 むしろこの論文の面白さは、「万能薬ではない」ってことを示したところ。 AIも人間も、情報源によって使い分けてるんだという話に見えます。 抽象的な議論は言葉の中で完結するし、 具体物の判断は視覚がないと始まらない。 データセットを増やすことと、 その道具が本当に問題を解くのに必要かは別問題なのかもしれません。