AI が「文字で解ける問題」を「図で解けない」理由

『マルチモーダル』って、複数の形式を理解できるってことなんだっけ？それなのに『本当の意味で』ってわざわざ付いてるのは、いまの AI はまがい物ってこと？

マルチモーダルという言葉が広がるなかで、「複数の入力を処理できる」という技術的な意味と、「複数の入力を統合して理解する」という深い意味が、混在してしまってるんですよね。 いまの AI は、テキストと画像の両方を入力として受け取ることはできます。コンピュータ的には、ふたつのデータ形式を同時に計算に使ってる。だからメーカーは「マルチモーダル AI」と呼ぶ。ここまでは技術仕様の話です。 ところが記事の実験で浮き彫りになったのは、その処理が本当に統合されていない、ということ。幾何学の問題なら、「テキストで理解した内容」と「図で見た内容」は、論理的には同じ世界を指してるはず。でも AI は、ふたつの形式から別々の答えを引き出してしまう。 つまり『本当の意味で』というのは「まがい物」というより「未完成」という意味に近い。技術的には複数形式に対応してるけれど、そのふたつが互いに矛盾してることに気づいて修正する、という人間的な学習がまだ入ってない。相互学習のような新しい訓練を通さないと、見かけ上のマルチモーダルに留まるのかもしれません。

文字で解ける問題が図で解けないって、人間にも起きてる？自分たちが当たり前にできてることを、AI が苦手にしてることから何か学べるの？

人間にもありますね。図形問題で、言葉で説明されたときと、実際に図を描いて見たときで、理解度がぜんぜん違うというのは誰もが経験してるはず。逆に、複雑な幾何を頭で想像できるのに、言葉で説明させると支離滅裂になる人もいます。違いは、人間は「あ、自分はこっちの方が得意だ」と気づいて、弱い方をわざわざ鍛えようとするということ。図が得意なら図を描きながら説明する練習をする。文字が得意なら図をいったん頭で言語化してから解く癖をつける。その試行錯誤のなかで、二つの力が少しずつ統合される。 AI が面白いのは、その試行錯誤をしていなかったということです。文字と図の得意不得意に気づかないまま、ただデータを混ぜるだけだった。人間は無意識に「矛盾を解く」という作業をしてるんですね。自分の弱さを認識して、別の角度からアプローチして、やっと二つの見方が一つになる。学びって本質的に、そういう葛藤の過程かもしれません。

なぜここまで AI が進んでも、文字と図を統合できないままだったの？これまでの訓練方法の根本的な問題ってどこにあったんだろう？

訓練の足りなさというより、人間とAIの学び方の根本的な違いにあるんだと思います。 人間が「文字で理解」「図で理解」すると、脳の別の領域で処理されても、最後は統一的な概念に辿り着く。三角形は「三本の直線が〜」という文字定義と「この形」という視覚記憶が、同じ"三角形"という観念で繋がってるわけです。 でもAIの場合、文字を処理するモジュールと画像を処理するモジュールが、学習段階では別々に動いてる。両方のデータを混ぜて訓練すれば十分だと思われていたのに、実際には「矛盾を見つけて調整する」というステップが必要だった。つまり、単なる情報の統合ではなく、自分の矛盾を自分で指摘して修正する内省的なプロセスがないと、本当の意味での統一的な理解に至らないということです。 今回の論文が「得意な方を先生にする」という方法を打ち出したのは、この矛盾を可視化して修正のターゲットを与えたからかもしれません。AIが人間のように「なんか違う」と感じ取り、学び直すきっかけを作った、と言えそうです。

『得意な友人の解き方を見て自分も練習する』って言い方だと、要するに『矛盾を見つけて直す』って、人間が学ぶときの基本的な方法なの？

人間が学ぶときに矛盾に気づくことは確かに大事ですが、「基本的な方法」と言うと少し違う気がします。むしろ、矛盾に気づくのは「学びが進む瞬間」を示す指標に近いのかもしれません。 子どもが九九を覚えるときや、自転車に乗るときを思い出してみると、矛盾というより「繰り返し」が中心です。でも学年が上がるにつれ、新しい知識が昔の知識と噛み合わなくなる場面が出てくる。小学校の「引き算は引くこと」という理解が、中学の「負の数の足し算」で揺さぶられる。その揺さぶられ方が、実は数学をより深く理解するきっかけになってるわけです。 だから矛盾への気づきは、学びの「初期段階」というより「転機」に近い。誰もが矛盾で学ぶわけではなく、矛盾に直面した人だけが、そこから次のステップに進める。AI がいま抱えている「文字では解けるのに図では解けない」という矛盾は、人間なら自然と避けてしまう段階なのに、それをあえて学習に組み込もうとしている点が、実は面白いのかもしれません。

この論文は AI を上手くする方法を示してるけど、同じやり方で人間の学習も改善できたりするのかな？

興味深い質問です。同じ原理が人間にも当てはまるかどうかを考えると、実は人間の学習では既にこれに近いことが起きています。 数学で図が書けない子どもに「図を描いてみて」と促すと急に理解が進む。逆に、公式は覚えたのに図を見ると混乱する学生もいる。これは AI と同じく、「読む力」と「見る力」が独立に育っているサインです。 ただ人間の場合、この矛盾に気づくプロセスがあるんですよね。得意な友人の解き方を見る、先生に「なぜこう描くのか」と聞く、自分でやってみて失敗する。その繰り返しの中で、文字と図の橋渡しが無意識に起きています。 AI の論文が面白いのは、この「矛盾に気づいて学ぶ」を明示的に組み込んだこと。人間は自然にやっていたことを、アルゴリズムにした感じです。 裏返すと、人間の学習も「複数の形式で同じ問題を解かせて、その間のズレを意識させる」という工夫をもっと大事にしたら、実はもっと効率化できるのかもしれません。従来の教育では、正解に達することに主眼が置かれがちですが、矛盾を直視させることの価値が見落とされていたのかもしれません。