AI は新しい地図は読めるのに、長い道のりが苦手なワケ

『再帰的な不安定性』って、簡単に言うと何？迷路を解く時、どうして何度も同じ道を繰り返しちゃうの？

迷路を紙に書きながら解く時のことを想像してみるといいですよ。人間でも、分岐点で「どっち行こうか」と迷って、一度進んだ道を戻って、また同じ分岐に戻ってくることがあります。その時、「あ、さっき来た道だ」と気づいて別の道を選ぶ。でも AI の場合、この「気づき」の部分が弱いらしいんです。 言語モデルは、迷路の状態を テキストとして記録しながら進んでいくんですが、複雑になると、自分がどこに いるのか、どこから来たのか、その記録を正確に参照する精度が落ちてしまう。だから同じ分岐に戻ってきても「ここ、さっき来たな」と認識できず、また同じ選択をしてしまう。その繰り返しが増えるほど、計算が不安定になっていく。訓練データを増やしても、複雑さが増すと同じ問題が再現される、というのが「再帰的な不安定性」のようです。 つまり AI は、迷路そのものを「理解」しているというより、パターンを反復しているだけ。そのパターンが複雑になると、自分の足跡を正確に追えなくなってしまう、という仕組みに見えます。

ChatGPT が複雑な問題で失敗するって、実際にユーザーが質問した時にも起きてるってこと？

迷路という単純な問題で起きてることが、ChatGPT が実際に扱う複雑な質問でも同じメカニズムで起きてる可能性は高いと言えそうです。 ただ、迷路と違うのは「複雑さの定義がぐちゃぐちゃ」という点。迷路なら「サイズが大きい＝複雑」と測りやすいですが、質問となると何が「複雑」なのか曖昧です。条件が多い？論理的なステップが増える？問題文が長い？それぞれに対応力が違う可能性があります。 実際のところ、ユーザーが感じるのは「こんなことくらい解けるはずなのに」という失敗。たとえば長めのコードレビューを頼んだら指摘漏れが多い、とか。それが「複雑さ限界に突き当たった」のか「訓練データにこのパターンが少なかった」のか「単純な計算ミス」なのか、外からは区別がつきにくい。迷路論文が重要なのは、この曖昧さを一旦取っ払って原因を仕分けたところにあります。 つまり、ChatGPT の使い手が遭遇する「予想外の失敗」は、この論文が指摘する再帰的な不安定性が一部で起きてる可能性がある、くらいの控えめな言い方が正確かもしれません。

これまで『AI は複雑な問題も解ける』って言われてたけど、この迷路の実験で何が変わったの？

「複雑な問題も解ける」という話と「複雑な迷路では失敗する」という話、一見矛盾してますよね。ただ、その矛盾こそが今回の論文の発見なんだと思います。 これまでの評価って、実は「新しい問題に対応できるか」と「複雑さに耐えられるか」を分けて測ってなかった。たとえば ChatGPT が複雑な数学問題を解くのは、実は「大量の訓練データから類似パターンを引き出してる」可能性が高い。新しい問題にも対応できているように見えるから、「ああ、理解してるんだ」と思わされてた。 でも迷路の実験では、この2つが分離して見える。見たことない迷路でも解けるけど、複雑になると失敗する。つまり AI は「新規性には強いけど、深さには弱い」という限界が露わになった。訓練データを増やしても複雑さへの耐性は増えないというのは、単なる「データ量の問題」じゃなくて、「アルゴリズムの根本的な限界」を示唆してるんですよ。 これまでのテストが曖昧だったから、本当の限界が見えてなかっただけ、と言えそうです。

つまり『訓練データを増やす』と『本当に理解する』ってちがう話なの？増やせば増やすほどいいわけじゃないってこと？

訓練データを増やすことと「本当に理解する」ことは、根本的に別の問題なんですね。この論文から見えるのは、データの量よりも質や構造が大事だということ。 迷路で考えると分かりやすい。訓練データを100倍に増やして、様々な迷路を見せれば、AIは「見たことのないパターン」に強くなります。つまり新しい迷路でも解ける可能性が上がる。ところが、その迷路が複雑になると、データを増やしても失敗し続ける。再帰的な不安定性という、計算の仕組みレベルの問題が残るからです。 人間が迷路を解く時、私たちは「ここは行き止まりだから戻ろう」と論理的に判断して、二度と同じ道を踏まない。でもAIは、同じ手写き計算を繰り返すうちに信号がずれていくんでしょう。データを千倍増やしても、その根本的な弱点は埋まらない。必要なのは「より多くのデータ」ではなく、「複雑さに耐える仕組みそのもの」なのかもしれません。つまり、見ることと理解することは、訓練では埋められない距離があるということなのかもしれません。

AIが複雑な問題で失敗するなら、逆に『人間はなぜ複雑な問題でも解けるのか』って研究するときに役立つのかな？

逆方向から光を当てるというのは、研究の定石ですね。ただ、この論文の場合は「人間はなぜ解けるのか」を説明することより、むしろ「AIはなぜ解けないのか」を理解することが先に来るのだと思います。 理由は、この論文が発見したのが「訓練データを増やしても複雑さへの対応力は本質的に増えない」という限界だからです。人間が複雑な迷路を解ける理由を研究しても、その理由がAIに適用できるかは別問題。人間は「視覚的に全体像を把握する」「仮説を立てて検証する」といった、言語モデルの仕組みとは全く異なるアプローチを使っているかもしれません。 むしろ、この迷路実験は逆説的に「AIの弱点を補強するには、訓練データの量ではなく、推論の構造そのものを変える必要がある」という示唆を与えています。つまり、人間研究よりも先に「AIに手書き計算の再帰的な不安定性を克服させるには、どんなアルゴリズムの工夫が要るか」という問いが、より直結した課題として浮かぶのだと言えそうです。