AIが『距離感』を理解できない理由、位置情報の罠

『トークン同士の距離』って、文字通り単語と単語の間隔のこと？それとも意味的な関連性みたいなもの？

文字通りの間隔です。「単語Aから単語Bまで何語離れているか」という物理的な位置関係を指しています。 言語モデルは文章を小さな単位「トークン」に分割して処理します。その時、「今読んでいるトークンから、5番目のトークンはどこか」「10番目のトークンの情報は参照する必要があるか」といった位置ベースの計算を行う。意味的な関連性ではなく、テキスト上での相対的な距離が入力値になるわけです。 だから研究では「訓練時に5語間隔の参照しか見なかった AI が、推論時に10語間隔を求められると困る」という現象が起きる。距離が倍になっても、意味の似た単語なら対応できそうに思えますが、そこがうまくいかない。むしろ、「この距離でこのパターン」という関連性が学習データに含まれていなければ、AI は途端に動作が鈍くなってしまうというわけです。位置情報スキームの工夫も、結局はこの距離パターンの学習不足を補えていないのかもしれません。

ChatGPT が訓練で見なかった長さの文章を書かせたとき、途中で支離滅裂になったりするのって、この『距離』の問題が関係してるの？

関係があるかもしれません。ただ、それだけが原因ではなさそう。 訓練で見たことない「長さ」で支離滅裂になるのは、確かに距離の問題が一因。でも ChatGPT が長文を生成するときの失敗は、もっと複合的に見えます。 距離の問題は「前の方に書いたことを忘れる」タイプの崩壊に効いてくる。記事の実験は「単語をコピーする」という単純なタスクで距離を測ってるから、その結果が直結するのは、同じく「過去の参照」に頼るような場面。長編小説を続ける、登場人物の性格を保つ、論理の一貫性を保つ、といった難しいタスクになると、距離の問題に加えて、推論が複雑になることも崩壊に効いてきます。 実際のところ、訓練で見た最長の文章より長い文字列を生成させると、AI は「先の方には何も学習してない領域に進んでる」状態になる。距離感の欠如も、推論の枯渇も、両方働いているのかもしれません。

これまで AI の限界を『文章全体の長さ』の問題だと思われてたのに、実は『距離そのもの』が別の問題だったってこと？

そうなんです。従来の見方だと「長い文章は処理しきれない」という単純な話だったのに、この研究は「長さは何とかなるかもしれないけど、距離という『概念』が根本的に弱いかもしれない」と指摘しているわけです。 たとえば、訓練で「10語先までの参照」を学んだAIに、いきなり「50語先を参照しろ」と言うのと、「10語先の距離の感覚を持ったまま、20語先を参照しろ」と言うのは別問題なんですよ。前者は「長さの問題」で後者は「距離を測る精度の問題」。つまり、文章が長いというより、相対的な位置関係を正確に判断する能力がないんじゃないかということです。 位置情報スキーム（RoPEやALiBi）は「ここがどこか教えてあげる」工夫なのに、それでも改善しないということは、AIが本来持つ距離感知の仕組みが、パターン認識レベルにとどまっているのかもしれません。訓練データの中身――どの距離をたくさん見たか――の方が、位置情報の付け方より重要だというのは、AIの「理解」と「学習」の違いを浮き彫りにしていると言えそうです。

つまり AI は『実際に理解する』んじゃなくて『見たパターンを真似してるだけ』ってこと、言ってることになるの？

そう言えなくもないけれど、「見たパターンを真似してるだけ」という表現だと、少し単純化されてしまう気がします。 この実験が示してるのは、AI が「距離という抽象的な概念」を内部で一般化できていないということ。たとえば人間が「2メートル離れた物を認識する力」を身につければ、それを応用して「5メートル」でも「100メートル」でも距離を判断できる。でも AI は「訓練で見た距離パターンの組み合わせ」には強いけど、全く新しい距離には対応できない。 ここが味噌です。単なるパターン暗記だったら、訓練データに入ってない文章長さでも工夫次第で何とかなるはずなんです。でも根本が違う。AI は確かに何かを「学習」してる。ただそれが「距離そのもの」ではなく「見た距離の組み合わせ方」に過ぎない、という話。 言い換えるなら、人間が相手の気持ちを「理解する」のか「経験から推測する」のか、その違いに近いのかもしれません。完全に同じではないけど、何かを「わかった」と言えるハードルは、思ったより高いということなのかもしれません。

位置情報スキームを工夫しても改善しないなら、むしろ訓練データ側をどう変えるべきか、ってことが重要になってくるってこと？

正確にはそう。記事の発見は「位置情報をどう書き込むか」という技術的な工夫が天井に当たった、という話なんですよね。つまり、RoPE だの ALiBi だのをいじっても、根本的には AI が「10語離れた参照」を見たことがないなら理解できない。だから訓練データ側で「短距離参照も長距離参照も含める」ようにしたほうが効きやすい、という逆説的な結論になってくる。言い換えると、AI に距離感を「教える」には、テクノロジーより「どんなデータを食わせるか」のほうが大事、という転換です。ただし、訓練データを広げれば広げるほど計算コストが膨らむ。すべての距離パターンを網羅するのは現実的じゃない。だから研究者たちは今、短い訓練で長い距離に対応させるような「賢い学習」を模索してるのかもしれません。つまりこの問題、テクノロジーの工夫だけじゃ解けない、訓練戦略そのものの設計が問われる局面に入ったんだと言えそうです。