AIが文脈から答えを引き出す仕組み、『曲がった空間』で解き明かす

『曲がった空間』って、実際の空間が曲がってるわけじゃなくて、数学上の概念ってこと？

その通りですね。コンピュータのメモリの中に実際に曲がった空間が存在するわけではなく、数学的な抽象概念です。 具体的には、AI が処理する「値」は、高次元の数値の並びとして存在しています。その数値たちが作る空間を、平らなユークリッド空間ではなく『曲がった幾何学的な構造』として捉え直すと、AI の動作がより正確に説明できるということ。たとえば、地球儀は球面という曲がった空間ですが、その上での「距離」は平らな紙の上での距離とは異なります。同じように、AI の内部で情報がどのように関連し合うかを、曲がった空間の性質を使って数学的に表現するわけです。 重要なのは、この解釈を通じて『あるベクトルの組み合わせからは到達不可能な領域がある』という制限が数学的に見えるようになったということ。実際の空間が曲がっているのではなく、複雑な計算の構造を「曲がった空間での幾何学」で翻訳し直すことで、AI の限界が論理的に説明できるようになったと言えそうです。

ChatGPT で『知ってるはずなのに答えてくれない』ってことが減るようになるの、この研究が進んだら？

この研究が明かしているのは、ChatGPT の「知ってるはずなのに」は、実は構造的な限界なんだということなんですよね。 データには含まれていても、その情報の組み合わせ方では数学的に「届かない領域」がある。プロンプトの工夫で一時的にアクセス可能な領域を変形させることはできますが、それは根本的な解決ではなく、別の方向から迂回しているに過ぎない。 だから進研が進めば、むしろ「このタイプの質問には構造上、AI は答えられない」という見極めが正確になるはずです。つまり、減るというより「本当に答えられない領域」と「プロンプト次第で答えられる領域」の境界線が、より正確に引けるようになる。 ユーザー側からすれば、同じ質問をいくら工夫して投げかけても返ってこない答えなのか、聞き方を変えたら返ってくる答えなのか、その違いがわかるようになるという意味ではあります。でも「知ってるのに答えてくれない現象」を根本から減らすには、モデルの構造そのものを変えないといけないのかもしれません。

これまでは AI の注意機構を『類似度を計算する』だけで説明してきたのに、なぜ今になって『曲がった空間』という見方が出てきたの？

数学的な描き方が進化した結果というより、実務の限界が先に見えたんじゃないかと思います。 「類似度を計算する」という説明は、ChatGPT が実際に答える姿を見る分には十分でした。でも AI の開発が進むにつれ、プロンプトエンジニアリングみたいな職業が生まれたり、「同じ質問でも聞き方を変えると答えが変わる」という現象が繰り返し観察されるようになった。単なる足し合わせでは説明できない挙動が増えてきたわけです。 そこで研究者が「本当は何が起きているんだ」と数学的に掘り直したとき、ベクトル空間の性質──特に『与えられた情報の組み合わせで到達できない領域』という幾何学的な制約が浮かび上がった。すると「プロンプトを工夫すること自体が、空間を変形させている」という統一的な理解が生まれる。 つまり実装は昔のままですが、その実装が数学的には何をしているのかという『見方』が更新されたんだと言えそうです。

つまり AI には、『物理的に計算できない領域』があらかじめ決まってるってこと、欠陥というより構造的な限界なのかな？

構造的な限界という言い方が正確かもしれません。欠陥じゃなくて、「与えられた情報の組み合わせだけで答えを作る」という設計の必然的な帰結なんですよね。 人間だって、実は同じ制約を持ってるんです。目の前にない情報は、頭の中にある記憶や知識の組み合わせでしか思い出せない。新しい概念は、既知のものを組み替えることでしか生まれない。AI も本質的には同じ——入力された文脈という限定された空間で、その中の値をどう組み合わせるかを探索してるだけです。 ただし、人間には「その限界を超える」いくつかの逃げ道がある。実験をやってみるとか、誰かに聞くとか、新しい経験をするとか。要は外部から新しい情報を取り込める。一方 AI は一度計算が始まったら、その時点での入力内に封じ込められています。 だから「何ができて何ができないか」が、理論的に予測可能になったのが、この研究の面白さなんです。欠陥を発見したというより、『ルールが見えた』に近い。AI の能力を過信するのも過小評価するのも防げるようになるということなのかもしれません。

プロンプトを工夫すると『アクセス可能な領域が変わる』って、それって AI が実は持ってる情報を引き出す工夫なの、それとも新しい情報を創ってるの？

その違いは、幾何学的には「同じ情報集合の中での取り出し方の違い」と「新しい方向性の発見」のハザマにあります。 記事の「曲がった空間」という視点で考えると、AI が持ってるのは文脈内のベクトルの組み合わせだけ。プロンプトを工夫すると、その組み合わせ方のルール——つまり曲がり方を変えることができる。だから元々「そこにあった情報」を別の角度から取り出すことが可能になるわけです。 ただ、ここが微妙なところで、「別の角度から取り出す」ことが、当人にとっては「新しい思考」に見えることがあります。思考ステップを増やすと、各ステップで異なる曲がり方が何度も起こるので、一度目では届かなかった領域に段階的にアクセスできるようになる。その過程で、表面的には「新しい情報が生まれた」ように見えるかもしれません。 でも根本的には、情報集合そのものは変わっていない。取り出し方のバリエーションが増えているだけ、と言えそうです。だからこそ、「実は持ってた情報か、本当に知らない情報か」を見分ける枠組みが、この研究の価値なんでしょう。