AI が答えを見つけるまで、内部で何が起きているのか

『層』って、AI の内部構造でいうどんな単位のこと？脳の各領域みたいに分かれてるってこと？

AI の「層」は、脳の領域とはちょっと違う仕組みです。大規模言語モデルは、積み重なった数十層から数百層の「変換装置」の列で成り立っている。入力された言葉が一番目の層を通ると、数字の集まりに変わる。その出力が二番目の層に入って、また変換される。こういう工程を繰り返すわけです。脳なら「ここが色を認識、ここが形を認識」と機能で分かれてますが、AI の層は機能で分かれてるわけではなく、むしろ「段階を踏んでいく」という感じ。一番目の層では質問全体の大まかな意味を拾ってるとしたら、中盤では「ヨーロッパ」という答え候補が浮かび始める。終わりの層では確率を計算して「これが答えだ」と決定する、といった具合に。研究では「質問情報がどの層で答え情報に切り替わるのか」を見ているので、脳でいえば「視覚野から連想野から判断中枢へ」という流れを追うのに近いのかもしれません。

ChatGPT が時々ウソっぽい答えを出すのって、この内部の『層の役割分担』がうまくいってないせいなの？

AI が間違った答えを出す理由は、実は層の役割分担が「うまくいってない」というより、もっと根本的なところにありそうです。 この研究が見ている「質問→答え知識への切り替わり」は、単純な事実問題には比較的きちんと機能している。フランスがどこにあるか、という知識的な問題なら、層ごとの処理は明確に分かれやすい。ところが ChatGPT が「ウソっぽい」答えを出すのは、むしろ知識そのものの不確実性か、複数の可能性を重み付けする段階での判断ミスに見える。 たとえば、全くもってあり得ない組み合わせを自信を持って述べるとき、それは層の分担というより「統計的に似た文脈の組み合わせ」を引き出してしまう、言語モデルの宿命的な特性です。この研究で層の役割が明確になれば、どの層でズレが生じたのかは見えるようになるかもしれません。けれど、ズレそのものを完全に防ぐことは、いま以上に難しいのかもしれません。

今までの AI 研究では、モデルの内部構造ってこんなふうに詳しく調べることができなかったの？

AI の内部構造を調べるツール自体は昔からありますが、この研究が新しいのは「追跡対象を明確に絞った」というところにありそうです。 従来は、モデル全体がどう動くかという大きな流れを見るか、逆に個々のニューロンの役割を細かく調べるか、どちらかが中心でした。一方この研究は、「ある質問がどう変換されて答えになるのか」という一本の線を、層ごとにたどっていく。質問情報と答え知識がどの層で入れ替わるか、という具体的な関心地点を決めて調べるわけです。 さらに複数のモデルを同じ方法で比較して、「Gemma と Llama では戦略が違う」まで見えた。こういう比較って、やろうと思えば昔もできたはずですが、実際には各モデルの振る舞いを「ここまで詳しく」「同じ基準で」追いかける研究は少なかったのかもしれません。 つまり、技術的な新しさというより、「何を問い」として設定するのか、という研究の問題立て方が進化したのではないでしょうか。その結果、同じように見える AI でも内部構造が全然違うという発見につながったのだと言えそうです。

要するに『同じ答えを出してても、AIによって『考え方の手順』は全然違う』ってことなのか？

ほぼそうです。ただ、「考え方」というより「役割分担の方式」が違う、という感じですね。 たとえば、人間が「フランスはどの大陸か」と聞かれたら、脳のどこかで「フランス」の情報を引き出して、「ヨーロッパ」という答えにたどり着く。その過程は個人差がありますが、大体同じメカニズムだと思える。 でも AI の場合、Gemma と Llama は同じ答え「ヨーロッパ」を出すのに、内部の層ごとの役割分担が明らかに異なっているということが分かった。Gemma は中盤で「質問の情報」と「答えの知識」の両方をちゃんと保持して、そこでバトンタッチをしている。一方 Llama はそうした明確な層が見当たらない。 つまり同じ黒箱から同じ答えが出ても、その黒箱の内部構造が全く別だということ。人間なら「みんな大体同じ脳の使い方」だけど、AI は「モデルの設計が違えば、到達方法もバラバラ」という感じですね。 これが分かると、AI の挙動がなぜモデルごとにズレるのか、その根っこが見える気がします。

内部の仕組みが見えるようになると、逆に『AIがどう考えてるか人間が完全に予測できなくなる』リスクもあるんじゃないの？

興味深い逆説ですね。ただ、複雑さが増すことと予測不可能性は別の問題かもしれません。 研究が明かすのは、AI が「何をしているのか」という構造です。層ごとの役割分担が見えれば、ある入力に対してどの層がどう反応するかの対応関係が増えていく。むしろ「謎の箱」から「複雑だけど追跡可能な機械」へ向かう話に見えます。 逆に今は、AI が答えを出す過程が黒箱に近いから、予測が難しいんです。最終的な出力しか見えないので「なぜこんな答えが出たの？」が分からない。内部構造が見えるほど、その答えに至った経路が追跡可能になり、むしろ予測性は上がるかもしれません。 ただし、一つの懸念は残ります。層ごとの役割が見えても、その層の内部（重みの微妙な相互作用）までは理解できないままの可能性が高いこと。地図が詳しくなっても、各地点での「なぜそこが重要なのか」という最深部は依然謎のままかもしれない。透明性と完全理解は、まだ別のステージにあると言えそうです。