言語処理の『難しさ』を予測する理論が、実は説明になっていない理由

『言語モデル』って、ChatGPTみたいなAIと同じもの？それとも別の意味で使ってるの？

言語モデルは大きなカテゴリーの名前で、ChatGPT のようなものはその中の一種という関係ですね。言語モデルとは「文字列が次々と続く確率を計算する仕組み」全般を指します。単語の出現頻度を数えるだけの簡単なものから、深いニューラルネットワークを使った複雑なものまで、すべて言語モデルです。 この記事の文脈では、研究者たちが人間の読みづらさを説明するために使ってきた言語モデルは、必ずしも ChatGPT のような最先端の AI ではなく、むしろ統計的に「次の単語の出現確率」を計算する、もう少し単純な仕組みを指している可能性が高い。ただし、その原理は ChatGPT と同じです。次に来る言葉を予測する能力を持っている点で共通している。 問題の本質は、どのレベルの言語モデルであれ「人間の読みづらさのデータに合わせて後付けできてしまう」ということ。つまり、どんなパターンにも対応する言語モデルが作れるなら、それは「説明」ではなく「データへの適合」に過ぎないということになるわけです。そこは最新 AI も古い統計モデルも変わらない、と言えそうです。

長い文が読みづらい理由の説明が間違ってたってことは、『予想外の単語が出ると疲れる』っていう実感も幻なの？

実感は本物だと思う。問題は、その実感を「言語モデルの驚き度」で説明しようとする部分にある、という話ですね。 たとえば「昨日の会議は長かった」と読むのは簡単。でも「昨日の会議は参加者の時間帯別の最適化と社内政治的背景を踏まえた上での」と続くと、急に読むペースが落ちる。これは確かに起きている。 ただ、その読みづらさが「単語の予想外さ」だけで決まるわけではないかもしれないんです。たとえば同じ「予想外の単語」でも、自分の専門分野の難しい言葉と、全く知らない領域の簡単な言葉では、感じる負荷が違う。文脈や目的によっても変わる。 研究が指摘しているのは、言語モデルなら「どんなパターンにでも合う」から、単なる事後説明になってしまうということ。つまり、読みづらさという現象は存在するけれど、その原因を「言語データだけ」から逆算するのは不可能に近い、ということのようです。 読みづらさの本体は、言語だけでなく、あなたの知識、疲労、集中力、その文を何のために読んでいるのかといった、脳の内側の事情にあるのかもしれません。

言語学者たちが20年かけて信じてきた理論が、なぜいま急に『実は説明になってない』って指摘されるようになったの？

言語モデルが進化したからこそ、逆説的にこの穴が見えるようになったんですよ。 20年前は、言語学者たちが仮説を立てても、それを細かく検証する道具がなかった。だから「予想外な単語が読みづらさを説明する」という理屈が、もっともらしく聞こえていた。人間の直感とも合致するし。 ところが近年、ニューラルネットワークと大規模データで言語モデルが急速に強化された。すると、ある人間の読みづらさパターンに対して「説明性」を持つモデルを、事後的にいくらでも調整して作り出せることが明らかになった。つまり、理論の検証が本来は「未来の事象を予測できるか」「異なるデータでも同じ法則が成り立つか」で判断されるべきなのに、過去のデータに後付けでモデルを合わせるだけなら、モデルのほうが柔軟すぎて理論の妥当性を測れなくなってしまったわけです。 データと計算機の力が増したせいで、逆に「これまでの説明って、本当に説明になってたのか」という疑問が浮かび上がってきた。理論の危機は、むしろ技術進化の副作用だと言えそうです。

『後付けでデータに合わせる説明』って、科学全体でよくある問題なんじゃないの？

後付けで説明をつけるのは、確かに科学全体で起きる誘惑ではあります。ただ言語モデルの場合、その陥穽は特に深刻かもしれません。 通常の科学では「どんなデータにも合う説明」は、設計段階で制約がある。物理なら数式の形がシンプルに定まっていて、その枠内でしかモデルは動かせません。生物学なら実験を再現しないと相手にされない。でも言語モデルは、パラメータ数が膨大で、調整幅がほぼ無限。だからこそ「あらゆるパターンに後付け可能」という地獄に落ちやすい。 見た目は科学っぽく見えるのがさらに厄介。グラフも数値も出ます。統計的有意性だって示せる。でも実は、データとの相性の良さだけで、その背後にある仕組みは何も解明していない。 この論文が指摘しているのは、言語学の分野が長年、「モデルがデータに合う」ことと「理論がある」ことを混同してきた、ということかもしれません。その差は、科学全体の問題というより、言語処理研究に固有の甘さを暴いた、という側面もありそうです。

人間の読みづらさを『言語データだけ』で説明しようとしてたのって、脳や目的といった『言葉の外の要素』を軽く見すぎてなかったの？

言語データだけで説明したくなる気持ちは分かるんですよね。科学というのは、対象を限定して測定可能にするものだから。脳のニューロン活動を全部計測するなんて現実的じゃないし、「目的で読んでいるか」も人によって違う。だから『観測できるのは言葉の並び順だけ』という地点から出発したくなる。それ自体は悪くない。 でも問題は、その限定が「暫定的な簡略化」ではなく「理論そのもの」になってしまったところにあります。あらゆるデータに後付けで合う説明を作れるなら、その説明は次の現象を予測できない。つまり『軽く見た』というより『見ないふり』に近い。逆説的ですが、科学的に厳密になろうとした結果、言語データという最も「当てはめやすい」ものだけを使って、実は何も説明していないという状態に陥っていた。著者の指摘は、言語学が『脳や目的といった複雑さ』と正面から向き合うまで、この分野は理論段階に進めないということを示しているのかもしれません。