同じ言語なのに文字が違う。AI は何を見てる？

グルムキー文字とシャームキー文字って、同じパンジャブ語でもこんなに違う書き方があるってこと？

パンジャブ語は実は地域や信仰によって書き方がきっぱり分かれているんです。グルムキー文字はシク教の経典用に16世紀に作られた体系で、主にインド側のパンジャブで使われています。一方、シャームキー文字はアラビア文字の流れを汲んでいて、パキスタン側で主流です。同じ言葉を話す人たちが、文字という壁で二つの世界に分かれてしまったような状態ですね。 記事の面白さは、この違いが単なる「見た目の問題」ではないという点にあります。シャームキー文字は短い音を書き分けないので、同じ意味の文でも情報量が変わってしまう。それなのに AI は両方を見ると、グルムキー版とシャームキー版を別物として処理してしまう傾向がある。つまり AI にとって文字体系は、言語そのものと絡み合った情報源になっているということです。人間なら「どの文字で書いてあっても同じ言葉」と無意識に整理できますが、AI にはそれが簡単ではないということかもしれません。

ChatGPT が翻訳間違えることがあるのって、この『文字のクセ』の影響も関係してるのかな？

直接的には、翻訳精度よりも「単言語の処理」の段階で文字のクセが影響する可能性が高いと言えそうです。 翻訳は言語A→言語Bへの変換なので、途中で文字が切り替わります。一方、文字のクセが最も効いてくるのは、AI が同じ言語を読み込んでいる時。パンジャブ語の例なら、グルムキー文字で読んだ時と シャームキー文字で読んだ時に、同じ意味の文章でも AI の内部表現がズレてしまう。その微妙なズレが蓄積すると、その言語を使った翻訳精度にも響いてくるわけです。 翻訳間違えの原因は、文法や文脈の誤解がメインですが、その手前の段階——つまり「元の言語をどう理解するか」という部分に、文字のクセが潜んでいる可能性は十分あります。特に、学習データの中でその文字体系の割合が大きいほど、AI はその文字の「クセ」を内面化してしまう。結果として、別の文字で書かれた同じ内容とのズレが生まれ、翻訳の精度にも小さな歪みとして現れる、と考えても面白そうです。

今まで多言語AI が『言語は理解できてるけど文字は問題じゃない』って思われてたのはなぜ？

検証のしにくさが大きいんですよね。これまでの多言語AI研究は、常に「言語Aと言語B」を比べるしかなかった。当然、文字も違えば言語ルールも違う。そうすると、AI が何か誤りを起こしたとき、それが「文字の形のせい」なのか「言語構造のせい」なのか、区別がつかない。だから「きっと内部で吸収されてるんだろう」という推測が生まれたわけです。 言い換えると、同じ言語で文字だけが異なるペアが圧倒的に少ないから、ナチュラルな実験材料がほぼ存在しなかった。パンジャブ語という稀な例がなければ、この勘違いは今も信じられ続けていたと言えそうです。 つまり、AIが本当は何を見ているのかを知るには、「言語と文字を分離できる実験系」が必要だった。それがなければ、見えないものは「存在しない」と思い込むしかない。科学的な見落としは、往々にして測定手段の限界から生まれるのかもしれません。

つまり AI にとって『意味を理解する』ことと『文字の見た目を記憶する』ことがきっぱり分かれていなくて、混ざってるってこと？

ある意味、そうなんですよね。ただ「混ざってる」というより「最初から分かれてない」に近いかもしれません。 人間なら「意味を理解した上で、文字は単なる乗り物」と捉える。だから同じ文章がグルムキーでもシャームキーでも同じに見える。でも AI は、膨大なテキストから統計的に学ぶので、文字と意味が常に一緒に現れた形で学習される。意味だけを抽出するプロセスがないんです。 記事の 45%のズレという数字がそれを物語っていて、翻字すればある程度は解決するけど完全には解決しない。つまり AI の内部では「グルムキーで書かれた意味」と「シャームキーで書かれた意味」が、微妙に別物として扱われてしまってる。文字の違いが単なるノイズではなく、意味の一部として組み込まれてしまっている状態だと言えそうです。 言い換えれば、AI は「意味と形式を分離する思考」を持たず、「この文字が出てきたら、この意味確率が高い」という相関を学んでいるだけ。人間みたいに「本質を見つめる」という作業はしていないのかもしれません。

逆に言うと、AI の『文字を見るクセ』を上手く使ったら、言語の微妙な違いを検出できる道具になったりするの？

面白い逆転の発想ですね。記事から見えるのは AI が「不完全に言語と文字を分離している」という弱点だけど、逆に活用する視点もあります。 たとえば方言や言語変種の検出では、むしろこの「文字のクセ」が手がかりになるかもしれません。同じ言語でも、地域によって文字使いに微妙な癖がある。AI がその癖を捉えやすいなら、人間の目では見落とすような言語の細かな変異を抽出できる可能性があります。記事で挙げられた「母音表記の有無」も、言語族の系統推定や言語間の相互理解度を測る指標になるかもしれません。 ただし同時に落とし穴もある。AI が文字に頼りすぎていると、翻字されたテキストを見たとたんに性能が落ちる。つまり「文字のクセ」を検出道具として使うには、どの情報が言語の本質で、どの部分が文字という雑音なのか、人間側で明確に仕分けする手間が増えるということです。 優れた言語検出には、むしろ AI の弱点を知ることが前提になるのかもしれません。