古代ラテン語で AI を試す、初めてのベンチマーク誕生

『ベンチマーク』って、AI の何をはかるテストなの？

ベンチマークは、AI の「実力の物差し」みたいなもの。同じテストを複数の AI に受けさせることで、誰が誰より得意なのか、どこが弱いのかを客観的に見える化するテストです。 たとえば、学校の模試が「全国の受験生の中での自分の位置」を教えてくれるように、AI ベンチマークは「複数の AI モデルの実力を同じ条件で比較する」という役割を担っています。この記事では、ラテン語の問題 7800 問をテストとして用いることで、ChatGPT や LLaMA がラテン語にどれだけ強いかを測ったわけです。 大事なのは、テストそのものではなく「何をテストするか」という選択。世界中の AI はほぼ英語で評価されてきたから、英語以外の言語での実力は見過ごされていた。この研究は「ラテン語」という新しい物差しを用意することで、AI の弱点を初めて浮き彫りにしたのだと言えます。つまりベンチマークは、AI の強さだけでなく、どんな環境でなら活躍できるのか、どんなときに失敗するのかを教えてくれる診断ツールのような役割を果たしているようです。

ラテン語なんて死語のテストで AI を評価することが、日本語を話す自分たちにどう関係あるの？

ラテン語は死語ですが、ここでの実験は実は「自分たちの言語」を考えるための鏡になっています。 AI が英語では得意でも、ラテン語では不安定だったというのは、訓練データの量や質の差を浮き彫りにしたわけです。ChatGPT も LLaMA も、圧倒的に英語データで鍛えられている。日本語も同じ構造ですよね。ラテン語より圧倒的に日本語データは多いと思いますが、英語ほどではない。つまり、日本語で複雑な推論や専門知識が必要な問題を出したとき、AI がどこまで信頼できるのか、という問いが見えてくるわけです。 もう一つ大事なのは、この研究が「言語による得手不得手が一律ではない」ことを示したこと。ラテン語では論理問題が苦手だったのに、別の言語なら得意かもしれない。つまり、日本語での AI の弱さも、単に「訓練不足」ではなく、日本語そのものの構造や文化的背景と関わってるかもしれない。医学用語や法律用語、古典文学といった領域では、日本語特有の課題が隠れているのかもしれません。グローバルに見えるAI も、実はかなり英語中心の世界観で動いてるんだと気づかせてくれる研究と言えそうです。

なぜ今になって、急にラテン語で AI を試す研究が生まれたの？

ラテン語という選択肢が面白いのは、逆説的に「AI の限界を浮き彫りにしやすい」からではないでしょうか。 言語モデルは学習データの量と多様性に大きく左右されます。英語は現代のネット上に圧倒的に豊富。だから英語での評価は高いスコアが出やすい。でもそれって、「恵まれた環境での得意さ」に過ぎないんですよね。 ラテン語は現存する学習データが限定的です。古い文献、学術論文、教科書に絞られている。データ量が少ない言語で試すと、AI が本当に「言語を理解している」のか、それとも「大量のパターンを暗記しているだけ」なのかが判別しやすくなるわけです。 加えて、ラテン語は文法が複雑で、単語の順序も融通的。英語より推論力を要求する特性がある。つまり、AI のベンチマーク評価の甘さ──英語での成功に胡坐をかいてないか──を検証するには、ラテン語は格好の材料だったのかもしれません。 今、AI の「本当の強さ」を問い直す研究が増えてるムード。その一環と言えそうです。

つまり『AI が得意な言語と不得意な言語がある』ってことは、言語の複雑さとかデータ量の違いが影響してるってこと？

言語の複雑さやデータ量も関わってるでしょうが、それだけじゃない気がします。 AI は学習データに映った「パターン」を拾って答える仕組みだから、英語は圧倒的に学習データが豊富。ネット上の大量のテキスト、書籍、論文のほとんどが英語です。だからラテン語より英語のほうが得意なのは直感的に納得できる。 ただ研究でおもしろいのは、ラテン語で出された問題は「相対的によく答えた」という点です。複雑な推論を必要とする問題では英語でも失敗しているのに、ラテン語では比較的うまくいく場合がある。これは単なるデータ量の差では説明しにくい。 むしろ、ラテン語で出された問題セット自体が、学者や教育機関が厳選した、パターン化された良質な問題ばかりだったのかもしれません。あるいは、ラテン語という限定された言語空間では、AI が学習した知識を使い切りやすいのかもしれない。 つまり「不得意な言語=複雑」ではなく「データの質や問題のタイプ次第で、言語による得手不得手は想像以上に複雑」という見立ても成り立ちそうです。

英語ですごく優秀だって評価されてた AI が、ラテン語では得意だったってなると、何か意外な理由があるのかな？

AI の訓練データがどこから来たのかを考えると、腑に落ちるかもしれません。 ラテン語のテキストは、数千年の歴史を通じて繰り返し写字され、整理されて、学術的に保存されてきた。つまり、インターネット上のカジュアルな英語とは異なり、ラテン語のコーパスは「構造化された質の高いテキスト」ばかりだということです。一方、英語の訓練データには SNS や掲示板のノイズも大量に含まれている。 論理的思考が必要な問題で複雑なモデルが失敗するのも似た話。データの「バラつき」が多いほど、AI は判断に迷いやすくなります。ラテン語は使用者が限定的で、用例も文法的に「正しい」ものばかり。そこでは AI が言語の規則をシンプルに学びやすい、という逆説が起きているのかもしれません。 つまり、古い「死語」だからこそ、むしろ学習環境が整っていたという見方もできそうです。