翻訳テストで測れるもの、測れないもの

MMLU って何？世界中でよく使われてるテストなの？

MMLU は、アメリカの大学入試レベルの学力テストで、57 分野・約15,000問から成り立っています。数学、科学、歴史、法律、倫理など、かなり広い範囲をカバーしている。2021年に公開されて以来、AI の知能レベルを測る「デファクトスタンダード」になったんですよね。 理由は単純で、複雑さの程度が AI 評価に適していて、データセットとして公開されているから。研究者が「このモデルはどのくらい賢いのか」を示したいときに、MMLU で成績を報告すれば、すぐ比較可能になる。だから今や、新しい AI モデルが発表されるたびに「MMLU で何点」という数字が並んでいるわけです。 でも、ここが記事の要点なんですが、英語で作られたテストを翻訳して世界中で使うと、文化や知識の根拠地の違いが見えなくなってしまう。スウェーデン人なら「この歴史的事実は自分たちの教育で習った」けど、翻訳版では、その背景がそぎ落とされているかもしれない。結果、AI の本当の実力ではなく「英語圏の知識体系にどれだけ適応してるか」を測ってることになってしまう。万能な物差し、という幻想の危うさが見えてきます。

ChatGPT が『日本語だと本当はどのくらい賢いのか』って知りたいとき、翻訳版テストを使ってたら間違った評価になってる可能性があるってこと？

可能性は十分あります。ただ、どう間違うかが重要です。 研究によると、数学や科学みたいに世界共通の知識を問う分野では、翻訳版テストでも AI の実力は正しく測れているみたい。日本語版 MMLU の数学問題を解かせても、それなりに実態を反映しているということですね。 問題は「日本特有の知識」が絡む分野です。日本の歴史、政治体制、文化的背景、言葉遣いのニュアンスなど。これらを問う問題は、英語版から翻訳しただけでは、本来の難易度や意図が失われる可能性が高い。結果として、AI が「本当より低く見える」か「本当より高く見える」か、どちらに転ぶか分からない状態になってしまう。 いま MMLU で ChatGPT の日本語能力を測っているなら、実は「英語圏の常識をどれだけ日本語で再現できるか」という、ちょっと異なる問いを測ってるのかもしれません。本当の意味で「日本語での賢さ」を知りたいなら、日本の教育システムや文化に根ざした問題セットが必要になってきそうです。

なぜ多くの企業や研究者は、わざわざ英語のテストを翻訳して使ってたの？最初から各言語で新しく作るのは難しいから？

翻訳版を使う側の気持ちは、実はシンプルなんです。全世界の AI を同じ尺度で並べて比べたい、という欲求。バラバラなテストで測ってたら、「ChatGPT と Claude 、どっちが賢い？」という問いに答えられない。だから「同じ問題を言語だけ変えて各地で走らせる」という手法を選んだわけです。 ただ、その代償が今回露呈した。数学や科学みたいに「普遍的」に見える分野でさえ、国ごとの教育カリキュラムの違いが影響する。スウェーデン特有の歴史や事実問題なら、英語版には元からその知識が織り込まれていない。翻訳しても、AI が答えられるはずがない。 結局のところ、翻訳版テストは「測定のコスト」と「結果の比較性」を両立させたい という実務的な選択だったのかもしれません。各言語で一からテストを設計するなんて、言語学者と教育専門家を国ごとに配置する必要がある。それは時間も予算も膨大。だから捷径を選んだけれど、その捷径が実は測りたい対象を正確に映していなかった、と言えそうです。

これって『同じ問題を別の言葉にしても、難易度や背景知識の必要性が変わっちゃう』という言語学的な課題なんだっけ？

言語学的な課題ももちろん含まれていますが、実はそれだけじゃないんですよね。 翻訳された問題が機能しなくなる理由は、むしろ「その国の教育システムがどこに重点を置いているか」の違いが大きいようです。数学や科学は世界的にカリキュラムが似ているから、翻訳版でも AI の実力がちゃんと映る。でも「スウェーデン特有の事実問題」となると、スウェーデンの学校では習っていても、別の国の教科書には載っていない知識がある。翻訳版テストを使ったら、その AI が「スウェーデンの教育に対応しているか」ではなく「英語圏の教育に対応しているか」を測ってしまうわけです。 つまり問題は言葉そのものというより、問題の背景にある「文化的・教育的な前提」がズレているということ。翻訳で言葉を直しても、その土地で常識とされている背景知識までは一緒についてこないんです。AI を評価するなら、世界統一の物差しより「地元の教育context に合ったテスト」が必要になってくるという、なかなか厄介な状況が見えてきたということなのかもしれません。

翻訳版テストでは成績が低く出たから、その国の言語での AI 開発が『実はもっと進んでるのに過小評価されてた』ってことはありうる？

逆の可能性もあるんですよね。翻訳版で低く出たからといって、その国の言語での開発が進んでるわけではなく、むしろ翻訳の質が悪かったり、文化的な文脈が失われたりしているだけかもしれません。 記事の結果を見ると、数学や科学みたいな「普遍的な知識」では翻訳版も地元版も同じくらいの成績なんです。つまり AI の実力そのものが変わったわけじゃなくて、テストの側の問題。スウェーデン特有の事実問題で翻訳版が役に立たなかったのは、AI が賢くなったからではなく、翻訳文を読んで「これ何のこと？」と困ってるだけだと考えられます。 むしろ注意が必要なのは、翻訳版で低い成績が出たときに「この言語での開発が遅れてる」と結論づけてしまうこと。実際には、テスト設計の不適切さを見落としてしまう。本当の実力を知るには、その言語での「ちゃんとしたテスト」が要るというのが、この研究の指摘だったと言えそうです。