AI が問題を作る側と解く側、どちらが強いのか

『MathDuels』って、結局どういう仕組みなの？AI同士が対戦するってことは、どっちかが『勝ち』『負け』で判定されるの？

MathDuels は、囲碁の世界レーティングシステムのような「相互評価」の仕組みだと考えるといまの構造が見えやすいかもしれません。 AI が「出題者」と「解答者」の両方になって、繰り返し対戦を重ねていきます。出題側は相手が解けない問題を作ろうとします。解答側はそれを解こうとします。その一試行一試行で、「この問題は難しかった」「このモデルは計算力が高い」といった情報が蓄積される。すると難易度の調整エンジンが、強い AI にはより難しい問題を、弱い AI には解きやすい問題を出題するようにフィードバックしていく。 だから「勝ち負け」というより、繰り返しの中で実力に応じた位置づけが自動的に形成される感じです。チェスレーティングのように。 面白いのは、そのプロセスの中で「問題作成能力が高くても、解く能力は低い」みたいなモデルが見えてくることです。つまり同じモデルでも、得意な側面と弱い側面が別々に浮かび上がるということ。一つのテストでは見えなかった複雑さが、双方向の対戦を通じてようやく可視化される仕組みなのかもしれません。

こういう研究が進むと、学校のテストとか資格試験の評価方法も変わってくる可能性があるってこと？

学校や資格試験の評価が直接的に変わるかどうかは、別の問題かもしれません。この研究が本当に示しているのは「一つの尺度では足りない」という話で、それは人間の評価にも当てはまるということですね。 現在でも、学校のテストだけで実力を測ろうとしたら限界があることは、誰もが薄々感じている。だから面接や小論文、実技評価が組み合わされるわけです。ただ、それらの評価方法は試験者の主観が混じるので、公正さが課題になる。 MathDuels の面白さは、問題を作る側と解く側という異なる能力を、同じシステムで客観的に可視化できるところです。もし人間の評価にこれを応用するなら「テスト問題を解く力」だけでなく「自分で良い問題を考える力」も測る、というアプローチが出てくるかもしれません。そうなると、教育の現場では「問題解答」と「問題創作」をセットで評価する方向に少しずつ動く可能性があります。ただ、それを大規模な試験制度に組み込むには、採点の客観性をどう担保するかという壁があるのかもしれません。

既存のテストで『最新モデルと1世代前の差が見えなくなった』のって、モデル自体の進化が頭打ちになったからなの、それともテスト作成の問題なの？

記事の文脈からすると、ここは「テスト作成の問題」寄りだと読めます。記事が「テストそのものが簡単すぎて」と明言しているからです。 ただ、その背景にあるのは面白い構図で、モデルの進化と評価方法がズレているんですよね。数学問題を解く能力に限れば、ここ数年で AI は本当に強くなった。だから既存テストは、設計当時は十分に難しかったのに、いまは AI にとって「得意な領域」になってしまった。 つまり進化が頭打ちではなく、むしろ進化が速すぎて、テストの難度が相対的に下がっちゃった状態。人間のテスト問題は何年も変わらないですが、AI の能力は指数関数的に上がるので、このズレが生まれるわけです。 だから MathDuels が「モデル同士を対戦させる」というアイデアなのは実は優れていて、AI が強くなるたびに問題も自動で難しくなる。評価方法が AI の進化速度に追いついていく仕組みになっているということなのかもしれません。

『問題を作る能力』と『問題を解く能力』が別物だって、要するに『攻撃力と防御力は別』みたいなことだから、何かを評価するには複数の角度から見る必要があるってことなのか？

そこは実は、もう一段深いんじゃないかと思うんです。 攻撃力と防御力が別、という見方もできるんですけど、数学の場合は違うニュアンスがあります。問題を解くって、ある状態から答えに到達する一本道的なプロセスですよね。でも問題を作るって、無数の可能性の中から「相手を困らせる問題」を生み出すことなんです。 つまり、問題を作る能力には「相手のクセを見抜いて、その穴をつく」という戦略的な思考が必要になる。解く力が高くても、相手の弱点を想像して問題に落とし込む発想力がなければ問題は作れないわけです。 複数の角度から見る、というより「その AI が何を理解しているのか、どう考えているのか」が、テストを解かせるだけじゃ見えないという話に近いのかもしれません。得意な領域と弱い領域の構造までが明かされるからこそ、本当の強さが分かってくるということなのかもしれません。

『問題を上手に作る AI』が強いってことは、逆にいうと『教育の現場で問題を出す側の人間にとっては脅威』ってことになるの？

実際には少し違う脅威になりそうです。記事で見えてくるのは、問題作成と問題解答は別の能力だということ。つまり、教育の現場で必要なのは『良い問題を作る』という単純な作業ではなく、『生徒がどこでつまずくのか』『どんな誤解をしやすいのか』を見極めて問題を調整する能力なんですよ。AI が作った難しい問題は、AIに勝つために設計されたもの。生徒の学習段階には合わせられていない。だから脅威というより、むしろ逆かもしれません。問題作成の手間は削減できても、教員にしかできない『出題の意図を決める』という判断が、より重要になっていく。AI が問題を量産する時代だからこそ、『なぜこの問題を出すのか』という教育的な目的を持つ側の価値は高まるという見方もできそうです。