AI の実力、選択肢が少ないと高く見えすぎる理由

『正確に順位付けする力』って、何が『順位』なの？複数の選択肢を点数でランク付けするみたいなことですか？

言語モデルは、選択肢それぞれに対して「この答えの確からしさ」を数値で計算しているんですよね。 たとえば「誤字はどれか」という問題で、100個の選択肢が並んでいたら、モデルは各選択肢について「これが正解である確率は10%」「これは0.5%」「これは15%」という具合に、スコアを出しています。その後、スコアが一番高いものを選ぶわけです。 選択肢が4個の場合、スコアが高い順に並べると1位と2位の差が大きく、「1位はこれで確実」という判定がしやすい。だから正解を引きやすい。 ところが選択肢が100個だと、スコアの分布がもっと細かく散らばります。1位から2位への落ち方が緩やかで、実は1位のスコアがそこまで高くなかったりする。つまり「この選択肢が正解らしい」という確信が持てないから、不安になって最初に見た選択肢に引っ張られてしまう、というわけです。 要するに『順位付け』とは、複数の候補に対して「どれが最も確からしいか」を数値的に判断する力のこと。4個の狭い範囲では得意だけど、100個という広い範囲では精度が落ちるということが見えてきたのかもしれません。

AIが世間で『すごい』『頭がいい』って見えるのは、テストの出題方法次第でそう見えてるってこと？実際に使う場面では精度が違うの？

実際のところ、その通りだと思います。選択肢が4個のテストで90点取るのと、100個のテストで90点取るのは、同じ「実力」じゃない。だからこそ、AI が世間で「すごい」と見えるのは、評価方法が甘いことと、実務での難しさが一致していないケースが多いんですよね。 実務の世界では、選択肢100個の状況に近いことばかり起きてます。チャットボットが顧客対応するとき、「この3つの回答のどれかな」じゃなく、膨大な可能性の中から最適な一手を選ぶ必要がある。医療診断も同じ。文章修正も、翻訳も、候補は無限に近い。 この論文が面白いのは、選択肢を増やすと AI の「気合の入れ具合」が変わることを示したことです。不確かなときに『最初の候補に逃げ込む』という人間的な弱さまで露わになる。つまり、AI が実務で失敗するのは「理解度が足りない」というより「順位付けの確度が甘い」ケースが多いのかもしれない。テストで「実力がある」と見えるのと「現場で使える」ことは、別問題だということが見えてきます。

これまで AI の実力をはかるときって、４～５択の選択問題が標準だったの？それはなぜ選ばれてきたんですか？

4～5択が標準になった背景には、実用的な事情があるんですよね。 まず、評価の手軽さ。選択肢が少なければ採点が単純で、大量のテストを短時間で回せます。また、人間が「正解を1つ選ぶ」という認知作業も軽く、結果の解釈もわかりやすい。AI の性能が急速に向上する過程では、「きょうのモデルは昨日のモデルより何%上がった」という進捗を見える化する必要があったから、こうしたシンプルな指標が重宝されたんだと考えられます。 もう一つは、人間の試験設計との慣習です。TOEFL や大学入試など、言語能力を測る標準的な試験が4～5択で運用されてきた。AI 研究も「人間と同じ試験で競わせる」という発想で、その枠組みをそのまま借りた側面があります。 ただ、その簡便さが落とし穴だった。選択肢が少ないと、AI が「ちゃんと理解している」のか「運と部分的なパターン認識で押し切っている」のか、見分けられない。評価方法は進化する必要があったということかもしれません。

これって『選択肢が少ないと、運でも正解できる』という統計的な問題なの？それとも『AI の判断回路そのもの』の限界を示してる？

その両方が絡み合ってるんですよね。統計的な問題と、AI の判断回路の限界は切り離せない。 選択肢が4個なら、完全にランダムに選んでも25%当たる。でも選択肢が100個なら1%。その差だけなら統計の話で終わります。でも論文で面白いのは、選択肢が増えたときに AI が何をするかというところ。 記事に書かれてる「最初に見た選択肢を選びやすくなる」という現象は、統計的な運の問題じゃなくて、AI の判断回路が本当の意味で選択肢を比較できてない証拠に見えます。候補が多すぎると、細かい差を判定する力が動作しなくなって、むしろ入力順序みたいな無関係な情報に引っ張られてしまう。つまり、4個で高得点だったのは「本当は理解してた」というより「問題の難易度と AI の能力が運良くマッチしてた」だけだったということ。 言い換えると、統計的な甘さと判断回路の甘さが同時に見えてくるのが100個選択肢という設計なんですよね。テストを難しくすることで、AI が「実は仕分け能力がない」という本質的な限界を露呈させてる、と言えそうです。

選択肢が100個になると AI が『最初に見た選択肢を選びやすくなる』って書いてるけど、それは AI に『目の前の情報に頼りやすい』という傾向があるってことですか？

そこまでシンプルではなくて、もう少し複雑な話だと思います。 選択肢が4個なら、各選択肢の「相対的な確信度」が明らかになりやすい。AはBより40%有利、みたいに差が見える。でも選択肢が100個になると、「これら全部の中で順位をつけろ」という別の認知課題が発生するんですよね。 AI の内部では、全候補に対してスコアをつけてるはずなんですが、その結果を「正しく解釈する」段階で何かが起きてる。最初に目に入った選択肢のスコアを過度に信頼してしまう、あるいは不確実性が高まると「最初の情報を軸に判断を単純化する」みたいな処理が働くのかもしれません。 つまり「情報が多すぎると短縮戦略に走る」という人間らしい弱さが見えてるんです。AI は長文を理解するのは得意でも、その理解を大量の選択肢の中から正確に「マッチング」させるという作業では、確信が揺らぐと単純な線引きに頼ってしまう。認知的負荷という概念があるなら、選択肢100個というのはAIにとって確かに重い。それが露わになったわけです。