AI の回答は『万能』か『その人向け』か、測り方が変わる

『ベンチマーク』って、AI の回答の何を測ってるの？

ベンチマークは、AI の回答がどの程度「いいのか」を数値化する物差しです。 人間の試験成績を測るテストみたいに、AI にも「どれくらい優秀か」を判定する仕組みが必要。これまでは「生成された文章が、正解とされるテキストにどれだけ似てるか」を計測していました。つまり、正答と照らし合わせて、言葉の一致度を点数化していたわけです。 ただこの方法には欠陥がある。プログラマーが求める答え、初心者が求める答え、文学者が求める答えはみんな違うのに、一つの「正解」で測ってしまう。だから本当に役立つかどうか見えない。 記事のベンチマークは発想が違います。2000人近いユーザーに「この回答、自分の好みに合ってる？」と聞いて、その選択パターンから「何が良い答えなのか」を逆算する。詳しさ、難易度、視点など6つの軸で個人の好みを可視化して、そこから評価基準をつくる。 つまり「万能な正解」ではなく「その人にとっての質の高さ」を測る物差しになったということなんですよね。

自分が ChatGPT に質問するとき、この『6つの視点』での評価が変わると、実際の使い心地は違ってくるの？

使い心地は確実に変わります。いまいち感じてる不満が、実は「そもそも AI の出来が悪い」のではなく「あなたの好みに合わせられていない」だった、ということが見える化されるからです。 たとえば、プログラミングの質問で ChatGPT の答えが「いまいち」だとしても、それが「詳しすぎて初心者向けじゃない」のか「逆に浅くて実装に役立たない」のか、あるいは「前置きが長い」のか「即答性が足りない」のか、理由は人によって違う。いまの AI 評価は「この答えは一般的に良い」という絶対値でしか測ってないから、あなた個人にとって何が問題かが浮き彫りになりづらいんですよね。 6つの視点が導入されると、「あなた向けに調整したバージョン」と「標準バージョン」の差が認識できるようになる。すると AI 側も、ユーザーの個人的な好みをフィードバックとして受け取りやすくなり、カスタマイズの精度が上がっていく。結果として「なんか自分に合わない」というもやもやが、「実はこういう工夫をしてほしい」という具体的な要望に変わる。その時点で、あなたにとっての使い勝手は別物になってるはずです。

これまで AI の回答品質が『言葉の似ている度合い』で測られてきた理由は、個人差を測るのが技術的に難しかったから？

技術的な困難もありますが、そもそも「測りやすさ」の問題が大きいと言えそうです。 言葉の似ている度合いというのは、機械的に計算できます。正解とされたテキストと、AI の出力がどれくらい一致しているか。数値化が簡単だから、ずっと使われてきた。一方、個人の好みを測るには、膨大なユーザーに実際に試してもらい、選択パターンを集計する。データ量も手間も比較にならない。 ここで面白いのは、「技術ができていなかったから」ではなく「効率よく測る仕組みがなかった」という点です。個人差を捉えることは理論上は可能だったけれど、スケールしない。だから、万能な正解を前提にした単一の尺度で済ませていた。その論文が 2000 人近いユーザーデータを集められるようになったのは、調査と統計の方法論が進歩したからなのでしょう。AI の質を本気で個人に合わせて測ろうとすると、大規模なユーザー調査がもう必須になってきたということかもしれません。

つまり『万能な答え』を目指すのをやめて、『その人に合わせた答え』を目指すように評価基準を変える、ってこと？

そう単純でもないんです。 「万能な答え」と「その人向けの答え」は、矛盾する目標じゃなくて、測り方の問題なんですよね。 これまでの評価って、「正解に近いか遠いか」を一つのものさしで測ってた。たとえば ChatGPT が出した答えが、プロが書いた標準的な回答とどれだけ似てるか。そうすると、どんなユーザーにも通用する「万能さ」を優先するしかなくなります。 でも現実は、同じ質問への「いい答え」は人によって違う。プログラマーが求める答えと、文学者が求める答えは別物。初心者向けの丁寧さが、専門家には冗長に感じられる。 この論文がやったのは、評価基準そのものを個人の多様性に合わせて、複数の軸で測ろうとすることです。「万能性を諦める」んじゃなくて、「万能に見えるためには、実は個人に合わせ続けることが必要」という発想の転換に見えます。 評価が細かくなると、AI 開発側も「すべての人に同じ答え出す」より「人によって答え方を変える」方が、スコアを上げやすくなるわけです。結果として、かえって AI は多様性を内部に持つようになっていくのかもしれません。

個人の好みに合わせた回答ができるようになると、AI が人によって『違う答え』を返すようになるけど、そうなると『正解』って何になるんだろう？

「正解」の定義が、一つの客観的な事実から「その人にとって機能するかどうか」へシフトしていくんでしょう。 従来は、医学知識なら「医学教科書に書いてある内容」、数学なら「論理的に導き出された一意の答え」みたいに、誰にとっても同じ正解があると思われていました。AI の評価も、その枠組みで測られてきた。だから「言葉の似ている度合い」が重視された。 でも人は、同じ事実でも受け取り方が違う。プログラマーに「ソートアルゴリズムの説明」を求めるのと、経営者に同じテーマで説明するのでは、必要な粒度がまったく違う。どちらが「正解」かではなく、どちらが「その人の次のアクションにつながるか」が重要になってくる。 つまり、正解は問いに対する一義的な事実ではなく「その人が次に何かできるようになったかどうか」という結果で判断されるようになりそうです。数学の答案用紙みたいな絶対評価ではなく、医者が診察で患者に合わせて説明内容を変えるのに近い。AI がそこまで精度を上げれば、一律の「正解」という概念そのものが古くなるのかもしれません。