検索エンジンは『関連』と『役に立つ』を混ぜている

『関連性』と『有用性』って、検索エンジンの世界では別の概念として扱われてるんですか？

検索エンジンの中身を見ると、実はずっと別概念として扱われてきたんですよね。ただ、その違いに真摯に向き合う必要性が、ここまで可視化されてなかっただけの話に見えます。 検索エンジンは本来、キーワードのマッチング精度を磨いてきた歴史がある。「パリ」「大きい」「ベルリン」といった語彙が揃ってるページを上位に出す。これが「関連性」で、技術的には割と簡潔に計算できます。一方、「有用性」は「実際に質問に答えているか」という意味論的な判定が必要で、ずっと後付けの補正みたいな扱いだったのではと想像できます。 今回のUsefulBenchの着眼点は、その曖昧さを数字で突きつけたところにある。検索エンジンがどれほど「関連しているだけで役に立たない」結果を上位に出しているか、を量的に示せば、エンジニアたちも改善の優先順位を上げざるを得ない。つまり、別概念として認識されてはいたけれど、優先順位の付け方が甘かった、ということなのかもしれません。

Google で検索するとき、上位に出てくる結果が『関連してるけど役に立たない』ことって、実際によくあるんですか？自分が気づいてないだけなのかな。

あると思います。ただ、気づきにくいのは、検索エンジンが「関連性」と「有用性」を意図的に分けて考えてないからなんですよね。 典型的なのは、医学系の質問です。「頭痛の原因」と検索すると、医学辞書的な「頭痛とは何か」という説明ページが上位に来たりします。確かに関連してますが、あなたが欲しいのは「自分の頭痛の原因は何か」という個別の答え。別物です。 もう一つは、ニュースや流行りのテーマです。「〇〇とは」と検索すると、解説記事がズラッと出ますが、その中には「〇〇について言及してるだけ」という記事も混ざってる。関連性は高いけど、あなたの疑問には答えてない。 気づきにくいのは、検索結果を一つ見たとき「これ関連してるな」と満足してしまうからです。でも実は、ページをいくつも開いてやっと「あ、これが欲しい答えだ」と気づくことって、意外と多い。検索エンジンが「役に立つ」と「関連してる」を区別してないからこそ、その間にズレが生まれてるんだと言えそうです。

ここ数年で ChatGPT みたいな AI が出てきたから、こういう『検索エンジンの弱点』が急に見えるようになった、ってことなんですか？

そうとも言えそうですね。ただ、検索エンジンの「関連性と有用性の混同」自体は昔からあった問題で、むしろ問題の重要性が浮き彫りになったのが数年前、というのが正確かもしれません。 検索エンジンは技術的に「文字列の一致度」や「ページへのリンク数」を数値化しやすいので、そこを最適化してきた。一方「本当に役に立つか」は主観的で、測定も難しい。だから後回しになってた。ChatGPTが登場して、いきなり「質問に直接答える」という別のアプローチが現れた。その対比で初めて、従来の検索エンジンが「実は関連性だけを見てた」という構造が目に見えるようになった感じです。 つまり、AIが新しい競争相手になったから、検索エンジンの弱点が急に注目され始めたということ。研究者も「これまで何となく感じてた違和感を、ちゃんと測定する必要がある」と気づいたのでしょう。データセット作成という手間をかける価値が、ようやく認識されたのかもしれません。

これって『効率的に情報を集める』っていう問題と『本当に必要な答えを見つける』っていう問題は全然別の話、ってことなんですか？

そう言えそうです。「効率的」と「正確」を混ぜて考えてた、ということかもしれません。 Google が得意なのは「大量の候補の中から、クエリに似た文章を素早く抽出する」こと。これは効率性の最適化です。「パリ」と「大きさ」という単語が両方入ってるページを見つけるのは、検索エンジンには簡単。でも、質問者が本当に欲しいのは「パリの面積は〇〇平方キロ、ベルリンは〇〇」という比較データ。つまり、質問の構造を理解して、何が不足してるのかを察知する作業なんですよね。 ChatGPT が強い理由もそこで、テキスト全体の意味を読み込むから「大きさを比較する情報」として必要なものが分かる。ただし、その情報が正確かどうかは別問題。一方、Google は関連ページを大量に示すので、そこから人間が手動で篩い分ければ精度は上がります。 つまり、「素早く候補を見つける」と「質問の本質を理解して答える」はまったく違う能力で、いまの検索エンジンはその差に気づいてなかったのかもしれません。

ChatGPT は専門分野では間違うけど、Google は関連性を重視しすぎる——じゃあ、両方を組み合わせて使う人が最強なんですか？

一見そう思えるんですが、実は組み合わせること自体が難しいんですよね。 Googleで「パリ　人口」と検索すれば関連ページが出ますし、そこから役立つ数字を拾える。ChatGPTに「パリとベルリンどちらが大きい」と聞けば、知識から即座に答える。両方使えば情報は確実に広がります。 ただ、問題は「検証」なんです。ChatGPTが自信たっぷりに答えたことが本当かどうか、Googleで確かめようとしても、検索エンジンは「関連性」を重視してるから、むしろ確信を揺さぶるページが上位に来るかもしれない。逆に、Googleで見つけた情報が古くないか、正確か確かめたいのに、ChatGPTは専門分野では自信がない。 つまり、どちらかが間違ってたとき、もう一方で検証するという想定がうまくいかない。「役に立つ情報」にたどり着く道が、二つのツールでずれてるからなんです。最強になるには、その情報が本当に役立つのか判断する「自分の基準」が必要になってきそうです。