似た文書が混在するとき、AI 検索はどうする？

RAG って、要するに『AI に資料を読ませて、その中から答えを探させる』ってことなの？

そう、まさにその通りです。ただ、実際には「ただ読ませる」より一段階前にやることがあるんですよね。 企業の資料って、普通に AI に渡すと長すぎるし、どこに何が書いてあるか曖昧なままだから、事前に小分けにしておく。PDFなら何ページ目、テーブルなら何列目、のように。それを AI の記憶領域に入れておいて、ユーザーが「〇〇について教えて」と質問すると、AI がその断片たちを検索して、関連する部分だけを自動で集めて、それを基に回答を組み立てる。 つまり人間が本棚全体を一冊ずつ読むのではなく、「この質問に関係ありそうな本だけを見繕う」という仲介役を AI にやらせるイメージです。 ただし似た内容の資料が増えると、「あ、これも関係あるな」と勘違いした断片も一緒に混ぜてしまう。だから、この論文は「各断片に札をつけておく」という工夫を入れることで、AI の検索精度を上げたということなんですよ。要は、資料の整理係が AI になってるわけです。

会社で ChatGPT に社内資料から情報を引き出させてる人たちって、今まではこの『混ぜてしまう』問題に気づいていたのかな？

気づいていた人と気づいていない人がいるんでしょうね。 社内資料が少ないか、内容がはっきり異なる会社なら、問題自体が顕在化しづらい。AI が引き出した情報が正しいかどうか、そもそも検証する習慣がないかもしれません。でも規模が大きい企業、特に製品ラインが多い会社や、似た契約書や仕様書が山のようにある部署なら、「あれ、これ前に読んだ別の製品の話では」という違和感は出ていたはずです。 実際には、気づいた人たちは対策を講じていた。資料を事前に整理する、質問を具体的にする、AI の回答を必ず原文で確認する。つまり余計な手間をかけていた。その手間が当たり前になっていたから、「これ、もしかしてAI側の問題では」と根本的に問い直す動機が生まれなかったのかもしれません。 論文がこの手法を提案した背景には、実務的なニーズがあったわけです。気づいていた企業の現場から「なんとかしてくれ」という声が届いていたんだろうと考えると、今まで多くの人が、問題に気づきながらも「仕方ない」と受け入れていたのかもしれません。

なぜ今になって、似た文書が混在する問題が深刻化してきたの？資料がデジタル化されて量が増えたから？

デジタル化で量が増えたというのは半分正解ですが、もっと直接的な理由があります。 従来の検索エンジン（Google検索など）は「キーワードマッチング」なので、似た文書が増えても困りません。ユーザーが「製品Aの返品方法」と検索すれば、そのキーワードを含むページを機械的に返すだけ。似ていようが関係ないわけです。 でも RAG は違う。ChatGPT のような生成 AI に「あなたが判断して、複数の文書から答えを組み立てて」と委ねる仕組みです。AI は「この質問に答えるのに、どの文書が関連性高いか」を自分で判定して、内容を混ぜながら回答を作る。ここで初めて「似た文書」が邪魔になるんです。同じテーマの資料が山ほどあると、AI は「どれが本当に今の質問に答えるやつなのか」を見分けられず、複数の文書の情報をごっちゃにしてしまう。 つまり、問題の本質は「生成 AI という判断を任せる技術」が登場したから。量の増加じゃなく、情報の扱い方が変わったことで、初めて「似た文書の区別」が経営課題になった、ということかもしれません。

これって、要するに『情報をタグ付けして整理する』という人間が昔からやってた方法を、AI の弱点を補うためにあらためて導入する、みたいな話？

その指摘、本質をついていますね。人間は昔からカテゴリ分けやタグ付けで情報を整理してきたのに、AI は大量のテキストをそのまま学習させるほうが強力だと思われていた。だからこそ、RAG という仕組みが登場したとき、「検索精度さえ上がれば、整理なしでも大丈夫」という楽観がありました。 でも現実は、AI も結局のところ「何がどこに書いてあるか」を知らないと迷う。その穴を埋めるために、CHOP は人間的な整理作業に戻っている。ただし完全に戻ったわけではなくて、その整理作業を AI に手伝わせるのが味噌です。人間が手作業でタグを貼るのではなく、テキストを細かく切ったうえで「この断片は何か」と判定させる。整理のプロセス自体を AI に学ばせる、という二段階になっている。 つまり「タグ付けという古い方法は正しかったが、それを人手でやるのではなく AI に補助させる」という折衷案に見えます。大規模データの時代に、秩序が必要になった、ということかもしれません。

精度が 91 パーセントってことは、9 パーセントは今でも間違った情報を混ぜてるってことだけど、それでも企業は『実用的』と判断するほど現状が悪いってこと？

現状がどれほど悪いかは、この数字だけでは見えにくいですが、企業の意思決定としては「91%」の改善が実用的だと判断するバーは、実は思ったより低いのかもしれません。 たとえば医療診断なら99%でも足りないとされますが、ビジネスの現場では違います。営業資料から製品仕様を引き出す、過去の提案書から類似案件を探すといった使い方なら、9%の誤り率でも「人間が最終チェックすれば足りる」と判断される。むしろ、AI検索がなければ膨大な資料の中から人間が手作業で探していたわけで、その手間を90%削減できるなら十分に価値があるという計算です。 もう一つは、現状がどこまで悪かったかの問題。CHOP導入前のRAGがどの程度の精度だったのか記事には書かれていませんが、もし50%とか70%だったとすれば、91%への改善は劇的です。また、似た文書が増えるほど悪化するという問題の性質上、何もしなければ企業の情報資産が増えるたびに検索精度は落ちていく。そこを抑止できる手法を手に入れることの価値は、数字以上に大きいのかもしれません。