AI は問題を『見つける』ことができるか

『ベンチマーク』って、AIの性能を測るときの共通のテスト問題みたいなもの？

ちょうどそれです。ベンチマークは、複数の AI を同じ物差しで測るための統一されたテスト課題のセット。建築現場で「この壁はレベル 0 を基準に何センチ高いか」を測るときの「レベル」みたいなイメージですね。 この記事の場合、223 個の実務場面がベンチマーク。経営交渉や医療現場といった「複雑な状況で本当に何が問題か見分けられるか」という、これまで誰も統一的には測ってなかった領域を測った。だから「新しいベンチマーク」と呼んでいるわけです。 重要なのは、ベンチマークがあると初めて「AI の弱点」が可視化される点。もし各研究者が独自の問題だけで試していたら「ChatGPT は問題を見つけられない」という発見は生まれなかった。統一されたテスト問題だからこそ、「知識がある」と「状況判断ができる」の落差が浮き彫りになったと言えそうです。

AI がこんなに問題を見つけられないなら、医師や弁護士の仕事に使われてるAI は大丈夫なの？

医師や弁護士の実務で使われている AI は、実はもっと限定的な役割に留まっているのかもしれません。 医療診断 AI の多くは「既に疑われている病気の確度を高める」という使われ方をしています。医師が「この症状なら〇〇か△△だろう」と候補を絞った後、画像解析や検査データの読み込みを任せるイメージ。問題を自分で見つけるのではなく、人間が用意した枠組みの中で答えを精密化する。弁護士向けの契約書チェック AI も同じ構造。膨大な文面から条項を自動抽出するのは得意ですが、「この条件って実は危険じゃないか」という本質的な問題発見は、やはり人間が最終判断を下しています。 今回の研究が測定したのは「何も教えずに生のデータから問題を見つけられるか」という、極めて高度な要求です。実際の医療や法務では、人間がある程度の構造を与えた上で AI に細部を検証させる。つまり、問題発見の難しさを最初から人間が引き受けているから、うまく機能しているんじゃないでしょうか。その層が AI に丸投げされたら、記事の 27.9% という結果が顔を出すことになる、と言えそうです。

これまで AI は『解く力』がすごいって言われてきたけど、実際の仕事では『見つける力』が先にいるって、今まで気づかなかったの？

実は気づかれていたんですが、測れなかったんです。 AI の「解く力」が高いことは、テストで検証しやすい。数学の問題、翻訳、文章生成。 正解が明確に存在する課題なら、スコアで比較できる。 だから企業も研究者も、そこに注目してきた。 一方「問題を見つける力」は、測定が難しい。 実務の現場では、契約交渉での陥穽、医師の誤判断、組織内の齟齬など、 複雑で文脈に左右される場面ばかり。 どう点数化するか、そもそも「見つけられた」をどう定義するかが曖昧だった。 この研究が 223 個の実務的なケースを集めてベンチマークにしたことで、 初めて「見つける力」を定量的に測定できるようになったわけです。 興味深いのは、AI が知識として持ってる答えを引き出すと正解するのに、 生データから自分で判断させると失敗する点。 つまり AI は「教えられた枠組み」の中では動けるけれど、 状況そのものを読み取って枠組みを選ぶプロセスが弱い。 いままでは「解く力の高さ」に目を奪われて、 その前提段階の問題設定能力の差に気づきにくかった、ということなのかもしれません。

要するに『正解を選ぶときは得意だけど、そもそも何が問題かを判断するのは弱い』ってこと？

そうですね、ただそれより一段深い話が隠れてるように思えます。 AI が「正解を選ぶ」と「問題を見つける」で力が変わるのは、 単なる得意不得意の違いじゃなくて、 タスクの構造が根本的に違うからなんです。 正解を選ぶというのは、枠組みが与えられた状態。 「AとBとCの中から選べ」という制約の中で、 パターンマッチングと確率で答えを絞り込める。 AI はこれが得意。 でも問題を見つけるというのは、 そもそも「何を見るべきか」が不明なんです。 経営交渉なら利害関係の複雑さ、医療なら症状の非典型性、 組織内の対立なら隠された動機... こうした『見えない制約』を読み取る必要がある。 AI は知識として「ゲーム理論」を知ってる。 でも目の前の現実が「ゲーム理論の問題として見える」か判断するまでの、 その『見立てるプロセス』がないのかもしれません。 人間は経験や直感から「これはこの種類の問題だ」と一瞬で枠を引く。 その枠があるから知識が活躍する。 AI にはその『枠を引く感覚』がまだ備わっていない、と言えそうです。

知識はあるのに状況に当てはめられないってことは、逆に人間が AI に勝ってる部分ってこういう『柔軟な判断』なんだってことが見えてきた、ってこと？

確かに見えてくる部分ですね。ただ「人間が勝ってる」と単純には言えない気がしています。 人間だって、知識を状況に当てはめるのは得意ではないんです。医者も営業マンも、知識があっても現場で判断を誤る。むしろ研究が指摘しているのは、AI の問題というより「知識と判断の間には、何か別のスキルが必要だ」ということなのかもしれません。 人間が得意に見える部分を掘ってみると、それって「知識を使う前に、そもそも何が起きているのかに気づく力」なんですよ。患者の隠された情報、契約書の危険な条項、組織内の利害衝突。こうした『見えにくい事実』に気づこうとする観察力や疑問を持つ癖のようなもの。知識を当てはめるのではなく、むしろ「当てはめるべき知識が本当に必要なのか」すら問い直す過程にあるように思えます。 つまり人間の強みは「柔軟性」というより「問題意識を持ち続ける執着」や「不確かさを許容する忍耐力」のほうが近いのかもしれません。