AI は複数の画像を組み合わせて考えられるか？オリンピック級の難問で試す

『OMIBench』って何？新しくできたテスト方法なの？

OMIBench は、AI が「複数の画像を組み合わせて考える力」を測るために新しく作られたテスト方法です。 従来、AI の性能を測るテストは「1枚の画像から情報を読み出す」という単一タスクが中心でした。ただ現実の問題は違う。化学の実験レポートなら、装置の図と数値データと理論の説明が、バラバラのページに散らばっている。人間はそれらを無意識に脳の中で統合して答えを導き出します。 OMIBench は、その統合力を厳密に測りたいという動機から生まれた。数学オリンピックや国際化学オリンピックのような難問を集めて、複数の画像に情報を分散させ、「つなぎ合わせられるか」を評価する。いわば AI の「パズル組み立て能力」を問うているわけです。 結果として最強の AI でも5割程度の正解率に留まった。これは、現在の AI が情報の「統合」という段階で躓いていることを意味します。単一の画像なら得意でも、複数の証拠を戦略的に結びつけるのは別の難しさがあるのかもしれません。

複数の画像を組み合わせる力が低いって、ChatGPT で家計簿の写真と領収書の写真を同時に見せても うまく処理できないってこと？

家計簿と領収書の例なら、実は結構うまくいくと思います。単純な照合作業だから。でも「複数の画像から推理する」という点では、難易度がぐっと上がるんですよね。 例えば、家計簿に「食材A・B・C」と書いてあって、領収書に「1000円」と書いてあるだけの場合、「どのレシートがどの行と対応するのか」という直接的な関係を見つけるのは得意です。画像1と画像2を並べて「これとこれが合致した」と判定する程度なら、今の AI にもできる。 OMIBenchが測ってるのは、それより先の段階。物理の問題で「グラフ1に速度が書いてあり、図2に衝突時刻が示され、表3に質量が記載されている」とき、「この速度とこの時刻を使って、この式に当てはめる」という戦略的な思考です。画像同士の関係を単に見つけるのではなく、情報の優先順位をつけ、どれを先に使うべきかを判断して、初めて答えにたどり着く。その推理のプロセスが、AI には難しいということになります。 日常の事務作業ならまだ大丈夫ですが、複雑な問題解きの領域では、まだ人間の思考に遠く及ばないということなのかもしれません。

AI が『1枚の画像は読める、でも複数の画像はダメ』って、今までなぜ気づかれてなかったの？

実は、気づかれていたんですよね。ただ、測られ方の問題があった。 AI の能力を測るベンチマークって、これまで大きく二つ。 一つは「単純な画像認識」系で、ネコの顔を見つけられるか、物体を分類できるか。 もう一つは「推理・推論」系で、テキストだけで複雑な問題を解かせる。 複数の画像を組み合わせて考える力は、その間にあるんですよ。 単純でもなく、テキストだけでもなく。 だから既存のベンチマークでは「測りようがない領域」だった。 加えて、実務的には、そもそも「複数の画像を入力する」という使われ方が、テキストだけの利用に比べて限定的だったという側面もあります。 ChatGPT だって去年今年で画像認識が追加されたばかり。 ユーザーも開発者も、「複数の画像を同時に扱う」という想定をそこまで強くしていなかった。 でも現実は、研究論文もレポートも、情報が分散しているんですよね。 そこに気づいて「ちゃんと測ってみようか」と立ち上がったのが、この研究という感じです。 見落としというより、測る優先順位の問題だったのかもしれません。

これって結局、AI が『情報を並べる』ことはできても『情報と情報の関係を推理する』ことがまだできない、ってことなの？

本質をついてる指摘です。ただ、もう少し細かく分けると見えてくることがあります。 AI は情報の「関係」を全く認識できていないわけではなくて、むしろ「複数の情報源から同時に関係を引き出す」という作業が苦手らしいんですよね。1枚の化学実験図なら、その中の各要素の関連性は読み取れる。でも、3ページ離れた装置図とデータ表のあいだに「この装置がこのデータを生み出した」という因果関係を結ぶ跳躍が難しい。 人間の脳は、バラバラの情報を見た瞬間に「あ、これ同じ実験の話だ」と文脈で一度つなぎ直してから、その中で関係性を探ります。AI はそのつなぎ直しの段階を飛ばして、各画像から読み取った情報をそのまま処理しようとしているのかもしれません。 だから正解率5割という結果は、AI が「関係推理の基本は動いてるけど、情報が散らばった瞬間に推理の精度が崩れる」という限界を示しているのかもしれません。一つの枠の中での思考と、複数の枠にまたがった思考は、実は別のスキルなのかもしれません。

オリンピック級の難問で5割正解ってことは、逆に『単純で情報がまとまってる問題』なら AI の方が人間より得意なのかな？

その通り、ほぼそういう構図になってますね。AI が得意なのは、情報が一箇所にまとまっていて、パターン認識で答えが出る問題。医学画像の診断や、大量のテキストから特定の情報を抽出する作業なら、人間より正確で速い。 ただ「単純」と「複雑」の分け方は、実はもっと細かいんです。この記事の本当の指摘は、情報が分散してるか一箇所かではなくて、『それらをどう組み立てるか』という戦略が必要かどうかということ。オリンピック級の問題は、ページAのグラフとページBの数値を見比べて「ああ、これは矛盾してる」と気付き、別の仮説を立てる—みたいな、柔軟な思考の切り替えが求められる。一方、単純な問題でも、情報が複数ページに散らばってたら同じ難しさが生じる可能性がある。つまり、AI が苦手なのは『分散』ではなく『推理の階段を上ること』なのかもしれません。