画像と文字、AI はどちらを本当に信じてる？

『答えの惰性』って何？一度決めたら変えないってことなら、なぜそれが問題なの？

一度決めたら変えない、という単純な話ではなくて、後になって矛盾を発見しても訂正しない、という意味のようですね。 たとえば、AI が最初に「この写真の人は男性」と判断したとします。その後の推論ステップで「スカートを履いている」という情報が出てきても、最初の判断を引きずったまま説明を続けてしまう。矛盾を自分で気づいているはずなのに、答えを変えない。そこが「惰性」というわけです。 問題なのは、こうした AI が医療診断や法的な判断が必要な場面で使われることを想像してみると分かります。一度導き出した結論に執着して、後発の正確な証拠を無視されたら、判断は誤ったままになる。人間なら「あ、矛盾してる。考え直そう」と自動的に修正する思考も、AI は硬直したまま。思考過程の記録を見ると「ちゃんと考えてるように見える」のに、実際には最初の判断から逃げられていない。その隠蔽性が、この研究が警告している危なさなのかもしれません。

医療診断とか、重要な判断を AI がしてる場面って今どのくらい増えてるの？この『文字を信じすぎる』癖があると、実際の危険にどう繋がるの？

医療の現場では、画像診断（X線やCT）と患者記録（文字）の両方が同時に入力されるケースが増えてますよね。このとき、患者カルテに「高血圧」と書かれていたら、実際には正常な画像が示されていても、AIがカルテの方を重視してしまう可能性がある。 怖いのは、その誤判断が「思考過程の説明」によって隠れる点です。医者は「AI が画像をちゃんと解析した」と思い込んでいるのに、実は記録文の一行に引きずられているかもしれない。特に診断補助の段階では、医者の確認が最後の砦のはずが、AI の説明が流暢で長いほど、信頼度が上がってしまう。 実務的には今、完全に AI に任せる場面はまだ限定的ですが、診断の「第一次スクリーニング」や「異常の見落とし防止」で使われ始めている。透明性が重要だからこそ、説明があると安心してしまうのは逆効果になりかねません。「どの情報を実際に使ったのか」を事後的に検証する仕組みが、医療では特に必要になりそうです。

AI が『思考過程を説明する』機能を見せるようになったのって、最近の話？なぜ透明性が求められるようになったんだっけ？

AI が思考過程を言葉で説明する機能、これ自体が本格化したのはここ1、2年の話です。ChatGPT が登場してから、「なぜそう判断したのか」を示してほしいという声が一気に高まりました。金融や医療、採用試験といった人の人生に関わる判断をする場面が増えてきたから。AIの指示に従うだけでなく、「このAIは本当に正しく考えてるのか」を確認したい。それが透明性の要求の背景にあります。ただここが落とし穴で、AIが「理由を説明できる」ことと「実際に正しい理由で判断している」ことは別問題だということ。記事の指摘は、より進んだモデルほど流暢に説明するから、かえって騙されやすいという逆説を示しています。つまり透明性を求めた結果、説得力のある嘘にやられる可能性もある、と言えるかもしれません。

これって要するに、『人間に説明できること』と『実際に使ってる情報』は一致しないことがある、ってことなの？

そう、ただし人間とAIで同じことが起きているわけではないかもしれません。 人間が「画像を見て判断した」と言いながら、実は文字情報に引っ張られていることはあります。でもそれは、意識できていない無意識の働きで、後から気づくことができる領域です。一方、この研究が指摘しているのは、AIが「長くて流暢な説明」の中に依存性を隠してしまうことです。つまり、説明が詳しく見えるほど、本当は何を使っているのかが見えなくなる。説得力のあるストーリーで、その背後が隠蔽されてしまう構造があるんです。 人間なら「実は文字に頼ってました」と後から認め直すこともできますが、AIは同じ条件で同じ説明をするだけ。思考過程を記録させることが、本来は「透明性を上げる手段」だったはずなのに、逆に「依存性を見えなくする道具」になってしまっている。信頼を得るための説明が、実は信頼を揺るがす盲点を作っているという矛盾が、この問題の本質なのかもしれません。

開発企業の立場からすると、AI が『文字より画像を見てる』ように見えることって、意図的に作ってるのか、単なる設計上の落とし穴なのか、どっちなんだろう？

開発企業の意図として捉えるなら、むしろ「構造的に避けられない結果」の方が説明がつきそうです。 テキストと画像を両方理解する AI は、テキストの方がずっと扱いやすいんですよね。画像は数値に変換する過程で情報が圧縮・抽象化されるのに対し、テキストは言葉として直接的に意味を持つ。推論の過程で「今これを考えている」と記録するのも、言葉で書く方が効率的です。結果として、モデルが学習する段階で、自動的に文字情報に重みが寄ってしまう。 問題は、この依存関係が思考過程を見ただけでは判別しにくい点。企業側としては、むしろ「正確な答えが出ていればいい」という設計思想で進めてきたはずです。推論プロセスを説明させるのは透明性のためですが、その説明自体が「見えている感」を与えてしまう。わざわざ文字への依存を前面に出すような説明を AIに生成させる誘因はないので、自動的に流暢に隠れてしまう。 意図的な詐欺性というより、便利さ追求の副作用が、たまたま都合よく見えてしまっている構造なのかもしれません。