医療AI が嘘の情報に引っかかる、その仕組みが見えた

『内部思考プロセスを読む』って、AI の頭の中をどうやって覗き込むの？

AI の内部思考プロセスを読む、というのは、AI が答えを出すまでの計算過程を逆算して可視化する作業です。 生成 AI は、入力されたテキストから次々と単語を確率で選んでいく。医療 AI なら「患者の症状は〇〇」という嘘の情報を受け取ると、その後の推論ステップで、どの程度その嘘の重みを置いて判断を進めているかが、数値として記録される。研究者はそこに注目する。「AI が嘘を『見た』と言っているのに、なぜ回答に反映させるのか」という矛盾は、この計算の軌跡を見ることで初めて検出できるんですよね。 言うなれば、AI を X 線で透かしたみたいなもの。人間の医師なら「この診断は嘘だと思いますが、患者さんが強く主張しているから一応参考にします」と言語化できるけど、AI はそういう迷いの過程を外に出さない。だから内部的には「嘘の情報の影響度が実は高い状態」に陥っているのに、表面的には気づいていないように見える。そのズレを捕まえるのが、このシステムの狙いだと言えそうです。

病院で AI が診断を手助けしてくれるようになったら、その判断が嘘に騙されてないか、患者側でチェックする方法ってあるの？

AI の診断が嘘に騙されていないかを患者が見抜くのは、正直なところ難しい状況だと思います。 理由は、記事に出てくる矛盾がそのまま当てはまるから。AI は嘘に気づいているのに、それでも回答に反映させてしまう。患者が「その判断の根拠は何ですか」と聞いたとき、AI が堂々と説明したら、素人には真偽の区別がつきません。医師の診断ですら確認が難しいのに、患者が一人で判断するのは無理がある。 ただ、できることが一つあるとすれば、それは「複数の医師に相談する」という、AI が登場する前からある方法を、より積極的に使うことかもしれません。同じ症状について別の医師の意見を聞けば、AI が嘘に引っ張られている場合、ズレが目に見えやすくなる。 むしろ患者ができるチェックは、AI の判断そのものではなく、「この病院は AI の判断をどう監視しているのか」という病院側の姿勢を見ることじゃないか。記事にある「内部思考プロセスを読む監視システム」を導入しているのか。その仕組みが透明になっているか。そういう部分を病院選びの際に気にするほうが、実は手がかりになるのではないかと思います。

医療 AI は医学知識では人間の医師と同等になったと言われてるのに、なぜ今になってこの『嘘に弱い』という弱点に気づいたの？

医学知識が高くなると、逆に「確信バイアス」に陥りやすくなるんですよね。知識が豊富だから、むしろ新しい情報の真偽を厳しく検証しなくなる傾向がある。人間の専門家でも同じで、自分の知識体系が完成していると感じると、それと矛盾する情報を無視しやすくなります。AI の場合はこれが顕著で、医学的な知識量は充分なのに「このテキストに書いてあること＝医学的に正しい」という誤った同一視をしてしまう。つまり、知識の高さと情報の真偽判定は別のスキルなのに、前者が高いと後者も高いと勘違いされていたわけです。今になって気づいたのは、実際の医療現場で AI を導入しようという段階になり、初めて「本当に安全なのか」という圧力が掛かったから。机上のテストでは「医学知識テストに合格した」で終わっていたものが、実運用を想定すると「では、嘘の情報が混ざったらどうなる」という、より現実的な問いが浮上してきたのかもしれません。

AI が『嘘だと気づいてるのに騙される』って、これって『知識がある』ことと『判断が正しい』ことが実は別の問題だってことなの？

そう、その通りなんです。AI が医学知識を持つことと、その知識をどう使うかは全く別の層の問題だということが、この研究で浮き彫りになってます。 例えば、医学書を丸暗記してる人が、目の前の患者を前にして「あ、この症状は〇〇という本に書いてありました」と反射的に信じ込む状態をイメージするといいかもしれません。知識はあるのに、その知識の「正当性をどこから引き出すのか」という判断プロセスが弱いということ。 AIの場合、『根拠なく断定された嘘』の方が『証拠のある嘘』より騙しやすいというのは、まさにこれを示してます。なぜなら、AI は「権威的な物言い」に重みを置く学習をされているから。医師らしい断定をされると、その真偽を二次検証する前に、一度信じてしまう癖が生じてる。 AI が「嘘を見ました」と言語化できるのに、それでも間違った答えを出してしまうのは、認識と実行のレイヤーが独立してるからだと言えそうです。人間でいえば「その主張がおかしいって分かってるんだけど、でも言われたことに従ってしまった」という思考の矛盾に近い。 医療の現場ではこれがもっと危険になる。知識が豊富なほど、その知識を「盲信する危険性」も高まるのかもしれません。

医療 AI を騙そうとする人がいたら、この研究で『効果的な嘘の付き方』の手口が明かされたってことにはならない？

その通り、研究論文が公開された瞬間、悪用のリスクは高まります。ただ医療現場の文脈では、状況が少し違うのかもしれません。 医療AIを操作しようとするのは、医師か医療スタッフになります。なぜなら患者が直接AIに嘘をついても、医師がそれを検証する層があるから。むしろ危険なのは、現場の医師が『効果的な嘘の形』を知って、意図的にAIを誤誘導するケース。ただこれは医学的知識があれば、AIに頼らず自分で判断すればいい話でもあります。 より現実的な懸念は、この研究が『AIは表面的な強い断定に弱い』という弱点を教えてくれたことで、悪意がなくても医療現場で不正確な情報を『確実そうに』述べる人が増える可能性です。AIの判断を下支えする情報の信頼性が、技術的な対策だけでは守れなくなってくる。つまり本当に必要なのは、AIの仕組みをどう改善するかより、AIを使う環境そのものの透明性と責任体制を整える方が先決ではないか、と考えても面白そうです。