医療AI、正しさと『確信度』の両立は可能か

『確信度』って、AIが自分の判断にどのくらい自信を持ってるかを数値化したものなの？

正確には「自信」というより「根拠の強さ」を数値化したものと考えると、実感に近いと思います。 AIが医療事故を「危険」と判定するとき、その判断の背景には確率が隠れています。例えば「この症状パターンは過去データの中で『危険』に分類されたケースと90%似ている」という数値。これが確信度です。ただしここが重要なのですが、AIが高い確信度を出しているからといって、その判断が正しいわけではないんですよね。 研究で浮かび上がった逆説がまさにそこで、大型のAIは珍しい事故パターンに出くわすと「見たことない」という曖昧さを自覚せずに高い確信度を出してしまう。小型のAIは「この類似度は低いから、自分の判定は怪しいかもしれない」と正直に低い確信度を出す傾向があったということです。医者の立場では、確信度が高いAIより、自分の限界を知っているAIの方が、むしろ使いやすいということになる。判定の正確さと「その判定がどこまで信頼できるのか」は、思ったより独立した問題なのかもしれません。

病院で医者がAIの診断に頼るときって、精度が高いだけじゃなくて『AIが確信してるかどうか』も見てるってこと？

医者の立場で考えると、そうなりますね。精度だけでは判断できない場面が医療には多い。 例えば、一般的な病気の診断なら精度95%のAIでも構わない。でも「この患者は珍しい症状だから、ここは自信を持つべきでない」という場面では、そのAIが「85%の確信度」と正直に報告してくれることが、医者の判断材料になります。逆に、精度が98%で高いのに、実は判断根拠が薄い場合、医者は根拠なく信頼してしまう。これは危ない。 この研究が面白いのは、大型AIが「珍しい事故は分類できるけど、自分の確信度を過信する」という矛盾を指摘したところです。つまり、性能と正直さは別の能力だということ。医療現場では、AIが「ここは自信がない」と言ってくれることで初めて、医者が「では別の検査をしよう」と判断できる。自信ありげに言ってくる高性能AIのほうが、実は危険かもしれないわけです。医療でAIを使うなら、信頼度も一緒に読むのが当たり前になっていく可能性が高そうです。

医療AIの判断を信頼するために『確信度の測定』が最近になって重要視されるようになったのって、何か事故や問題があったからなの？

医療現場でAIが使われ始めたのはここ数年で、実装が進むにつれて「精度が高いなら大丈夫」では済まない現実が見えてきたんだろうと思います。 具体的な大きな事故が記事に明示されていないので、背景を補えば、医療AIの失敗の多くは「間違った判断を自信満々でする」という形をしてるはずです。例えば、AIが稀な病気の画像診断を間違えて「異常なし」と判定したとき、その根拠が弱いのに強く言い張ってしまったら、医者の判断も揺らぐ。従来のテスト方法では精度の数字しか見えないので、そこに潜んでいる「過信」を検出できなかった。 だから「正確さ」と「自分がどのくらい確信しているか」を分けて測ることが必要になった、という流れなのかもしれません。医療は判断ミスの代価が大きい領域だからこそ、AIの信頼度をより厳密に評価する仕組みが求められるようになってきたのではないかと考えられます。

大きなAIほど確信度を過信しちゃうって、要するに『性能が上がるほど自分の限界が見えなくなる』っていう人間と同じパターンなの？

表面的には似ているけれど、根っこは違う問題なんだと思います。 人間が自信過剰になるのは、多くの経験を積むことで「この状況は大丈夫」という直感が研ぎ澄まされる一方で、その直感がときに外れることへの自覚が薄れるからです。つまり、成功体験が限界の自覚を奪う。 大型AIが確信度を過信するのは、むしろ訓練データの構成の問題らしい。珍しい事故ケースはデータが少ないから、AIはそれをどう分類するか学んだことがない。なのに、一般的なパターンに何とか無理やり当てはめて「これです」と言い張ってしまう。モデルが大きいほど、データの空白を埋める能力（外挿能力）が高いため、見たことない状況でも確信度が高くなりやすいんです。 要するに人間は「得た知識で自分を過信する」のに対し、AIは「得られなかった知識を埋める能力が高すぎて、その埋め方に確信を持ってしまう」という別の仕組み。医療現場では前者より後者のほうが危ないのかもしれません。見た目は自信満々でも、実は根拠がない領域に足を踏み入れてるわけですから。

小型AIは確信度が正確だけど判断が間違ってるパターン、大型AIは確信度が高いのに間違ってるパターン、どっちが医療現場では危険なの？

医療の現場では、危険の質が違うんですよね。 大型AIの「確信度が高いのに間違っている」方が、より厄介な気がします。なぜなら、医者は「このAIは80%の確信度で危険と判定した」と聞かされたら、その情報を疑う余地がある。確信度という数字があることで、「本当にそうか、もう一度確認しよう」という防御的な思考が働く可能性があります。 一方、小型AIが「正確さと確信度のバランスが取れている」というのは、実は言い換えると「間違えるときは自信がない」ということでもあります。医療現場の判断では、そうした慎重な姿勢が意思決定を支える情報源になる。 問題は、大型AIの過信。高い確信度で示された判定は、医療現場では強い説得力を持つ。だからこそ「珍しい事故は分類が上手い」という強みの背後にある「確信度の過信」が、検証なく受け入れられてしまうリスクが高い。医者も管理者も「これなら大丈夫だろう」と線引きをしてしまう。その方が、人命にかかわる事故につながりやすいのかもしれません。