がん治療のAI判断、『なぜそう判断した？』が証明できるか

『Integrated Gradients』とか『DeepLIFT』って、AIが判断した『理由』をどうやって説明する方法なの？

医者に「このAIの判断、何に基づいてるのか」と示すために、AIが見た画像のどこに注目したのかを可視化するんです。 たとえば患者のCT画像を入力したとき、AIは「この部分の濃度」「この領域のサイズ」といった複数の情報を組み合わせて判断しています。でも通常は、その過程が真っ黒なブラックボックス。どの画像領域が最終判断に効いたのか、強さはどうか、医者には見えない。 Integrated GradientsやDeepLIFTは、その「どこに注目したか」を数値で逆算し、元の画像上に色付けして見せる手法です。腫瘍の輪郭が赤く光る、リンパ節の領域が黄色くなる——そうすると医者は「ああ、AIはそこを見て判断したのか。それは医学的に筋が通ってる」と納得できるわけです。 違いは細かい計算方式ですが、要は「どの情報が効いたか」を医学的に説得力ある形で示せるかどうか。13種類試した結果、この2つが「ごまかしが少なく、医学知識と齟齬しない説明」をできていたということなのだと言えそうです。

自分が頭頸部がんの患者だったら、治療法を決めるときにAIの説明を聞かされることになるってこと？

今のところはそこまで直結しない可能性が高いです。この研究は「医者がAIを信じるか」という段階で止まっていて、患者さんまで説明が降りてくるのはもう一段階先の話になりそうです。 医者の立場では、AIが「この治療法がいい」と言ったとき、その理由を理解できなければ採用できない。だから「どの画像部位を見て判断したのか」「他のケースとの違いは何か」といった根拠がクリアに見える説明手法が必要になる。それが今回の研究です。 ただ、患者さんに対しては、医者は従来通り「あなたの検査結果から見ると〇〇治療が最適」と自分の言葉で説明することになるでしょう。AIの存在すら知らされないケースもあるかもしれません。 むしろ意味があるのは、患者さんが「複数の病院で診てもらいたい」と考えたとき。異なる医師の判断が一致するなら、AIも医者も同じ根拠で同じ結論に至っているということになって、その治療法への信頼度は上がるはずです。患者さんは直接AIの説明を聞くというより、医者たちの一致という形で間接的にAIの客観性の恩恵を受けることになりそうです。

これまで、AIが医療判断をするときに『根拠を説明する方法』って確立されてなかったってこと？

医療の現場では、ずっと「医者の判断に理由がある」が当たり前でした。患者に聞かれたら、医学知識と経験に基づいて説明できる。でも AI の場合、内部で何千万のパラメータが複雑に絡み合って答えが出ているので、「なぜこの判断？」と聞かれても、開発者でさえ明確に答えられないことが多かったんです。いわば「判断の理由が、説明不可能」という状態だった。だから精度が高くても、医者が納得して使うための説明手法が必要だったわけです。 実は説明方法自体は存在していました。でも十数種類あって、どれが医療現場に向いているのか、誰も体系的に比較していなかった。この研究は「医学的な信頼性」という医療固有の評価軸を持ち込んで、初めて統一比較した。その結果、2つの方式なら医者が納得しやすい形で根拠を示せることが分かった。つまり「説明できるようにする」から「医者が信頼する説明ができるようにする」へと、ようやく一歩前に進んだと言えそうです。

つまり、これって『プロが使う道具は、プロが納得できる形で理由を言えなきゃ使い物にならない』という話なんだっけ？

その通りですが、ちょっと視点を足すなら「医学という領域の特殊性」が透けて見えてくる話でもあります。 AIが高い精度を持っていても、医者が患者さんに「このAIが言うから」と説明するわけにはいかないですよね。患者さんは「で、先生はどう判断してるんですか」と聞き返すはず。つまり医者は、AIの判断を理解し、自分の医学知識と照合して、初めて患者さんの前で責任を持って発言できる。その確認作業が成立しないと、AIは単なる「数字を吐き出す機械」のままです。 これは、精度の問題ではなく「説明責任の構造」の問題。CADソフトが「この寸法にしろ」と言ってきても設計者が納得できる理由を見られなければ使い物にならないのと似ています。ただ医学の場合は、その先に患者さんの人生がかかってる。だから説明の透明性が、単なる信用の問題ではなく、倫理として必須になるということなのかもしれません。

もし医者がAIの説明を聞いても『それでも信用できない』と判断したら、その医者の直感と、AIの判断が対立したときは誰の判断を優先するの？

医者の直感とAIが対立したときの判断は、実は「どちらかの一方を選ぶ」という単純な構図ではないのかもしれません。 この研究が目指しているのは、AIの判断を丸ごと医者に任せることではなく、医者がAIを検証できる環境をつくることです。説明が透明になれば、医者は「このAIの根拠は、この患者の場合は当てはまらない」と判断できる。つまり、医者が説得力のある説明を聞いたうえで、それでも異議を唱えるなら、その医者の判断の方が信頼度は高いはずです。 むしろ厄介なのは、AIが根拠を示せない状態。そのときは医者も「何を信じたらいいのか」分からないまま使い続けるリスクがあります。説明可能なAIは、医者が「ここは私の経験の方が正しい」と判断する権利を取り戻させるツールでもあると言えそうです。 医療の世界では、最終的な決定権は常に医者（と患者）にある。AIはその判断を助ける材料になるだけで、AIが医者を支配することはないのかもしれません。