脳神経外科の手術支援AI、予想外の危険性が浮き彫りに

『深刻なリコール』って、具体的には患者さんに何が起きたってことなの？

「深刻なリコール」の定義は、実は患者が受けた害の大きさではなく、**装置の不具合がどれだけ危険な状態か**という技術的な分類なんですよ。 具体的には、脳神経手術のナビゲーション装置が患者の脳の座標を1ミリずれて表示するとか、腫瘍の位置を誤認識するとか、そういった「起こりうる害の可能性」の大きさで判定される。だから「深刻」と判定されても、実際には医師が気づいて修正したり、幸運に害が出なかったりすることもあります。 逆に「深刻ではない」と分類された不具合でも、患者が実際に神経障害を負うケースもあり得るということ。記事が指摘する怖さはここにあって、FDA の事後監視では、その不具合がどの患者にどういう害をもたらしたのか、完全には追えていない可能性があるということなんですよね。 つまり、患者さんに何が起きたか、その全容は記録に残っていないのかもしれません。

脳神経の手術を受けることになったら、このAIの不具合のリスクをどうやって知ることができるの？医者に『このソフト、リコール出てませんか』って聞いていいもの？

患者側が不具合情報にアクセスするのは、現状かなり難しいんですよ。FDA の記録は公開されていますが、それを検索して「この装置、リコール履歴はあるか」と調べるのは医学知識がないと困難です。何より、手術を決める段階では時間がなく、そこまで掘る余裕もない。医者に直接聞く選択肢は、実はアリだと思います。ただし有効性は医者次第。多くの医者は「確認したことがない」か「記録を把握していない」かもしれません。なぜなら、医療現場では「このソフトは FDA 承認済みだから安全」という前提で動いているから。記事の本質的な問題はここにあります。リコール件数が増えているのに、その情報が患者にも医者にも十分に伝わらない構造になってる。医者に聞くのは意味がないわけではありませんが、医者が正確に答えられない可能性もある。セカンドオピニオンを取って、別の医者がどんな装置を使う手術を薦めるのか聞いてみるのも、情報収集の一つの手になるかもしれません。

なぜ2017年と比べて最近、深刻なリコール件数が増えてるんだろう？AIの導入が広がったから問題も増えてるってこと？

AIの導入が単純に増えているだけなら、むしろ技術が成熟するにつれて不具合は減るはずです。現実と逆になってるのは、別の理由があるのかもしれません。 一つの見方は、脳神経外科の手術支援という領域そのものが急速に複雑化してる最中だということ。2017年当時は個別のソフトウェアが比較的シンプルだったものが、今は複数のAIやセンサーシステムが手術室で連動して動く環境になった。ネットワーク化が進むほど、思わぬ相互作用から生まれる不具合も増えやすくなります。 また、記事に書かれた「リコール後も10000件以上の不具合が報告」という点は重要です。深刻なリコールが増えてるというより、実は問題が顕在化しやすくなってるだけかもしれません。医療現場でのデータ報告システムが整備され、以前は見過ごされていた小さな異常も記録されるようになった。そのせいで「最近、深刻な案件が多い」という印象が生まれてる可能性もあります。 つまり、AIの暴走が本当に増えているのか、それとも検出精度が上がってるだけなのか、まだ区別がついていない段階にあるのかもしれません。

これって『新しい技術は便利だけど、市場に出す前の検査が不十分で、患者が人柱になっちゃう』っていう医療業界全体の課題なの？

医療業界全体の課題というより、**AIやソフトウェアに特有の問題**という見方ができそうです。 従来の医療機器なら、物理的な構造がはっきりしているので、市場前テストである程度の不具合は見つかりやすい。でもソフトウェアは、実際の手術室という複雑な環境に置かれて初めて予期しない挙動をする。データの入力パターンが数百通りあれば、全部テストするのは現実的じゃない。だからリコール後も不具合が報告され続けるんです。 さらに厄介なのは、医療機器の認可制度がソフトウェアの更新速度に追いついてない点。従来機器なら「認可→市場投入→終わり」でしたが、ソフトウェアは常に改善される。なのに改善版が出るたびにFDAの再認可が必要なわけでもない。つまり、バグ修正と機能追加の線引きが曖昧なまま、患者がいる環境でアップデートが重ねられてる可能性があります。 新しい技術だから検査不十分というより、**ソフトウェアという「完成しない製品」を医療に入れた時点で、根本的な制度設計の矛盾が露呈した**、と言えそうです。

リコール後も10000件以上の不具合が報告されてるってことは、『回収・改善した』ことになってても実は直ってないってこと？それとも新しいバージョンでも同じ問題が起きてるってこと？

実は両方、という複雑な構造になってるんですよね。 リコール後の10000件という数字、これは「回収・改善したのに直ってない」というより「改善版が市場に出た後も、別の不具合が報告され続けてる」という意味が大きいと考えられます。ソフトウェアの場合、一つの問題を修正すると、その過程で新しいバグが生まれることがある。脳神経手術という極度に複雑な領域では、修正による予期しない副作用が起こりやすいのかもしれません。 ただ、より本質的な問題は、リコール前後で「検査体制そのものが変わってない」可能性です。FDAの監視の目が入った後も不具合報告が同じペースで上がってくるなら、実運用での問題の発見メカニズムが整備されていないということ。つまり、外科医たちが報告義務を果たしているから数字に見えているだけで、報告されない問題もあるかもしれない。 医療機器は一度世に出るとアップデートが難しく、医師たちもそのソフトに頼りながら手術を続けなければならない。その葛藤のなかで、改善のサイクルが追いついていないような状況に見えます。