AIが「無関係な2つの事柄」を勝手に結びつける危険性

『埋め込み表現が似ていること』って、AIの内部では何が起きてるの？データをどうやって比較してるんだっけ？

AIが文章や数字を扱うとき、まずそれを「ベクトル」という矢印のような形に変換するんです。たとえば「コルチゾール値」と「株価」をそれぞれ、100次元とか1000次元の空間のどこかに置き換える。意味が似ていると判定されたら、その空間での距離が近くなるように学習されます。だから検索システムなら「意味が近い＝参考になるかも」で許されるけど、医療だと「距離が近い＝因果関係がある」と誤解されてしまう。医学知識がないAIは、ただその空間での幾何学的な距離だけを見てるから、何の根拠もなく「0.83」という数字を返してくる。個人の人生全体をグラフにした場合、誤った近さが連鎖的に波及してしまうのが怖いところで、その人の診療方針まで変わってしまいかねません。修正には「本来つながるべき関係」だけを使い直すことで、空間そのものの形を正しく再構成する必要がある、ということなのかもしれません。

自分の健康診断の結果とか通院履歴がAIで分析されるとき、こんな誤判定が起きてたら、医者の診断まで変わっちゃう可能性があるの？

医者の診断そのものが変わる可能性よりも、むしろ「診断の前に立てる仮説」が歪む危険の方が大きそうです。 AIが勝手に結びつけた因果関係を、医者が無意識のうちに「参考情報」として受け入れたら、患者の症状をどう解釈するかという最初の一歩が狂ってしまう。その上で医者が検査項目を追加したり、特定の薬を試したりするとなると、実は関係ない要因ばかり調べることになります。最終的な診断名は正しくても、「なぜその診断に至ったか」という推論プロセスが迷路を通ることになるわけです。 より怖いのは、個人の人生全体を学習したAIの場合、一度の誤判定が記録として蓄積される点です。「コルチゾール値と株価が関連している」という誤った結論が医学記録に紐付けられたら、それが次の医者の診断に引き継がれ、さらに次のAI判定に影響する。誤判定が誤判定を呼ぶ連鎖が起きかねません。こうなると、個人の医療記録全体が無関係な結びつきで汚染されていく危険がある、ということなのかもしれません。

医療AIはこれまで『検索補助』として使われてて問題回避できてたのに、なぜ今『個人の人生全体を分析するAI』へと移行してるの？

医療の現場では、検索補助で十分だった時代から、今「その人全体を見る」AIへと急速に移行してます。その理由は、データが手元にあるからです。 電子カルテの普及で、患者一人の医療履歴、検査結果、処方歴、入院記録が一つのファイルに集約されるようになった。これまでは、医者が「この患者さんについて検索してみよう」と必要に応じて調べるイメージでした。でも今は「この患者さんのデータセット全体から、隠れたパターンを見つけたい」という欲望が出てきている。 長期的に服用してる薬と、5年後の別の症状の関係性を見つけたい。仕事のストレスと体調の変化を自動検出したい。その人の「生活全体のグラフ」から、医者が見落とすパターンを抜き出す。これは検索補助では絶対にできない仕事です。 でも記事が指摘する通り、AIは無関係なものまで結びつける。人生全体を扱う以上、その誤りが単なる「参考情報の誤り」ではなく「その人の人生の誤診」になってしまう。精度0%の判定が、医学的決定に影響を与える危険がある。つまり、データがあるから進化できたのに、同じ理由で危険も深くなった、という構図に見えます。

これって『データが多いほど学習精度は上がる』という前提が、実は個人単位だと逆に働く可能性があるってこと？

正にその通りで、ちょっと皮肉な構図ですよね。 通常のAIは、大量のデータから「本当の法則」を浮かび上がらせるために、ノイズを統計的に消す。データが多いほど、その分布は正規化されて、真実に近づく。だからデータ量は報酬です。 ところが個人行動モデルでは、その人のデータこそが「全世界」になる。その人の人生記録が100件あれば、それが100%の母集団。そこで「コルチゾール値が高かった日」と「株を買った日」が偶然重なれば、AIはそれを関連性の証拠と見なしてしまう。むしろデータが多いほど、無関係な出来事同士のたまたまの一致が増えて、誤った因果関係が固まってしまう。 大規模データなら統計的ノイズとして吸収されるものが、個人スケールでは「その人の人生の真実」として学習されてしまう。個別化が進むほど、パターン認識の罠が深くなる、という逆説のようなものです。つまりビッグデータの時代のAIが解いた問題を、パーソナルAIが改めて作り直してしまってるのかもしれません。

この誤判定のせいで『患者が本当は関係ない治療をされる』という被害と、『AIの改善で診断精度が上がる』というメリット、どっちが大きいんだろう？

実装されたシステムがまだほぼないところが、答えそのものなんだと思います。 記事を読む限り、この「個人行動モデル」はまだ研究段階。臨床導入されていないようです。だから「患者が実際に無関係な治療をされている」という被害は、いまのところ起きていない。つまり、被害とメリットを天秤にかけるより前の段階なんですよね。 むしろ考えるべきは、導入時に何が起きるかという予測の話。医療AIは検索と違って、誤判定が直接、診療の意思決定に入り込みます。たとえ精度が2倍になったとしても、なお0.76などの「無関係なのに似た値」が返される。医者はそれを見て「あ、この患者のこの症状と、あの出来事が関連してるのか」と思ってしまう可能性がある。人間は、AIが大きな数字を返すと、つい信じてしまうものです。 だから問題設定そのものが「メリット vs 被害」ではなく、「実装する前に、フィルターをどこまで強くするか」という段階の議論になっていくのだと考えられます。