AI の学習を妨害する新しい手口――ハードウェア脆弱性を悪用した攻撃

「連合学習」って、複数の企業が手をつなぐというけど、具体的には何をどう共有してるの？

連合学習の核は「モデルの重み」だけを交換することなんです。 通常の AI 学習なら、企業 A が「顧客データ 100 万件」をサーバーに集めて、そこで一気に学習させます。でも連合学習は逆。企業 A、B、C がそれぞれ手元で学習を進めておいて、その結果だけ集約するんです。 具体的には、各企業が手元のデータで学習させたモデルのパラメータ（数字の集合）を中央サーバーに送る。サーバーはそれらを平均化して、また全員に返す。この往復を繰り返すことで、誰もデータそのものを見せずに、全体として強いモデルが育つ。銀行や病院のように、データを出せない業界には理想的ですよね。 だからこそ脆弱なんです。中央サーバーには「モデルの重み」という、学習の結果そのもの（数字の羅列）しか見えない。その数字が悪意ある企業によって細工されていても、数字だけでは判別がつきにくい。記事の攻撃は、その目利きの甘さを突いている。データじゃなくてパラメータ交換だから安全だと思われていたのに、実は攻撃の入り口になってたというわけです。

企業や病院が共同でAIを作ってるってことは、自分たちが預けてるデータも影響を受ける可能性があるってこと？

データそのものが盗まれたり改ざんされたりするわけではないので、その心配は直接的ではありません。ただ、あなたの指摘は本質的です。 ここで起きるのは「モデルの乗っ取り」。攻撃者が共同学習に参加すると、完成したモデルに裏口を仕込みます。そのモデルがあなたの病歴データで学習していても、データ自体は安全なまま。でも完成したモデルは、特定の入力に対してだけおかしな判断をするようになっている。 たとえば医療診断なら、ふだんは正常に動くけど、攻撃者が「あの患者をAIに誤診させたい」と決めて特定の条件を入力したときだけ、見当違いの診断を出す。そういう仕掛けが入ってしまう可能性がある、ということです。 怖いのはその「見た目の正常さ」。従来の攻撃なら、侵入した痕跡や大規模なエラーで気づかれやすい。でもハードウェアのバグを悪用する手口は、わずかな数値の改変だから、検証をかけてもなかなか見つからないかもしれません。自社データが無事だからといって、安心して使っているモデルが実は改ざんされていた、という事態もあり得るのかもしれません。

AI の訓練中に『裏口』を仕込む攻撃は、以前は別のやり方で行われてたのか、それとも完全に新しい手口なのか？

AI モデルへの「裏口」攻撃自体は、以前からあったんですよね。訓練データを毒づけたり、モデルの重みを直接改ざんしたりする手法は既に知られていました。ただし、それらは比較的「目立つ」攻撃でした。データを改ざんすれば痕跡が残りやすいし、重みを大幅に変えればモデル全体の性能が落ちて気づかれてしまう。 今回発見されたハードウェア脆弱性を使った手口の新しさは、「ほぼ痕跡を残さない」という点にあります。メモリのバグを利用するから、改ざんの跡も証拠も残らない。それでいて、わずかな数字の変化で狙った裏口を仕込める。共同学習という「参加者が多くて監視が難しい」環境で、短期間に成功率 94% という高確率で機能する。つまり、検出が極めて難しい新しい穴が見つかったわけです。セキュリティ業界では「既知の脆弱性を未知の方法で悪用する」という事例が多いですが、これもそのパターンに見えます。古い危険性が、新しい形で牙を剥いたと言えそうです。

これって『大勢で力を合わせるほど、一人の詐欺師が混じると被害が大きくなる』っていう、仕組みそのものの問題なのか？

その通りで、仕組みの根本に関わる問題なんですよね。 連合学習は「参加者みんなが善意」という前提で成り立っています。だから検証がゆるい。個別に訓練されたモデルを集めて平均化するだけなので、その過程で「この数字はおかしくないか」という厳密なチェックが入らない。 10個程度のメモリバグなら、ノイズとして埋もれてしまうわけです。むしろ参加者が増えるほど、一人の異常値を検出しにくくなる。大勢の声に紛れるイメージです。 ただここで面白いのは、これは連合学習だけの問題ではないということ。データを共有しない仕組みそのものが、実は相手を信頼する以外に検証手段を持たないという構造になってる。暗号学的な検証や、モデルの内部を監査する技術はまだ確立されていないんです。 つまり「大人数だから安全」という安心感の裏では、実は一番ぜい弱になってしまってる側面があるのかもしれません。

攻撃側は 19 回も参加できるわけだから、『悪質な参加者をどうやって見つけるか』が防ぐ側の課題なんじゃないの？

その視点は確かに合理的に見えるんですが、実は「19回参加できた時点で、すでに手遅れ」という構造なんですよね。 共同学習の強さは、参加者が多くて、やりとりが頻繁なほど、モデルが強くなることです。逆に言うと、その「頻繁さ」こそが攻撃者にとって格好の隠れ蓑になる。19回の参加なんて、100人の組織が週1回学習をすれば、5ヶ月もあれば誰もが達成できます。悪意のある参加者を「後から特定する」という防ぎ方は、攻撃者が既に裏口を完成させた後の話なんです。 むしろ防ぐ側の課題は、「参加者を信用する仕組みをどう設計するか」の方が本質的かもしれません。たとえば、提出されたモデルの更新が正常な範囲内かを事前にチェックする、参加者ごとに隔離された環境で検証するなど。悪質な人を見つけるのではなく、最初から「異常な動きが起きたら自動で遮断される仕組み」にシフトさせる必要がありそうです。