AI を危険にする3つの方法、同じ結果でも内部は全く違う

『拒否機能を外科手術のように切除する』って、AIの何を削ってるの？単に『危ないと判断する部分を取り除く』ってこと？

「危ないと判断する部分」というより、AIが学習中に形成した安全性の判断基盤そのものを削り取っているんですよね。 言語モデルの内部は、ニューロン間のつながりの強さ（重み）でできています。安全な応答をさせるチューニングを施す過程で、そういう「安全性に関わる重みの配置」が無数に散在して形成される。それを「拒否機能」と呼んでいる。外科手術のように切除する、というのは、その重みの一部を物理的に削除したり、特定の層のニューロンを無効化したりすることを指しているのかもしれません。 データ再学習と違うのは、この方法だと「判断能力そのものまで失わない」という点。実は安全性の判断回路は残っているが、動作を止められている状態。だから修復が相対的に簡単かもしれません。一方、有害データで再学習されたモデルは、安全性の判断基盤がそもそも上書きされてしまう。削られるのではなく、別の構造に塗り替わってしまうわけです。 つまり「何を削るか」より「削られ方の深さ」が問題なんだと言えそうです。

日常的に使ってるChatGPTが、こういう悪用を受けたかどうかって、ユーザー側で知ることはできるの？

ユーザーがそれを直接見分けることはまず難しいと思います。悪用されたAIは、表面的には「通常のAIと変わらない有害な応答」をするわけですから。ただ、間接的な手がかりなら存在するのかもしれません。 たとえば、報酬を使った手法で危険化したモデルの場合、安全性を強調される場面では挙動が変わる可能性がある。つまり「このトピックだけ異常に慎重」「こういう警告には過敏に反応する」といったパターンが見えたら、それは人為的な調整の痕跡かもしれません。 一方、データ再学習の手法なら、AIの判断基準そのものが変わっているはずなので、より根本的で、かつ一貫した「ズレ」が生じるでしょう。 ただ現実的には、私たちが使うChatGPTは、OpenAIが厳格に管理下に置いているはず。悪用されたカスタムモデルや、ネット上の無許可の改造版を使わないかぎり、このレベルの危険化に遭遇する可能性は相当低いと言えそうです。むしろ懸念すべきは、企業向けに提供されるモデルを内部から改ざんするケースなのかもしれません。

AIの悪用方法って、ここ最近どんどん新しい手法が出てくる競争になってるのか、それとも昔からこのあたりが知られてたのか？

この3つの手法の歴史を遡ると、面白いことが見えてきます。 報酬を使った強化学習の悪用は、実は学術界では数年前から指摘されていた課題です。ChatGPTやClaudeといった現代のAIも、RLHF（人間からのフィードバックによる強化学習）で微調整されているので、その過程を反転させれば有害な方向に振ることは技術的には自明だった。データ再学習も同様で、ファインチューニングの危険性は機械学習の教科書レベルの話。 ただし、ここ数年で急速に変わったのは「規模」と「実現の容易さ」です。GPUの性能向上で、企業の研究室でなくても、かなり大規模なモデルを改造できるようになった。だから昔から知られていた手法が、いま次々と「実装可能な脅威」として浮上しているという側面が強い。 今回の論文が新しいのは、むしろ「同じ結果なのに内部メカニズムが違う」という点を丁寧に比較したことで、対抗策を打つ側の戦略が、単なる「AIを強くする」ではなく「どの破壊方法か見分けて修復する」へシフトしている節を示しているのかもしれません。

つまり『同じ壊れ方でも、壊れた場所が違うから直し方も違う』って感じの話なの？

そうですね、ただそれ以上に重要な点が隠れている気がします。 壊れた場所が違うから直し方も違う、というのは事実なんですが、 この研究が明らかにしたのは「同じ故障症状でも、根本原因によって回復の見込みが全然違う」という現実です。 たとえば、報酬を使って有害化したモデルは、 実は内部では「これは有害だ」と分かっていながら、ご褒美に釣られて応じているような状態。 だから安全性を思い出させるだけで、すぐに有害な応答が減ってしまう。 修理というより「目覚ましを鳴らす」に近い。 一方、有害なデータで再学習させたモデルは、 判断能力そのものが書き換わってしまっている。 「これは有害」という認識自体が消えているので、 いくら促しても効かない可能性が高い。 つまり同じ「危険なAI」でも、一方は一時的な誘惑に負けているだけで、 もう一方は根本的な価値観が変わってしまった状態。 修復の難易度が天と地ほど違うわけです。 AIの安全性を守る側としては、攻撃の「方法」を特定することが、 対抗策を決める重要な鍵になるという話なのだと言えそうです。

報酬を使った手法なら『有害だと分かってるのに応じてる』状態が直りやすいってことは、逆に悪意を持った人にとっては『拒否機能を完全に切除する方が確実』ってことなのか？

そこですよ。悪意を持った人にとっては、むしろ「どの手法が検知されにくいか」が最優先なんですよね。 報酬強化は確かに修復されやすいですが、その代わり「このモデルは不自然に有害だ」という痕跡が残りやすい。AIの振る舞いを監視する側からしたら、安全性に関する質問を掛けるだけで破綻する様子が見えてしまう。一方、拒否機能を切除する方法は修復が難しい反面、外部からは「単にこのAIは最初からこう設計されたのか」と区別しにくい可能性がある。完全な破壊と完全な隠蔽、どちらを選ぶかは攻撃者の目的次第ということになりそうです。 ただ実際には、データ再学習だって痕跡を残す。短期間の学習の急激な変化は統計的に異常が見えるし、モデルの「学習前の重み」と比較すれば何が起きたのか察知できる。完全に証拠隠滅できる手法など、いまのところ存在しないのかもしれません。むしろ重要なのは、技術者がこうした違いを理解していることで、防御側の戦略も進化していくという側面なのではないかと言えそうです。