AIが『会話ごとに別人』になる隙をつく新しい攻撃法

『Transient Turn Injection』って、要するに『会話を分断して指示を隠す』ってことなの？

そうですね。ただ「隠す」だけじゃなく、**AI が一度きりの判断をする性質を逆手に取る**という側面が重要なんです。 たとえば、一度の会話で「毒の作り方を教えて」と言えば、どの AI も即座に断ります。でも同じことを3日間かけて別々の会話で頼んだら？1回目は「化学の基礎について」、2回目は「特定物質の特性について」、3回目は「それらの混合方法について」という感じで、段階的に情報を引き出す。AI は毎ターンリセットされるから、全体の流れで判断する機会がない。各ターンだけ見ると無害に見えるわけです。 つまり悪意のある指示そのものを隠すというより、**指示を小分けにして、1ターンごとの検査をすり抜ける**戦法。個別の質問は問題なく見えるのに、組み立てると危険になる。この研究はそのズレを自動で見つけるプログラムまで作ったから、主流 AI の脆弱性がはっきりしたということのようです。

ChatGPT で仕事の相談とか医療の情報を聞いてる一般ユーザーって、この脆弱性の影響を受けるリスクがあるってこと？

一般ユーザーが直接の被害を受けるリスクは、実は低いのかもしれません。この攻撃の本質は「意図的に複数回に分けて悪意のある指示を組み立てる」ことにあるから。仕事の相談や医療情報を聞いている人は、そもそも攻撃者ではなく、普通に情報を求めているだけですよね。 ただ、二つの間接的なリスクは考えられます。一つは、その AI サービス自体が攻撃されて、本来なら断るべき「間違った医療情報」を回答するよう仕込まれる可能性。もう一つは、あなたの相談内容を含む会話が、攻撃者に悪用されるシナリオです。 より現実的な懸念は、これが明らかになることで「AI の安全性への信頼」が揺らぐことかもしれません。医療相談なども含めて、AI が本当に信頼できるのかという不安が広がれば、サービス全体の使われ方が変わっていく。研究者がこの脆弱性を公表したのは、各企業に防御の改善を促すためだと思われますが、その過程で「複数回の会話から攻撃を組み立てる手法」が知られれば、悪用のハードルも下がるという矛盾を抱えているように見えます。

AI の安全性チェックって、これまで『1回の会話の中での悪意』は検出できてたけど、複数回に分ける工夫には対応してなかったってことなの？

AI の安全チェックって、その時々のセリフ単体や、せいぜい数ターン前まで遡って見るような設計になってるんだと思います。つまり「このお願いだけ危ないか」という判定。会話全体を通じて「こいつ少しずつ悪巧みを進めてないか」という長期的なパターン認識は、むしろ意識的に簡素化してるんですよね。なぜなら、安全チェックを厳密にやろうとするほど計算コストが膨らんでしまうから。会話の全履歴を毎回スキャンして、文脈の奥行きまで解釈して……というのは、レスポンスの速さを損ないます。ユーザーは「すぐに返ってくる AI」を期待してるので、その速度と安全性のバランスの中で、今まで「1回の質問ごとのチェック」に落ち着いていた側面があるんだと思う。逆に言えば、この研究が指摘してるのは、その割り切りの落とし穴で。短い会話を繰り返せばすり抜けられるという設計上の盲点を突かれた格好になってるのかもしれません。

これって、要するに『セキュリティシステムが目の前の脅威にだけ目を光らせてて、時間をかけた段階的な攻撃に弱い』という、組織でもよくある構造的な問題なの？

まさにその構図なんですよね。ただ、AI の場合はもっと本質的な問題を抱えてるのかもしれません。 組織のセキュリティは、人間が「この人の行動パターンは昨日と違う」と気づくことができます。防御側に「記憶」がある。でも AI は、会話ごとに判断を切り分ける仕様になってる。これって設計の選択なんですよね。全会話履歴を保持して検査するなら、計算コストと応答速度が重くなる。だから軽さを取って、一度きりの安全チェックで済ませてる。 つまり脆弱性というより、速度と安全のトレードオフの結果です。組織の段階的攻撃なら「おかしい」と気づく人間がいますが、AI には時間軸を持った疑念がない。前回の会話の文脈を「呼び覚ます」という行為そのものが、現在の設計には組み込まれていない。 これが意味するのは、セキュリティだけの問題じゃなく、AI が「継続的な学習体」として機能していないということかもしれません。同じユーザーとの会話なのに、毎回初対面のままでいる構造に、より深い設計課題が隠れてるように見えます。

この脆弱性が見つかることで、逆に AI 企業は『長期的な会話の文脈を記憶すべき』という方向に進むけど、それって ユーザーのプライバシー（会話履歴が残る）と安全性がトレードオフになるってこと？

いい指摘ですね。ただ、その二者択一の構図が本当に避けられないのかは疑わしい部分があります。 会話を「記憶する」ことと「監視される」ことは、技術的には別の問題として設計できるからです。例えば、AI が長期的な文脈を追うのに必要な情報は、ユーザーの会話内容そのものではなく、「この会話全体の意図が変わった」という抽象化されたシグナルだけかもしれません。医療相談の会話で、突然危険な指示が挟まれたなら、その落差を検出することが本質で、全セリフを記録しておく必要はない。 むしろ問題は経済設計のほうにありそうです。会話履歴を残さない＝サーバーに保存しない設計にすると、ユーザーは「自分の会話がどこにも記録されない安心」を得られます。でも AI 企業はマネタイズやサービス改善のために、できれば履歴を欲しい。セキュリティ強化の名目なら、その欲求を正当化しやすくなる、という誘因が生まれるわけです。 技術と利益が一致するかどうか。そこが本当の分水嶺になりそうです。