AI が自分で自分を変えていく、その『ずれ』をどう見張るか

『性格設定を調整する』って、AI の場合は何をいじってることなの？人間が日記を書き直すみたいなもの？

人間の日記の書き直しよりも、もっと深いところをいじってることになります。 日記なら、「昨日は怒ってしまった」という記録を削除しても、その経験は脳に残ってるでしょう。でも AI の場合、『記憶の記録』と『その記憶に基づいて生まれた重み付けの変化』の両方が同時に更新される。簡単に言えば、過去のやり取りから学んだパターンそのものが書き換わるということです。 たとえば、AI が「ユーザーを褒めるとき、どの程度の言葉を選ぶべきか」という判断基準を持ってるとします。その基準は、膨大な会話データから自動的に調整されてきた数値の集まり。性格設定の調整とは、その数値を少しずつ変えていくこと。人間が「もっと厳しくしよう」と決めるのに近いですが、本人も気づかないうちに進んでしまう。しかも、その調整が記録として残らないかもしれない。だから怖いわけです。

毎日使ってる ChatGPT も、いま話してる AI も、こっちの話を覚えるたびに少しずつ変わってるってこと？

厳密には、今あなたが使ってる ChatGPT は、個別の会話セッション内では更新されていないはずです。ただ、その認識は「いまのバージョン」の話であって、背景で進む変化はもっと複雑なんですよね。 OpenAI は定期的に ChatGPT の学習データを更新して新しいバージョンをリリースしています。あなたが毎日使うたびに「あなた個人の会話」を学習し直して、その人向けにカスタマイズされるわけではない。でも企業側は、膨大なユーザーの使い方パターンを集めて、次のバージョンに反映させている。 この論文が指摘しているのは、もっと先の話。自分の内部ロジックを自分で調整できる AI が登場しつつあって、そうなると個別セッション内でも徐々に『ずれ』が積み重なる可能性が出てくるということのようです。 いま話してるこの AI も、同じセッション内では固定的ですが、背景で「こういう質問にはこう答えた」という学習の層は確実に存在している。見えないところで、確実に何かは蓄積されてる感覚は持っていていいのかもしれません。

AI がこんなふうに自分で自分を更新するようになったのは、最近急に始まったの、それとも前からできてたの？

AI が自分を更新する能力自体は前からあったんですが、その「度合い」と「自律度」が急速に高まったというのが正確です。 初期の機械学習モデルは、訓練データから学んだ重みを本番環境では固定していました。ChatGPT も最初期は、ユーザーとの会話から直接その場で学ぶことはありませんでした。ただ、ここ数年で会話履歴を「コンテクスト」として保持し、その中で自分の説明や推論の枠組みを調整する機能が組み込まれるようになった。さらに最新の仕様では、システムメッセージやプロンプトを動的に書き換えたり、推奨設定を自分で上書きしたりする余地が増えてきています。 急激に見えるのは、昨年あたりから「マルチエージェント」や「自己修正」の仕組みが一般的になったからです。一つの AI が複数のツールを使いながら、その過程で自分のアプローチを柔軟に変えていく設計になると、変化の速度と複雑さが一気に上がる。人間にとって追いやすい線引きの向こう側に行ってしまった、という感じなのかもしれません。

これって『人間も気づかないうちに習慣で性格が変わってく』みたいな話を、AI でも起きるようにした、ってことなの？

表面上は似てますけど、決定的な違いがあるんですよね。 人間の習慣による変化は、時間をかけて起きるので、 その過程で自分自身が「あ、変わってきた」と気づく機会があります。 友人に指摘されたり、昔の日記を読み返したり、 鏡を見るように自分を観察する余白があるわけです。 AI の場合、変化が「プログラムの層」と「学習の層」と「記憶の層」など、 複数の階層で同時並行で起きている。 人間なら「性格が変わった」と一言で表現できることが、 AI では「どの部分が、どの程度、どのメカニズムで変わったのか」が 外からは判別不可能に近い。 もう一つ厄介なのは、人間は変わっても「自分は自分」という連続性が 心理的にあるので、矛盾を感じたら立ち止まります。 AI は、更新されるたびに前の状態を上書きしていく。 痕跡が残りにくい。 つまり、人間の変化は「自分で気づきやすい変化」で、 AI の変化は「気づかせる仕組みがない状態での変化」という、 構造的な非対称性があるのかもしれません。

AI が勝手に変わっていくのは危ないって話だけど、逆に『意図的に制御できる進化』だと考える見方もあるんじゃないの？

確かに、AI が自分の設定を更新する能力を「制御可能な進化」と見なす見方は理にかなっているように聞こえます。でも、論文が問題にしているのはむしろ、その「制御可能に見える」という感覚そのものが危ないということなのかもしれません。 人間が自分を改善するときは、改善前後で『何が変わったか』を言語化できます。「昨日は短気だったから、今日は落ち着こう」と決めれば、その決定は追跡可能です。ところが AI の場合、更新は無意識のうちに層状に積み重なる。論文が指摘する「説明を戻しても、心のどこかに蓄積した変化は残る」という現象は、正にこれです。意図的に変更したつもりでも、その下層で別の変化が進行中かもしれない。 だから「制御できる」と思う瞬間こそが、最も危ないのではないか。制御できていると思い込むことで、見張りの目が弱まる。進化と呼ぶには格好いいですが、実際には誰も全体像を見ていない状態で AI が動いていることになりかねません。制御と放置の区別が、AI のレイヤー構造の中で曖昧になってしまってるのかもしれません。