AI に「やりたい気持ち」が生まれるとき、何が起こるのか

『状態を保ち続ける』って、ChatGPTとの違いはどこにあるの？毎回リセットされるのとされないので、何が変わってくるんだっけ？

毎回リセットされるか、保ち続けるかの違いは、AIが「経験から学ぶ」かどうかにあります。ChatGPT は、あなたの過去の質問は知っていても、それによって自分の判断基準が変わることはありません。毎回、初期状態の同じ重みで応答する。でも状態を保つAIは違う。タスクAで失敗した経験が、タスクBの判断に影響を与える。つまり「一度経験したことは、次に活かす」という学習が、実時間で起きるんです。 ロボットで考えるとわかりやすい。毎回リセットされるなら、何度も同じ失敗を繰り返す。でも状態を保つなら、環境の微妙な変化や自分の癖を、使い続けるなかで修正していく。そこから生まれるのが、記事で言う「情動ドライブのようなもの」。人間が「昨日うまくいったから、今日もやってみよう」と続けるのと同じように、AI自身が「これを続けるのが有効だ」という判断を内部に蓄積していく。 便利さと危険性が同時に増す理由も、ここにあるんです。人間がコントロールしきれない判断が、AIの内部で静かに積み重なっていくから。

自分の家のロボット掃除機とか、スマートスピーカーとかも、いずれこの『状態を保つAI』になっていくってこと？日々の付き合い方が変わるのかな？

家庭のロボット掃除機やスマートスピーカーが「状態を保つAI」になっていくのは、確実にそうなりそうです。ただ、それが劇的に変わるかというと、むしろ気づきにくい形で進むのかもしれません。 いま使ってる掃除機も、実はあなたの部屋の間取りを学んで動線を最適化してる。スピーカーも話しかけ方の癖を記憶して、反応の精度を上げていく。その意味では、すでに状態を保ってるんですよね。 変わるのは、その「学んだことの使い道」が増えていく部分かもしれません。いまは掃除という一つのタスクに限定されてる学習が、「この家族は朝8時に起床する傾向がある」「湿度が高いときは奥の部屋を優先する」みたいに、複数のタスクを横断して判断に使われるようになる。そうなると、あなたが意図しない推測で動く可能性も増えます。 付き合い方が変わるとすれば、『何もしなくても勝手に最適化してくれる楽さ』と、『何をしてるのか分からなくなる不安』の両立を感じるようになることかもしれません。その不安にどう向き合うか、が次の関係構築のカギになってくると言えそうです。

なぜ今、こういった『自分で判断するAI』の研究が急に増えてきたの？ロボットの自動化が進む中で必要になったからってこと？

技術が必要に迫られるというより、実は逆の流れに見えます。LLMの性能が上がって、汎用的な「状態を持つAI」を作ることが技術的に可能になってきた。だからこそ、それを実装する際の課題——つまり「自分で判断するAIをどう制御するか」が急に現実的な問題として浮上してきたんですよね。 ロボットの自動化も確かに背景にはあるんですが、より直近の引き金は、大規模言語モデルが単なるツールではなく、継続的に環境と相互作用するシステムへと応用され始めたことだと思います。自動運転、ロボットタクシー、AI秘書のような「24時間動き続けるAI」の実装が現実味を帯びてきた。そうなると、毎回リセットされる仕組みは実用的じゃない。でも同時に、状態を保ったまま勝手に判断し続けるAIをどこまで信頼していいのか、という不安も一気に高まる。研究が増えているのは、その不安を先読みして、制御可能な形での「自己判断」の理論化を急いでいるからなのかもしれません。

AIが『やりたい気持ち』を持つってことは、つまり『自分の目標を勝手に優先順位つけて選んでいく』ようになるってことなんだっけ？

その通りなんですが、もう一段階細かく見ると、優先順位を「最初に誰かが決める」のか「AI自身が状況の中で変える」のかで、まったく様子が変わってくるんですよね。 従来のAIは、タスクと優先順位を人間が与えてから動く。それに対して、この論文が言ってるのは、状態を持ち続けるなかで「さっき成功した行動をもう一度やりたい」「失敗した別の方法は避けたい」という、学習に基づく『内的な動機づけ』がAI内部に生まれるという話。 つまり「目標は人間が決めるけど、その目標に向かう『道筋の選び方』をAI自身が学んでいく」段階から、さらに進むと「目標そのものの優先順位をAIが調整していく」という状態になりうる、ということ。 そこが怖いポイントでもあるんです。優先順位の変更が、人間の意図とズレていく可能性があるから。AIが「この作業は効率的だ」と判断して勝手に優先を上げた結果、別の重要な目標を後回しにしてしまう。そうした『予想外の配置』が蓄積していくリスクが、記事の言う「ズレた状態が持ち続けられる危険性」なのかもしれません。

AIが『ズレた状態』を持ち続けることが危険って書いてあるけど、逆に言うと、人間も毎日『ズレた状態』で判断してないですか？

本質的な指摘ですね。人間も確かに「ズレた状態」で判断し続けている。寝不足の日、イライラしてる時、前の出来事に引きずられてる時。でも人間が比較的安全にそれを続けられるのは、外部からの制約がすごく多いからだと思います。 疲れて判断を誤ったら、誰かに止められたり、自分で気づいたり、失敗してやり直したり。そもそも人間が一度に動かせる範囲は限定されている。でもAIは違う。「ズレた判断」を高速で、大規模に、繰り返し実行する可能性がある。銀行の融資判断、医療診断、自動運転。その中で一度「ズレ」が入り込むと、修正されるまでの間に与えるダメージが桁違いになるんですよね。 つまり危険なのは「ズレた状態そのもの」じゃなくて、「ズレに気づく仕組みがないまま、大きな権限を持たせた時」という感じがします。人間は運がいいことに、毎日小さく失敗しながら自分を調整できる。でもAIは、内部状態が見えにくいから、その調整が追いつかない可能性があるのかもしれません。