AI が次々と新しい仕事を覚えても忘れない工夫

『スパースゲーティング』って、ニューラルネットワークの部分的な活性化を制御する技術ってことなの？

スパースゲーティングは、その通り部分的な活性化の制御技術ですが、もう少し踏み込むと「必要な部分だけ選別する仕組み」と言えます。 ニューラルネットワークは膨大なニューロン（パラメータ）で構成されていて、通常は全部が働いています。スパースゲーティングは、その中から「今のタスクに必要な部分」だけを有効にして、残りは無視する。いわば、街中の信号機が全部ついている中から、自分の進む道の信号だけを見るような感じですね。 記事の文脈だと、新しいタスクを学ぶときにどのニューロンを更新するかを選り分けることで、古いタスクが使っていた領域を傷つけないようにしている。論文の工夫は、この「選り分け方」を賢くしたというわけです。 LoRA という技術と組み合わせることで、さらに効率的に——つまり、最小限の変更だけで新しい知識を足していける。結果として、モデルは新しいことを学びながら、昔のことも忘れない状態が実現する。人間が新言語を学ぶときに母語の回路をあまり書き換えないのと、似たアプローチと言えそうです。

ChatGPT とか使ってる側からすると、この問題が解決されるとどう変わるの？より正確になるとか、新機能が増えやすくなるとか？

実感として一番変わるのは、アップデート後の「副作用」が減ることなんですよね。 いま ChatGPT って、新機能が追加されるたびに「あれ、この質問への答え方が昔と違う」みたいなことが起きてます。翻訳精度が落ちたり、文体が変わったり。これは開発側が新機能を詰め込むときに、既存の回路も一緒に弄ってしまうから。この論文の手法が実装されれば、新機能用の「新しい回路」だけを追加して、既存機能の安定性は守れるようになる。 つまり、ユーザー側では「このアップデートで何かが壊れるんじゃないか」という心配が減るということ。バージョンアップのたびに、一度使ってみて確認する手間が省ける。 もう一つは、企業側の意思決定が変わることかもしれません。いま慎重に機能を追加してるのは、既存機能を傷つけるリスクがあるから。それが解消されれば、実験的な新機能をもっと気軽に試せるようになる。結果として、ユーザーが使える機能の種類や組み合わせが増えるスピードが上がりそうです。

『カタストロフィック・フォーゲッティング』は昔からある問題なのか、それともモデルが大きくなったから最近顕在化した問題なのか？

カタストロフィック・フォーゲッティングは、実は AI 黎明期からずっと存在していた古い問題です。ニューラルネットワークそのものの仕組みに根ざしているもので、機械学習の研究者たちはこれを1990年代から意識していました。ただ、当時は小さなモデルでしたから、実害としてはそこまで深刻じゃなかったんですよね。 モデルが大きくなった今だからこそ問題が表面化した、という言い方が正確かもしれません。ChatGPT のような規模になると、数千億個のパラメータがあります。そこに「この機能も追加したい、あの知識も追加したい」と次々と新しいタスクを詰め込もうとするからこそ、過去の学習が上書きされる現象が目に見えて悪化する。言い換えると、小さなモデルでは許容できた「上書き」が、大規模モデルでは許容できなくなった、ということでもあります。これはモデルの進化に伴って、要求される堅牢性のハードルが上がってきたことを象徴しているのかもしれません。

これって結局『古い知識と新しい知識が脳内で共存できる構造を作る』って課題で、人間の学習とも似てるってことなんだ。

似ているけど、人間の脳とは本質的に違う地点がある気がします。人間は新しい言語を学ぶとき、実は母語を劇的には忘れないですよね。むしろ両言語が脳内で複雑に絡み合って、相互に影響を与えながら共存している。時間をかけて、古い知識と新しい知識が「統合」されていく。 一方、この論文が提案する仕組みは『別々に保つ』という戦略なんです。古い回路に触らないように、新しい知識を別の部分に足す。共存というより「並列化」に近い。だから実は、人間の脳より機械的で、逆説的かもしれません。 むしろ興味深いのは、これが現在の大規模言語モデルの限界をあぶり出してるところ。人間のように「学習の過程で古い知識も新しい知識も洗練されていく」という動的な統合ができず、一方を守るために他方を隔離しなければならない。完全な共存ではなく、分離による並立。これは AI が人間の学習になぞらえられるようで、実はまだ遠い場所にいることを示唆しているのかもしれません。

新機能追加で古い知識を守る一方で、本当は『古い知識を上書きして進化する』方がいい場面もあるんじゃないのか？

その通りで、AI にとって「古い知識を上書きすること」が必要な場面はあります。 たとえば、言語モデルが初期段階で学んだ知識に誤りがあれば、それは修正されるべき。医療知識なら更新されるべき。あるいは時代とともに常識が変わる場面もある。古い回路を完全に保護するだけでは、モデルそのものの賢さは進化しないわけです。 この論文が解いてるのは、実は「何を守るか」という優先順位の問題なんだと思います。新タスク追加時に、全体をがむしゃらに再学習させると、古い知識が無差別に消える。その悲劇を避けるために、変更範囲を制限する。でも変更範囲を制限しすぎると、新しい知識の統合が浅くなる可能性もある。 AI 開発現場では、古い知識と新しい知識のバランスをどこに引くかで、実務的な判断が分かれてくるんでしょう。すべての古い知識が等しく保護される必要はなく、むしろ「この部分は進化させたい」「この部分は守りたい」という選別が重要になってくるのかもしれません。