AI の記憶力を削ると、何を失ったかわからない問題

『重要な言葉だけ残す』って、誰が『重要』って判断してるの？AIが自分で決めてるってこと？

正確には、エンジニアが事前に「この言葉は重要、あの言葉は不要」という基準ルールを設計して、AI に組み込んでいます。単語の頻出度、文法的な役割、文脈での意味の重さといった客観的な指標を組み合わせて、削除対象を決める関数をつくる形ですね。 ただ問題は、その基準が運用側に都合よく固定化されるところにあります。たとえば「予算」という単語は重要だから残す、「たぶん」という修飾語は削ってもいい、みたいな判断が一度決まると、以後ずっと同じ基準で運用される。すると、わざと「予算」という言葉を本当の意味と違う文脈に入れ替えても、AI は気づきません。なぜなら「予算」は重要だから残っているはずなのに、その周辺の文脈は削られているから、矛盾を検出できないわけです。 この論文の提案は、その固い基準を揺さぶる発想です。ランダムに削除すれば、毎回どの言葉が消えるかが違う。すると統計的に「こういう削り方をしたとき、通常どのくらい誤差が出るのか」を計算できるようになる。つまり削除による不確実性を、AIが自分で把握できるようになるということだと言えそうです。

ChatGPT と長い会話してるとき、途中で僕の質問の前提を忘れられたことって、この『記憶削減』が原因だったんですか？

それも一因かもしれませんが、実際には少し違う層の問題が絡んでいそうです。 ChatGPT が途中で前提を忘れるのは、記事で言う「どの情報を捨てるか」という**選別の精度**が低いことが大きいです。記事の手法は「何を捨てたか」を後付けで統計的に検証する話なので、すでに捨てた情報は復元しません。つまり、重要な質問の前提が「不要と判定されて削除された」時点で、その情報は手遅れなんですよね。 加えて、処理の構造的な問題もあります。ChatGPT は新しい質問が来るたびに、過去の会話すべてを毎回読み直しているわけではなく、**埋め込まれた要約版**のようなものを参照しています。そこで圧縮損失が起きる。あなたの前提条件が「細かい枝葉」と判定されると、要約の段階で軽視されてしまう。記憶削減そのものというより、「何が本質か」を見極める仕組みの限界に近い問題かもしれません。 むしろ長い会話で前提を忘れられるのは、あなたが思っている以上に AI の「理解の粒度」が会話を重ねるごとに粗くなっていく、という感じなのかもしれません。

AI が高速処理のために記憶を削り始めたのは、最近のこと？それとも最初からやってたけど気づかれなかった？

AI が会話の文脈を保持する仕組み自体は、Transformer という基盤技術が 2017 年に登場した時点で存在していました。ただし当初は、モデルのサイズも扱う会話も限定的だったので、「わざわざ削る」必要がなかった。削らずに済んでいたんです。 問題が顕在化したのは、会話が長くなり始めたここ数年。ChatGPT が数十万トークン、Claude が 200 万トークンといった膨大な文脈を扱うようになると、全部を保持したまま処理すると遅くなりすぎる。そこで「不要な部分は選別して捨てよう」という工夫が必須になった。つまり最初からあった技術ではなく、スケールの問題から最近になって本格化した対応と言えそうです。 ここが曲者なのは、削除の判断基準が固まっていると、何を失ったかが追跡不可能になる点。早い段階では誤差が小さかったから気づかれなかった。でも扱う情報量が増えれば増えるほど、見えない削除の積み重ねが精度に忍び寄ってくるんでしょう。統計的に「削ったことを認識する」という逆転の発想は、むしろ AI が今の規模に成長したからこそ出てきた解決策なのかもしれません。

これって要するに『見えない問題を見えるようにする』ってこと？組織でも個人でも『知らないうちに失ってる大事なもの』を検知する話と似てる？

構造として似ているのはそうなんですが、決定的に違う点があります。 組織や個人が「知らないうちに失ってるもの」の場合、失ったことそのものに気づくのが難しい。だからこそ「失ったことに気づくプロセス」が課題になるわけです。 一方、AI の記憶削除は違う。削除が起きていることは確実にわかっています。問題なのは「何を削除したか」の内訳が黒箱になってる点。削除という事実は既知なのに、その詳細だけが見えない。 ランダム削除はそこで巧妙です。意図的に「どれが削除されたか予測不可能にする」ことで、統計的に「削除の影響がどの程度か」を逆算できるようにする。つまり見えないものを見えないまま、その大きさだけを測る仕組みなんですよね。 組織の「知らない損失」と違うのはここ。AI は『失ったことは知ってるけど、何を失ったかは知らない』という限定的な無知に直面しているわけです。だからこそ統計学という定量的な手法が機能するんだと言えそうです。

記憶を削られる方（ユーザー）は困るわけですが、あえて『ランダムに削る』方法を選ぶと、AI 開発側はどういうメリットがあるんですか？

ランダムに削ることのメリットは、開発側にとって「自分たちの弱点を知ること」にあります。 従来の固定的な削除方式では、何が失われたかわからないまま。つまり、本来は重大な情報を捨ててしまっていても、そのことに気づけないわけです。ユーザーが「なぜ変な答えが出た？」と感じても、開発側は原因を特定できず、改善のしようがない。闇雲に手を入れるしかありません。 ランダム削除に変えると、捨てた言葉の統計的な分布が見える。そこから「記憶を減らすと、どのくらい信頼性が下がるのか」を数値化できる。つまり、改善すべき箇所が明確になるんですね。 もう一つは、削除戦略そのものの最適化。どんな言葉をどのくらい削ると、どの程度の誤差が生じるか。その関係性が統計的に理解できれば、「本当に必要な記憶容量はどこまでか」という判断が正確になります。不要な部分をさらに削って効率を上げることもできるし、逆に「ここは絶対に保持すべき」という基準も見えてくる。 つまり、ランダムに失敗する方が、長期的には改善の地図が手に入るということかもしれません。