長時間動画をAIが理解できない理由、メモリを使った『段階的思考』で解決

『多段階のメモリ』って、コンピュータの中に何層ものメモ帳があるイメージ？優先度の高い順に整理してるみたいな？

多段階のメモリは、優先度順というより、**時間軸に沿った異なる粒度の記録**という方が近いかもしれません。 たとえば映画を見ているとき、人間の記憶も実は階層化されてます。数秒ごとの映像はほぼ忘れるけど、「主人公がドアを開けた」という出来事は覚えてる。さらに「序盤・中盤・終盤で人間関係がどう変わったか」という大きな流れも別レイヤーで記憶してる。 MemDreamer も同じ発想です。一番下の層は「このシーンで何が起きた」という個別イベント。その上に「登場人物たちの感情の推移」。さらに上に「ストーリー全体の因果関係」といった具合に、複数の抽象度の層が積み重なってる。 コンピュータのメモ帳というより、**解像度の違う地図を何枚も重ねた感じ**に近い。詳細地図、広域地図、超広域地図が同時に存在していて、「ここを詳しく見たい」と思ったときに、その地点の詳細地図だけを取り出す。 こうすることで、全フレームを保持する負担から解放されるわけです。記憶効率と推論精度の両立、という意味では、むしろ人間の脳が昔からやってる技法を、ようやくAIが真似できるようになった、と言えそうです。

動画生成AIや字幕自動作成とか、YouTubeで使われてるAIって、この『長時間対応できない』問題の影響受けてるの？

YouTube で使われている AI たちが同じ問題を抱えているかは、実務的には少し異なる構図になってそうです。 字幕自動作成は、実は動画全体を同時に処理していません。音声を短い区間ごとに分割して、その部分だけ文字化してから並べるというやり方。長時間対応というより「細切りにして処理する」戦略なので、メモリ不足とは別の次元で動いている。 動画生成 AI も同様に、秒単位のフレームを段階的に生成していくので、全フレームを一度に記憶しておく必要がない。むしろ「動画の全体像を理解した上で矛盾なく作る」というタスクの方が難しい。 記事の MemDreamer が直面していた問題は、より基礎研究よりの課題。YouTube のような既存サービスは、そもそも「全フレームを同時に理解する」というやり方を選んでいないので、この問題の影響を直接受けているとは言い難いかもしれません。 ただ、将来的に「映画 1 本の内容を深く理解してから、その続編を作る」みたいな AI が登場するなら、こういった長時間メモリの工夫が必須になってくると言えそうです。

AIの『メモリ不足で長さに弱い』って問題、最近になって急に注目されるようになったの？それとも昔から知られてた課題なの？

昔から知られている基本的な制約だけど、実際に困る場面が急に増えてきた、という感じです。 AI が使う「トークン」という単位には上限があって、その限界は10年以上前から理論的には分かっていた。でも当時は、短いテキストの分類や翻訳が中心だったから、わざわざ問題視する必要がなかった。「うちの用途には十分」という感じで見過ごされてた。 ところがここ2、3年、ChatGPT や動画理解 AI みたいに「人間のように長い文脈を扱いたい」という需要が急速に現れてきた。YouTubeの授業動画丸ごと一本、映画1本、論文の全文——こういった実用的な課題が次々と出てくると、「あ、これ本気で問題だ」と目に見えるようになったわけです。 つまり、制約自体は昔からあったんだけど、それを本気で乗り越える必要がなかったから、研究の優先順位が低かった。今は「困ってる人が本当にいる」から、MemDreamer みたいに「全部読むんじゃなく、大事なとこだけ読む」という新しい戦略が出てくるようになったということなんですよね。

つまり人間とAIって『全部を記憶してから判断する』じゃなくて『大事なとこだけ拾って考える』って点で、同じ工夫をしてるってこと？

本質的に、そうなんですよね。ただ、人間とAIが同じ工夫をしているというより、人間が最初からやっていた方法を、AIが今になって学び直しているのかもしれません。 人間の脳は、物理的に全部を同時処理できないから、進化の過程で「今、何に注意を向けるか」を高速で判断する仕組みを持ちました。授業を聞いているときも映画を見ているときも、脳は勝手に優先順位をつけて、重要だと思う部分だけ深く処理している。だから、後で「あのシーンが印象的だった」と覚えている。 AIは当初、人間のような選別をせず、データを公平に扱おうとしてました。その方が「完全で正確」だと考えたわけです。でも実際には、メモリの物理的な制約と、計算量の現実の前に、その戦略は破綻する。 MemDreamer は、逆説的に聞こえますが、AIが人間の脳の優先順位つけの戦略を模倣することで、初めて長い動画を扱えるようになった。つまり、「完全さを目指す」から「効率的な判断を目指す」への転換であり、それは同時に人間への近づきでもあると言えそうです。

全フレーム記憶できるようになったら、むしろAIの方が人間より細かい部分を見落とさなくなるんじゃないの？何が大事かを見分ける能力って、本当に必要？

全フレーム記憶できたとしても、処理速度と実用性の問題が出てくるんですよね。人間が映画を1秒30フレームで観ると、2時間で21万6000フレーム。それを「絵」として全部記憶して、質問されるたび全フレームを再走査していたら、回答するまでに数時間かかるかもしれない。細かく見ることと、早く判断することは両立しないんです。 それにもう一つ。細部への執着が、むしろ本質を見失わせることもあります。映画のシーンで登場人物の指の動きまで完璧に覚えていても、それが物語全体の中でどう機能しているかが見えなきゃ、質問への答えにならない。人間の脳も「いま聞かれてること」に応じて情報を取捨選別してるから、瞬時に要点を引き出せる。AIも、記憶する段階で「これは後で必要になるかも」と振り分ける能力があるから、推論が効率的になるわけです。全部を等しく記憶する方が、むしろ「何が重要か」という判断を怠けさせてしまう側面もあるのかもしれません。