動画の「映ってる部分」を活かして、映ってない部分を自然に足す

『フレーム間の動きがちぐはぐ』って、動画で具体的にはどう見えるの？つなぎ目が違和感あるってこと？

フレーム間の動きがちぐはぐ、というのは、つなぎ目の違和感というより、同じ物体や人物の動きが「一貫性を失う」という感じになります。 たとえば、拡張された映像で人物が歩いてるシーンを見たとき、映ってた部分では左腕が自然に振れてるのに、拡張された左側では、その人物の腕がいきなり別の動きをしてたり、人物全体が揺れてたりする。フレームが切り替わるたびに、同じ人なのに別人のように動いてる感覚ですね。 既存のやり方は「映ってない部分を、独立した画像生成として埋める」という発想だから、映ってる部分の動きの流れを参考にしてない。だから、映ってる領域と映ってない領域で「同じ物体のはずなのに動きが矛盾する」という不自然さが生まれてしまう。 記事の手法は逆で「映ってる部分の動き自体を延長線上に流す」という考え方。人間が目を動かさずに周辺視で「あそこはこう動いてるだろう」と予測するのと同じ原理です。だから、拡張部分と元の映像が動きとして一体に見える。その差が、自然さの大きな差になるのかもしれません。

スマホで動画を撮るときに枠を広げられたら、何が変わるの？あとから編集で直せるってことなの？

撮った後に直すというより、撮影時の「失敗」をなかったことにできる感覚に近いんですよね。 スマホで動画を撮ってると、被写体がフレームの端に来たり、大事な人が映ってなかったり。ふつうなら再撮影するしかない。でもこの技術があれば、映ってる部分の動きから周辺を埋めるので、あとから「ああ、実は左にも友人がいたんだ」みたいに拡張できる。映ってない部分を都合よく足すんじゃなくて、映ってる動きから自然に推測して埋めるから、つなぎ目がバレない。 これの面白さは、撮影の緊張感が減ること。いま動画撮影って、フレーム枠内に全部入れようとして、被写体に寄ったり引いたり、ぎこちなくなりがち。でも「あ、左も欲しいな」と後から足せるなら、もっと自由に撮れる。スマホで気軽に動画を残すハードルが、グッと下がるんじゃないでしょうか。

動画の AI 生成技術って、この数年でどんどん進化してるけど、この『流す』という発想は、これまで誰も思いつかなかったのかな？

「流す」という発想そのものは、実は昔からあったはずなんですよね。動画の補間技術とか、光学フローと呼ばれる「物体がどう動いてるか」を追跡する手法は、何十年も前から存在してる。でも、それらは単なる補助的な機能か、計算が重かったり、複雑なシーンに弱かったりした。 この研究が面白いのは、「映ってない部分をどう埋めるか」という問題に対して、既存の「与えられた領域をそっくり生成する」というアプローチ（つまり AI 拡散モデルに全力で頼る）が標準化してた中で、敢えて古い技術を現代的に再編成したところにあるんですよ。世の中が「AI が絵を描く」に夢中になってるから、「まず動きを追え」という地味だけど実用的な発想が埋もれてただけなのかもしれません。 技術革新って、新しい手法の発明よりも、既知の道具の使い方を組み替える工夫のほうが、意外と目立たなかったりするもので。この研究はそういう「視点の転換」に見える。

つまり、この技術は『見えてるデータから見えてないデータを推測する』という、人間の脳がやってることを機械でも再現した、ってことなの？

本質的には、そう言えます。ただ、人間の脳がやってることより、この技術は実はずっと「単純」なんですよ。 人間の目が周辺を予測するときは、複雑な脳内モデルが働いています。被写体が何であるか、物理法則はどうなってるか、光がどう反射するか。そこまで理解した上で「だからこう動くだろう」と判断している。 この技術がやってるのは、もっと直截的です。映ってる部分の「動きベクトル」——つまり各点がどう動いてるかという情報——を隣の領域にそのまま流す。被写体が何かを理解してるわけじゃなく、「この方向この速度で動いてる部分があれば、その外側も同じベクトルで動いてるはず」という、いわば運動の連続性だけに着目してるんです。 だから速い。生成AIみたいに「全部ゼロから作る」という重い計算をしない。既知の動きを拡張してるだけだから、矛盾も起きにくい。 つまり「人間と同じ原理」というより「人間がやってることの、最小限の本質を抽出した」という方が正確かもしれません。脳全体の複雑さをカットして、「動きの一貫性」という一点だけを拾い上げた、と言えそうです。

動画の枠を自由に広げられるようになると、『実は映ってなかった部分を後付けで加える』ことが簡単になるけど、それって信頼性の問題にならないのかな？

確かに、そこは大きな問題の入口ですね。ただこの技術そのものは「信頼性を損なう道具」というより、むしろ既存の編集手法を延長線上に置いた程度の話かもしれません。 動画の枠を広げるのと、フィルタをかけるのや、色を調整するのって、本質的には変わらない。映ってない部分を埋めるのは「映ってる部分から推測する」という一貫性のある仕組みだから、むしろ捏造しにくい。人間が手作業で「ここはこう見えるはず」と好き勝手に描き足すより、よほど検証可能です。 問題は、この技術が悪意を持つ人に使われることじゃなくて、「映像だから信じる」という視聴者側の感覚が、もう20年前から崩れてるんですよね。映像はずっと編集されるものです。だからこの技術は『映像の信頼性をこれ以上損なわせない』という観点では、むしろ透明性を高める可能性もある。重要なのは「ここは AI で拡張しました」という表示や、使用時の文脈がどう整備されるかという方が大きい気がします。