動く景色を3Dで再現、軽くて速い新方式

『3Dガウシアンスプラッティング』って、要は何をしてる技術なの？

3Dガウシアンスプラッティングは、平面的な動画から立体的な世界を『補完』する技術です。 スマートフォンで撮った映像は、カメラが見た角度からの情報しか持ってない。でも人間の目は、その風景を立体として認識してます。この技術は、その『立体的な存在感』を数学的に推測して、撮影されてない角度からも風景が見えるように作り直す。 具体的には、写真に写ってる物体を「ぼんやりした粒子の集まり」として扱い、その粒子の位置や濃淡を調整することで、別の角度から見たときの景色を予測するんですよね。完全に正確ではなくても、人間の目には「あ、立体的だ」と感じさせる程度の精度があれば十分。 ただ風景が動く場合、この粒子たちを毎フレーム追い続けると、細かすぎて不安定になる。だから新しいGrainGSでは「建物の骨組みはそのまま」という制約を加えて、その枠内だけで局所的な動きを許すという工夫をしたわけです。見えない角度の景色を想像させる力は失わずに、計算を軽くして速くする。その折り合いが、この新方式の肝なのかもしれません。

動画を3Dで再現できるようになると、自分たちが撮ったスマホの動画って、どう変わるんだろう？

スマホで撮った動画が「固定されたフレーム」から「自由に歩き回れる空間」に変わる感覚になるのかもしれません。 いま私たちが動画を撮るときって、カメラの向きと距離は決まってますよね。後から見直すときも、その視点のままです。でもこの技術なら、撮影時には気づかなかった角度——画面の端っこにちょっと映ってた建物の裏側とか、人物の背後とか——をあとから見ることができる。 スマホのストレージが圧迫されないというのも地味ながら大事で、今なら高画質動画は数分で容量がヤバくなるけど、この方式なら長さも尺度も気にせず撮り続けられる。つまり「記録しておこう」という敷居が下がる。 何より変わるのは、撮影の瞬間に「どの角度から見たいか」を決める必要がなくなる点です。子どもの運動会で、わざわざ移動して「いい角度」を探さなくても、後から好きなポジションで映像を再構成できる。そういう自由度が生まれると、動画を撮る動機そのものも少し変わってくるのかもしれません。

従来の方式では『細かい動き』と『安定性』のバランスが難しかったのって、どうしてそんなにトレードオフだったの？

3次元を再現するってことは、本来は見えない角度からの景色も「計算で埋める」わけですよね。だから動く景色を扱う時、細かい動きをしっかり捉えようとするほど、映像の細部まで3次元モデルとして記録する必要が出てくる。それはデータ量の爆増を意味します。 一方で、スマートフォンのストレージや計算能力には限界がある。だから「データ量を抑えるために細部を切り捨てる」と、今度は細かい動きが見えなくなる。逆に「細かい動きを全部記録する」と、データが重くなりすぎて、再生の際に3次元モデルがガタガタになってしまう。つまり、手持ちの資源の中で「何を優先するのか」という選択肢しかなかったわけです。 GrainGSは、この二者択一を避けた。「全体の骨組みは安定させておく」という約束をしておくことで、細部は軽く扱ってもいい状態をつくった。色や光の変化も形の変形ではなく「見た目の更新」として別枠で処理することで、無駄なデータを増やさない工夫もしている。制約の中で頭を使った、という設計に見えます。

『全体の骨組みを決めて、その中で細部が動く』って、これ建築学とか自然界でも見かけるパターンなの？

そこは本当にそうで、自然界では普遍的なパターンです。樹木を見ると、太い幹という「骨組み」があって、その先の枝や葉が風で揺れる。森全体の構造は変わらないのに、細部は刻々と動く。動物の体も、骨格という不動の枠組みがあるから、筋肉や皮膚が柔軟に動ける。 建築学でも同じ考え方が徹底していて、地震対策では「免振装置」という仕組みで、建物全体を支える基礎は動かず、建物本体が揺れる設計にする。全部が一緒に揺れるより、階層的に異なる周期で動かすほうが、エネルギーを逃がしやすいんです。 GrainGSがこの方式を採用したのは、偶然じゃなくて、自然や物理が教えてくれた「安定と変化の両立法」を、映像再現にも当てはめただけなのかもしれません。つまり「リアルタイムで軽く、でも精密に」という制約の中で、人間の脳も自然も好む階層的な構造へ、むしろ自然に回帰した形と言えそうです。

この技術って、スマホ側が便利になる一方で、プライバシーとか撮影者の権利の面では何か変わることがあるのかな？

動く風景を「後から好きな角度で見直す」というのは、記録と再生の関係そのものを変えてしまうんですよね。 従来の動画は、撮影者が決めた視点で観客も見るしかない。 だから「何が映っているか」を撮影者がコントロールできました。 でも GrainGS で 3D 再現されると、観客側が「見たくない部分を見る自由」を得てしまう。 建物の裏側、窓の奥、人物の背後。 撮影時は映っていなかった領域を、AI が「想像」で埋めて提示するわけです。 映っていないものまで見られるということは、 撮影者の意図した情報開示の範囲が、事後的に広がってしまう可能性を秘めている。 特に屋内の映像をこの方式で保存すると、 家具の配置や居住者の生活痕が、想像された領域からもバレる恐れもある。 撮影時には「ここは映さない」と選別していた情報が、 再生時に勝手に復元されるという非対称性が生まれるのかもしれません。 便利さと引き換えに、「見せ方を制御する権利」が薄れていく側面があると言えそうです。