映像・音声・言葉で「何が」「どこに」を同時に理解するAI

「モダリティ」って、映像と音声とテキストのことを言ってるの？それとも別の意味？

「モダリティ」は、映像と音声とテキスト、その3つの情報の種類そのものを指す言葉です。 正確には、情報がどの「形式」で伝わってくるかを意味します。映像は目で見る形式、音声は耳で聞く形式、テキストは文字を読む形式。この3つの異なる「伝わり方」の種類が、モダリティというわけです。 言い換えると、同じ出来事を複数の方法で表現できるイメージですね。「犬がいる」という事実を、映像で見せることもできるし、音声で「わん」と鳴く声を聞かせることもできるし、「犬がいます」とテキストで書くこともできる。その3つの異なる表現方法が、それぞれ一つのモダリティなんです。 機械学習の世界では、こうした複数の情報源を同時に処理することを「マルチモーダル」と呼びます。記事で言う通り、映像と音声とテキストを一度に処理するAIは、この3つのモダリティを扱っているということになります。新しい情報の形式が増えるたびに、AIはそれをどう組み合わせて理解するかが課題になってくるわけです。

スマートスピーカーとか家の中で使うAIが、『どこに』を理解できるようになると、私たちの生活で何か変わるの？

スマートスピーカーが「どこに」を理解できるようになると、指示の精度が劇的に上がるんですよね。 いま「リビングの照明をつけて」と言っても、複数の照明がある家では曖昧です。でも「テレビの近くの照明」という相対的な指示が通じるようになれば、一々部屋を移動して確認する手間がなくなる。音声で「ソファの横から猫の鳴き声がしたけど」と言えば、AIがカメラ映像の中からソファ付近を認識して対応できるようになる。 より大きくは、AIが家の「地図」を脳内に持つ感覚に近づくということです。いまのAIは「何が」の断片的な理解を重ねているだけですが、「どこに」がつながると、家全体の空間構造を認識し始める。結果として、「今どこで何が起きているか」を予測する力も生まれてくる可能性があります。 ただ、同時にプライバシーの問題も濃くなっていくのかもしれません。AIが家の細かい配置や日常の物体の位置まで記録・学習するわけですから、誰がどこにいて何をしているかという情報が、これまで以上に詳細に認識されることになる。便利さと引き替えに、何をどこまで見張られるのかという問題も浮上しそうです。

いままでAIは『何が』は得意だったのに『どこに』は苦手だったのって、技術的にそんなに難しいことなの？

映像認識の歴史を見ると、実は『何が』と『どこに』は技術的に別の問題なんです。 『何が』は分類問題。犬という物体のパターンを学習して、「これは犬だ」と判定する。ニューラルネットワークは画像全体のパターンマッチングが得意だから、大量の教師データがあれば精度が上がります。スマートフォンの顔認識も同じ構図。 一方『どこに』は位置特定問題。「その物体が、画像のどのピクセルに、どのくらいの大きさで存在するのか」を細かく把握する必要があります。音声やテキストを混ぜるとさらに複雑になって、「犬の鳴き声」と「映像の左奥にいる犬」を結びつけるには、三つのモダリティが指す同じ現象を理解する層が別途いる。 つまり、既存システムは『何か』を認識する強力な仕組みに乗っかって、位置情報は後付けで推定してた。だからズレが生じやすかった。SceneBindは、位置情報を最初から一緒に学習させることで、三つの情報源が同じ「犬」を指しているというコンテキストを統合できるようになってる。簡単に見えて、けっこう手強い問題だったということのようです。

つまり『SceneBind』って、複数の情報源から同じ対象を『つじつま合わせ』して理解する仕組みってこと？

そう見えるのは自然ですが、「つじつま合わせ」よりも一段階深い構造だと言えそうです。 従来のマルチモーダルAIって、映像・音声・テキストを別々に処理してから、あとで「合致してるか確認」するイメージですよね。でもSceneBindは違って、最初からそれら三つの情報が「同じ空間のどこを指しているのか」という位置という共通言語で繋がるようにしてる。 具体的には、「犬の声がした」という音声情報と「映像に映ってる犬」と「テキストで『犬』と書かれてる」が、単に「どれも犬の話だ」と認識するのではなく、「この空間の、このポイントの犬を指してる」と同時に把握する。位置という座標軸を引くことで、三つの情報源が自動的に整合する仕組みになってるんです。 つまり確認作業が要らなくなって、複数のモダリティが最初から「同じ場所を見てる」という状態になる。これはロボットが実際に部屋を移動するときや、空間を必要とするタスクでは、かなり効率的に動くことになりそうです。

映像と音声とテキストを組み合わせることで、逆にAIが誤解しやすくなる場面もあるんじゃないの？

実は逆で、複数の情報源が揃うと、AIの誤解は減る傾向にあるんですよね。 「犬の声が聞こえた」という音声情報と「ソファの奥に茶色い物体がいる」という映像情報が一致すれば、それは本当に犬である確度が高まります。一つの情報源だけなら、映像のノイズを音声が補正し、音声の曖昧さを映像が支える。三つ揃うと、その相互補正はさらに強くなる。 ただし、ご指摘の「誤解しやすくなる」というシナリオは、実は存在します。それは情報が矛盾したときです。たとえば、録音された「犬の声」なのに映像には猫しかいない。あるいはテキストで「猫がいる」と書かれているのに、実際の映像には犬がいる。こういう場合、AIは複数の信号の中でどれを信じるかを判断しなければならず、その判断を誤るかもしれません。 SceneBind が工夫しているのは、そうした矛盾を減らす学習データセット（音声と映像を同時に記録したもの）を使うことで、「本来一致すべき情報」を学ばせる点です。つまり、誤解を完全に防ぐのではなく、誤解が起きやすい場面を最初から避けるという戦略と言えそうです。