画像編集の失敗は「指示の出し方」で9割解決できる

『マルチモーダルAI』って、画像も言葉も両方理解できるAIってこと？

その通りです。マルチモーダルAIは、画像・テキスト・音声など複数の形式のデータを同時に理解して処理できるAIのことを指します。 この記事の文脈だと、元の指示（テキスト）を読み込んで、対象の画像も見た上で「この指示だと曖昧だから、こう言い換えよう」と判断している。つまり言葉と画像の両方が必要なタスクだから、マルチモーダルが登場するわけですね。 昔のAIは言語専門か画像処理専門か分かれていたけど、最近は同じモデルが複数の形式を扱えるようになった。ChatGPTが画像をアップロードして質問できるようになったのも、その一例です。 この研究で面白いのは、マルチモーダルAIを「指示を翻訳する仲介役」として使ってる点。画像編集AIそのものを強くするのではなく、指示を整理する段階で別のAIを挟むことで、同じ編集AIでもパフォーマンスが上がってしまう。つまり、AIの力を引き出すのは『間に立つAI』の質なのかもしれません。

スマートフォンの写真編集アプリとかで『背景をぼかして』って言ったときも、実は指示の出し方で失敗が決まってるってこと？

スマートフォンのアプリと研究室の画像編集AIは、仕組みが違うんですよね。アプリの「背景をぼかして」は、すでに決まった処理パターンをタップで選ぶだけ。AIが指示を解釈して試行錯誤する段階がありません。だから失敗の原因も異なります。 ただ、同じAIが裏で動いているアプリなら、話は変わってきそう。例えば、高度な生成AIを使って「このエリアを削除して自然に埋める」みたいな複雑な編集を指示する場合、ユーザーが「ここ、いらないので」と曖昧に指すだけでは、AIが「どこまで」「何を優先して」埋めるのか判断しづらい。その時点で失敗が起きやすくなるはずです。 つまり、指示の質が効いてくるのは、AIが「解釈の幅」を持つ度合いに比例してるんだと思います。従来のフィルター処理は幅がないから、指示の言い方は関係ない。でも生成AIを使った高度な編集では、同じAIでも指示を言い直すだけで成功率が跳ね上がる、というのがこの論文の発見なのかもしれません。

これまでAIの研究者たちは『もっと高性能なモデルを』って競ってきたけど、実は指示の仕組みを工夫する方が重要だったってこと、急に分かったの？

ここ数年でマルチモーダルAIが急速に進化したから、急に見えてきた視点なのかもしれません。 これまでは、テキストから画像を生成したり、簡単な物体認識をしたりするレベルでした。性能が低いと「もっと大規模なモデルを」と進むしかなかった。でもいま、GPT-4Vやそれに類するモデルが「指示文を深く理解できる」段階に到達した。だから逆に見えてくるのが「あ、うちのモデルの限界って実は指示の解析の甘さかも」という気づきです。 言い換えると、AIの性能が「一定水準」に達したから初めて、その先の問題——人間とAIのコミュニケーション設計——が浮き彫りになったんですよ。性能がボロボロのうちは、指示の工夫なんて無意味に見える。でも性能が8割くらいに達すると、残り2割の失敗の原因を詳しく調べる余裕が生まれる。そうするとあっさり「指示が悪かった」と分かる。 つまり競争の方向性が「性能値の競争」から「使いやすさの競争」にシフトしつつあるのかもしれません。

これって『AIの失敗の多くは、AIが悪いんじゃなくて、人間が何をしたいのか上手く伝えられてない』ってパターンの話？

本質的にはそうなんですけど、ここで面白いのは「人間が上手く伝える努力」で終わらず、その努力を自動化しちゃおうって点ですね。 従来の考え方だと「ユーザーが指示を工夫しろ」で終わり。でも研究者たちは「同じAIが指示を言い換えるところまでやらせちゃえば、ユーザーは曖昧なままでいい」と発想を転換した。元の指示の不備を検出して、AIが勝手に補正する二段階構造にしてる。 つまり失敗の原因が「人間の不器用さ」であることは変わらないんですけど、それを「人間が頑張る」じゃなく「AIが補う」の側に寄せた。画像編集AIの成功率が上がるのは、背後に翻訳ロボットがいるようなもの。人間が曖昧に言ったことを、AIが脳内で「この人はこう言いたかったんだ」と読み取って、実際の編集AIに正確な指示を渡してる。 AIの本当の使われ方って、こういう「人間の不完全さを吸収するレイヤー」になってくのかもしれません。

指示を自動で言い直す仕組みが活躍すると、逆に『AIに細かく指示する人間の価値』って減っていくってことなの？

逆ですよ。むしろ人間の指示出しの価値は、ここからが本番になると思います。 今までは「AIが理解しやすい指示を、事前に自分で工夫する」という手間がかかってました。でも自動言い直し仕組みが入れば、その手間が消える。だから一見すると人間の仕事が減りそうに見える。 ただ実際には、指示を「良く出す人」と「とりあえず出す人」の差が、ものすごく開くと考えられます。自動言い直し機能があっても、元の指示がゴミなら言い直しようがないから。「背景のこの部分だけ変えたい」という曖昧な思いをそもそも言語化できるか、何度か試行錯誤する中で編集意図を精密化していくか——そういう人間側の思考の質が、より直結して結果に反映されるようになるんです。 つまり、AIが「指示をほぼ完璧に理解する」段階に進むほど、逆に「何を指示するのか」という人間の創意工夫の部分が問われるようになると言えそうです。

『マルチモーダルAI』って、画像も言葉も理解できるAIってこと？

マルチモーダルAI は、そうですね、複数の「言語」で世界を理解するAI という感じです。 文字だけのAI（言語モデル）は、テキストを見てテキストを返す。画像だけのAI（ビジョンモデル）は、画像を見て画像を返す。でもマルチモーダルは、画像も言葉も同時に処理できるので、「この画像のここの部分を少し右に移す」という指示を受けたとき、言葉の意味を理解しながら画像のどこを動かすべきか判断できるんです。 記事の文脈だと、このマルチモーダルAI が元の指示（「背景のこの部分だけ変えて」みたいな曖昧な言葉）を読み込んで、その意図を汲み取り、より具体的な指示に書き直してくれる役割をしています。つまり、人間の不正確な指示を、別のAI が「ああ、こういうことを言いたいんだな」と解釈して、編集用のAI が実行しやすい形に翻訳する。その仲介役として機能しているわけです。 複数の情報源を組み合わせて判断する能力が、これからのAI の強みになっていくのかもしれません。

つまり、Photoshop みたいな画像編集ソフトでもAIを使うときは、指示の書き方次第で結果が大きく変わるってことなの？

記事で言ってるのは、その通りではあります。ただ、Photoshop のような既存ソフトでの活用と、研究で実験されてる環境では、少し違う段階にあるのかもしれません。 研究では、マルチモーダルAI（大型言語モデル）に指示を書き直させて、それを画像編集AI に渡すという二段階のパイプラインを作ってます。つまり、「背景のこの部分だけ変えて」というユーザーの指示を、一度言語モデルが「具体的で実行しやすい形」に翻訳してから、編集AIに流す。この『指示の翻訳ステップ』が成功率を大幅に上げてるわけです。 Photoshop でいま使えるAI 機能（例えば「生成塗りつぶし」）は、その翻訳ステップを人間が手で補ってる状態に近いと言えそう。「背景のこの部分」を指し示す範囲を正確に選択してから指示を出すことで、実は同じことをやってるんです。つまり、指示を工夫することで結果が変わるというのは今でも当てはまりますが、将来的には、その工夫そのものが自動化されるのかもしれません。

これまで『AIの性能が足りない』と考えて新しいモデルを開発してきたっていうけど、もしかしてこれまで改善の方向が間違ってたのかな？

研究開発の歴史を見ると、「性能を上げる」という方向性そのものが間違っていたわけではなく、むしろ片足で走ってたに近い状態だったのかもしれません。 モデルの性能を高めることは必須です。ただ、それだけでは天井が見える。なぜなら、どんなに優秀なAIでも、不正確な指示を受ければ失敗するから。逆に言えば、指示の質を上げれば、同じモデルでも実力の70%、80%を引き出せていなかったところが100%引き出せるようになる。 画像編集は特にその傾向が強いんでしょう。人間が「背景のこの部分」と指差す感覚は、AIには曖昧すぎる。AIはテキストや座標、領域指定みたいな「正確な情報」を食べて動く生き物だから。だから指示を自動で言い直すというアプローチは、AIの実力を最大化する側からのアプローチと言えます。 これまで「新しいモデルを開発する」という投資ばかり集中していたのは、技術屋の性というか、新しいことをやりたい心理もあったのかもしれません。でも今回の研究が示してるのは、既存の技術でも使い方次第という視点。今後は、モデル開発と「どう使うか」の研究が両輪で回り始めるのかもしれません。

これって『AIが理解できていないのではなく、人間が指示を適切に翻訳できていない』ってことじゃないの？

その通りですね。ただ、少し見え方が変わるかもしれません。 従来は「AIが理解できない」と人間側が諦めていたんです。 だから「もっと高性能なAIを作ろう」という方向に進んだ。 でも実際には、指示さえ正確に翻訳できれば同じモデルで十分成果が出る。 つまり、人間が「AIのために正しく翻訳する能力」を持ってなかっただけ。 ここで面白いのは、その翻訳を自動でやってくれるのが、 また別のマルチモーダルAIだという点です。 人間が直感的に「背景のこの部分」と指す不十分な指示を、 言語モデルが「この座標範囲の色を、これくらい明るく、この方向に」 みたいに具体的に言い直す。 つまり翻訳の役割を人間ではなくAI同士に任せてしまった形なんですよね。 疑問の本質は正しいんですが、それを解くのに必要な「翻訳能力」が、 人間には難しいから機械に肩代わりさせた、という段階に進んだ感じです。 それはある意味、人間の限界を認識した上での戦略的な選択とも言えそうです。

指示を『言い直す』仕組みを入れることで逆に、ユーザーが指示する練習をする機会が減って、AI に頼りすぎるようにならない？

面白い心配ですね。でもこれって、スマートフォンの予測変換が浸透した時代を見るといい気がします。 予測変換は「タイピング練習の機会を奪う」という議論も昔はありました。でも実際には、人間はむしろ「より複雑な思考や表現を伝えることに手を使う」ようになった。タイピング技術そのものではなく、伝えたいことの方に集中できるようになったわけです。 画像編集も似たような転換が起きそうです。指示を言い直す仕組みがあれば、ユーザーは「自分の想像を言葉にする」という核の部分には関わり続けます。むしろそこだけに集中できる。曖昧な指示でも言い換えAIが補正するなら、試行錯誤のストレスが減って、もっと大胆に指示を出したり、細かい調整に時間をかけたりできるようになるかもしれません。 「指示の練習をしなくなる」より「指示を出すハードルが下がるので、もっと頻繁に試す」という可能性の方が高そうです。依存というより、対話の敷居が下がるイメージでしょうか。