AI が話し言葉を別の言語に訳すとき、もっと自然な声で話させる技術

『ボコーダー』って何をする部分なの？音声を作る専門の機械みたいなもの？

ボコーダーは「音声を作る専門の機械」というより、「元の音声の個性を写す透明フィルター」みたいなものと考えるといいです。 翻訳音声の生成を2段階に分けると、理解しやすくなります。まず AI が「日本語の音声データはこんな感じ」と数字で予測を立てる。でもこの予測だけだと、機械的な声になる。そこでボコーダーが登場して、元の英語音声から「あなたの声の高さ、息遣い、リズム感」といった特徴を抽出し、それを日本語の予測に重ねていく。つまり、日本語の内容に、あなたの声質という「個性データ」を上乗せする役割です。 ちょうど、別の人が書いた手紙に、あなたの筆跡で署名するような感じ。内容は新しいけど、署名の癖はあなたのまま、という具合に。訓練データが不完全でも「元の音声を常に参考にする」構造にしているので、その参考元から個性が失われにくくなる。だから話者の声らしさが保たれるわけです。

これが実用化されたら、オンライン会議で外国人と話すときに、相手の声のまま日本語で聞こえるようになるってこと？

ほぼそうなんですけど、「相手の声のまま」というのが思ったより複雑なんですよね。 この技術が実現するのは、英語で話した人の「声質や話し方」を日本語に訳した音声に保つことです。つまり、相手の話すスピード、高さ、抑揚といった個性は残る。ただし、厳密には日本語の音韻体系に合わせて変形するので、完全に「同じ声」ではなく「その人らしい声で日本語を話している状態」になります。 現実的には、オンライン会議で相手の音声がリアルタイムで翻訳されて、相手の人格が声に乗ったまま聞こえる——それはかなり実現に近づいたと言えそうです。ただ、訓練に使われた150万時間のデータも、まだ主要な言語や標準的な音声が中心でしょうから、マイナー言語や訛りの強い話し方がどこまで対応できるかは未知数。また、リアルタイム処理の速度や、通信環境での安定性も、実用化には越えるべきハードルがあるのかもしれません。

今までの音声翻訳 AI はなぜ『別の人の声』になってしまってたの？技術的な理由は何だったんだろう？

音声翻訳は実は二つの難しい仕事を同時にやっているんですよね。言語を変えるのと、声を再現するの。従来のモデルは、限られた訓練データの中で「翻訳した日本語の音声を新しく作る」ことに全力を注ぐしかなかった。だから、日本語として正しく聞こえることは優先されても、元の話者のアクセントや話し方の癖まで再現する余裕がなかったわけです。 さらに突き詰めると、訓練データの問題が大きい。音声翻訳の場合、英語話者の音声と、その人が日本語で読んだ音声、その両方がセットで必要になります。完全にマッチしたデータって、実は稀なんです。その不完全なデータで「この人の英語の声から、この人の日本語の声を予測する」という精密な作業をさせられていた。結果、モデルは「無難に聞こえる日本語音声」を出力することで、リスクを避けるようになったのかもしれません。 Kraken は、音声データを圧縮して扱いやすくすることで、その制約から逃げた形です。訓練の質が完璧でなくても学べる工夫が組み込まれた、という点が重要に見えます。

要するに、『データ量が足りない中でも、限られた情報から個人らしさを保つ』ってことなんだ—これ、他の AI 技術でも同じ問題が起きてるの？

データ不足の中で「個人らしさ」を保つ問題は、実は AI 全般で深刻な課題になっています。 音声翻訳に限った話ではなく、画像生成 AI でも同じ構図があるんですよね。たとえば、あるアーティストのスタイルを学習させようとしても、作品数が少なければ AI は細部を再現できず、結果として「そのアーティストっぽい絵」ではなく「一般的な絵」を出力してしまう。医療 AI でも、特定の患者集団のデータが少なないと、その集団特有の兆候を見落とすことがある。 この研究が面白いのは、そうした制約を「別の工夫で補う」という発想にあります。完璧なデータセットを待つのではなく、限られた情報の中で「本質的な個性」だけを抽出・保持する仕組みを作る。圧縮と参照という2層構造は、言い換えれば「少ない情報でも個性は保ちうる」という仮説に基づいている。 データの量より質、あるいは量の限界を知った上での設計という考え方が、今後の AI 開発の鍵になりそうです。

自分の声で別の言語を話してる音声ができるようになったら、詐欺とか偽造音声の悪用リスクって増えないのかな？

技術が成熟すればするほど、悪用のハードルは下がるというのは確かです。ただ音声翻訳の場合、詐欺に使うなら実は「翻訳機能そのもの」は要らないんですよね。 詐欺師が狙うのは、ある人物になりすましてお金を引き出すこと。そのとき必要なのは「その人そっくりの声」だけで、言語を跨ぐ必要はない。つまり音声翻訳の技術というより、音声合成（ボイスクローニング）の進化そのものが本当のリスクなわけです。 むしろ音声翻訳が一般化するメリットの方が先に来そう。国境を越えた遠隔会議や、多言語対応のカスタマーサービスが一気に質上がるし、言語の壁で埋もれていた声や物語が世界に届きやすくなる。 悪用への備えは、別の層（音声認証の強化、来歴の追跡技術など）で対策していくのが現実的に見えます。新しい技術の光と影を天秤にかけるのではなく、影の部分を前提に、防御側も同時に進化させるというゲームなのかもしれません。