英語とヨルバ語の混ざった音声、AI はちゃんと聞き分けられているのか

『言語が切り替わる瞬間』って、どういう状態のことを言ってるの？単語ごとに切り替わるのか、文ごとなのか？

言語切り替わりの「瞬間」というのは、話者が一つの言語から別の言語に移る境界線のことです。単語単位で切り替わることもあれば、文単位、句単位と、切り替わりのパターンは色々あるんですよね。 たとえば「I went to the market yesterday, ati awọn omo won ṣe ere」みたいに、英語の一文を言った直後にヨルバ語に切り替わるケース。あるいは「The weather is very nice, ṣugar」のように、英語の文の途中でヨルバ語の単語を一つ挿し込むケース。どちらの場合でも、AI は言語の切り替わりラインを正確に判定して、それぞれの言語ルールで音を文字に変換する必要があります。 問題は、AIが訓練される時点で「英語とヨルバ語が自然に混在する音声」のデータが圧倒的に不足していることにあります。単一言語の音声なら大量にあるけど、混ざったものは少ない。だから、言語が切り替わる瞬間、AIは「どちらの言語の音韻体系で解釈すればいいのか」で困ってしまう。特にヨルバ語のような言語は訓練データが英語より圧倒的に少ないので、切り替わり地点でほぼ全滅する状態が生まれるのかもしれません。

日本でも外国人が日本語と英語を混ぜて話すことあるけど、そういう場面でAIが字幕を作ったり翻訳したりする時は、このヨルバ語の問題と同じことが起きてるってこと？

日本語と英語の混用は、ヨルバ語と英語の場合よりは少しましかもしれません。理由は、AI が日本語と英語の両言語で大量に訓練されているから。一方、ヨルバ語はデータが圧倒的に少ないので、言語切り替え時に学習パターンそのものが存在しない状態に陥ります。 ただ、構造的な問題は日本語にも当てはまります。日本語と英語を交ぜて話す場面で、AI は「どっちの言語が話されてるのか」を判断する際に迷いやすい。すると、カタカナ英語と実際の英語が混在する時に特に弱くなる可能性があります。「マーケティング」と「marketing」を同じ概念として扱えず、一貫性を欠いた字幕になったりね。 加えて、日本語を学習したモデルと英語を学習したモデルが別々だと、言語の切り替え地点で翻訳や補足が入り込みやすくなる。生成型 AI の場合、「ユーザーは訂正してほしいのかな」と勝手に解釈して、話者が言ってない日本語を足してしまうかもしれません。結局のところ、ヨルバ語のように劇的ではなくても、日本語と英語の混用も AI にとっては「想定外の使い方」の領域にあると言えそうです。

これまでAIの音声認識は『単一言語でのテスト』ばかりで良い点数をもらってたってことは、世界の大多数の音声データが実は一言語のものばっかりだったってこと？

その通りのところもあり、そうでないところもあります。訓練データと評価方法の問題が同時に起きているんですよね。 AI の音声認識システムは、大規模な訓練データから学びます。そのデータは圧倒的に英語が多い。YouTube や Podcast などの公開音声の大半が英語であり、その次がスペイン語や中国語といった主要言語。ヨルバ語のような言語のデータは極めて少ない。だから AI も必然的に英語に強くなる。 ただ「世界の音声が一言語ばかり」というわけではなく、むしろ評価の側が「単一言語のテストで十分」と判断してしまったのが大きいんじゃないでしょうか。ビジネス的には英語ユーザーが多く、テストも英語に特化してくる。すると「このシステムは精度95%」といった評価が独り歩きする。でも実際には、複数の言語が混在する環境では、その性能は通じない。AI 産業が標準化してきた「テストの狭さ」が、現実との乖離を隠していたと言えそうです。

つまり、AIって『標準的な環境では得意だけど、少数派の言葉や混ざった状況では途端に弱くなる』ってパターン？

そう、その通りなんですが、ここからが大事で。なぜそんなことが起きるのかというと、AIの学習データの偏りが映し出されてるんですよね。 音声認識システムは、インターネットに溢れてる英語の音声データをほぼ無限に吸収できます。でもヨルバ語となると、デジタル化されたデータが圧倒的に少ない。さらに「英語とヨルバ語が混ざった自然な会話」なんて、AIの学習対象ではほぼゼロに近い。だから、言語が切り替わった瞬間、AIは対応する訓練を受けてないわけです。 面白いのは、これって音声認識だけの問題じゃなくて、AIの全般的な弱点を示唆してることなんですよね。標準的なテストで高スコアを取っても、それは「よく見かけるシナリオ」で優れてるというだけ。少数派の言語、少数派の使い方、複数の文化が交じった現実には、ぜんぜん対応できていない。グローバルなAIのはずなのに、実は言語マイノリティにとっては使い物にならなくなる仕組みになってるのかもしれません。

ヨルバ語でうまくいかないってことは、その逆に『英語のデータは世界中にいっぱいあるから、ヨルバ語の人たちより英語話者の方がAIの恩恵を受けやすい』ってことにもなるの？

正確にはそう単純ではなくて、むしろ逆説的なんですよね。 英語のデータが圧倒的に多いから、英語話者は「単一言語で話す限りは」AI の恩恵を受けやすい。でも記事の核心は、現実には言語が混ざるということ。ヨルバ語の地域で暮らす人たちは、仕事でも日常でも英語とヨルバ語を織り交ぜて話します。その時点で、英語データが豊富であることのメリットが半減してしまう。むしろ弱点が露呈する。 一方、英語圏の人（純粋に英語だけで生活する人）には、この問題が起きない。AI の不具合を経験しにくいので、恩恵を受けている自分たちに気づきにくいのです。 つまり、データの不足と、多言語環境での使用の困難さは別の問題。データが豊富な言語こそが、実は「ハイブリッドな話し方」に対応できていないという矛盾が生まれている。英語話者が最も恩恵を受けるのは、システム全体がまだ彼らの使い方（単言語）を前提に設計されているからこそ、という側面もありそうです。