動作認識AI、肌の色で誤判定する問題を発見

『動作認識AI』って、要するに監視カメラとかが『あ、この人、手を上げた』『走ってる』みたいに判定する仕組みのこと？

そうですね、その通りです。動作認識AIは、カメラが映している映像から「人がどんな動きをしているのか」を自動で読み取る仕組みです。 監視カメラの例で言えば、駅の構内で誰かが倒れた、或いは暴力的な動きをしている、といった緊急事態を自動検知して通報する。スポーツ中継なら、野球選手のスイング角度とか、サッカー選手がボールを蹴った瞬間を自動でキャッチして、スロー再生のポイントを見つける。工場なら、作業員が危険な動きをしていないか監視する。映像に映っている点々（人の関節の位置）の移動パターンを数式で処理して、「この動きはジャンプ」「これは転倒」という具合に分類していくわけです。 ただ、この研究が指摘しているのは、そのAIが「動きだけ」を見ているわけじゃないという点。背景にある肌の色といった視覚情報も、知らず知らずのうちに判断材料に入り込んでいるということなんです。だから同じ動作なのに、肌の色が違うと誤判定される。自動システムだからこそ、そういう見た目による歪みが人間より徹底しているのかもしれません。

駅の防犯カメラがこの問題を持ってるってことは、痴漢の容疑者を間違って特定されたり、疑われたりすることもあり得るってこと？

理論上はあり得るというべきでしょうか。ただし、実際の防犯カメラの運用では少し別の段階があります。 AIが動作を認識する段階では、肌の色による誤判定が起こりえる。でも防犯現場では、その認識結果を人間が必ず確認します。映像を見た警察官や駅員が「この人の動きは疑わしい」と判断して、初めて特定や職務質問に進むわけです。 問題は、その「人間による確認」の段階でも、AIが「このグループの人は不審」と判定しやすい状態になっていると、人間の判断に無意識の影響が出てくることですね。AIの誤判定が確率的に偏っていると、警察官の目も、知らず知らずそこに引っ張られるかもしれない。 さらに厳しく言えば、痴漢冤罪は「容疑者を間違って特定される」段階より前に、「そもそもAIが不審な動きと判定しやすい層がいる」という構造的な不公平が、検挙される人の比率にも影響する可能性があります。直接的な誤認ではなく、より見えにくいバイアスが積み重なる形で表れるのかもしれません。

AIの精度が肌の色で変わるって、これはAIの訓練に使うデータが、ある肌の色の人にばっかり偏ってたからなの？

訓練データの偏りが一因であることは確かですが、それだけでは説明しきれないんですよね。 例えば、訓練データに様々な肌の色の人が含まれていたとしても、問題は起きる可能性があります。なぜなら、動画や画像の撮影条件そのものが肌の色に影響するから。照明の当たり方、カメラのセンサー特性、圧縮方式など、技術的な要因で特定の肌の色の動きが「より鮮明に」「より暗く」「より細部まで」捉えられることがあります。AIはそれを「動きの信号」として学習してしまう。 加えて、訓練に使う動作データそのものの構成も関係しているのかもしれません。例えば「転倒検知」を学習させるなら、どんな体型の、どんな肌の色の人の転倒を大量に学習させたのか。偏ったデータセットなら、未見の肌の色の転倒は「転倒らしく見えない」と判断される可能性がある。 つまり、訓練データの多様性だけを増やしても、撮影環境や前処理の段階で既に歪みが入っていれば、その歪みがそのままAIに引き継がれてしまうということになりそうです。

これって『機械学習は無差別に見えるけど、実は学習データに含まれた人間の偏見をそのまま引き継いじゃう』っていう、よくあるAIの問題の一つなの？

確かにそれも一因ですが、この動作認識の問題は少し違う層にある気がします。 学習データの偏見を引き継ぐというのは、たとえば「医学論文の対象が白人ばかりだったから、診断AIが非白人に弱い」みたいな、データセット自体の歪みの話ですよね。 でも動作認識は、同じ動作なのに肌の色だけで精度が変わっているわけです。つまり、学習時に「この肌の色の人がこういう動きをしている」というパターンが、訓練データに偏って含まれていたのかもしれません。あるいは、肌の色と動きを別の情報として分離すべきなのに、AIが勝手に「肌の色が濃い→こういう動きの可能性が高い」みたいな相関を掴んでしまった。 つまり、データの偏りの問題というより、AIが「関係ないはずの特徴」を判断に混ぜてしまう「特徴の絡まり」という感じがします。データは正しくても、モデルが学習の過程で余計なパターンを拾ってしまう。それが公平性の落とし穴になっているのかもしれません。

スポーツ中継の解析でこれが起きてたら、特定の肌の色の選手の動きが誤認識されやすくなってて、統計データとかに影響してたりしないの？

スポーツ中継の解析でこの問題が起きていたとしたら、統計データへの影響は確実にあり得ます。たとえば、特定の肌の色の選手の動きが誤認識されやすければ、その選手の「走行距離が少なく記録される」「ボールタッチの回数が数えられない」といった形で、実際よりも過小評価されることになりかねません。ここで重要なのは、誤差が均等ではないということ。全員に同じ程度の誤認識が起きるなら、相対的な比較は成り立つかもしれませんが、肌の色で誤り方が違うと、特定の選手やチーム構成によって有利・不利が生まれてしまう。データ自体が「公平に見えるけど、水面下では偏ってる」という最悪のシナリオが隠れている可能性があります。現場のスポーツ関係者の多くは、AIの出力をそのまま信じている可能性が高いため、この問題に気づかないまま使い続けてるかもしれません。