AI が『ルール守ってる』のに間違える問題、根本的な解決策を提案

『ビザンチン耐性』って、なぜ『ビザンチン』なんて呼ぶの？歴史の話なの？

ビザンチン帝国の歴史から来た名前なんですよね。 1980年代、コンピュータ科学者たちが「複数のコンピュータが協力するとき、何台まで故障・悪意を許容できるか」という問題に直面しました。その際に引き合いに出したのが、ビザンチン帝国の軍事作戦の話です。帝国の複数の将軍が離れた場所から作戦を協調させるとき、何人かが裏切り者かもしれない状況で、全体として正しい決定に達するには何人の合意が必要か、という古典的な問題があった。この歴史的な寓話が、当時の難しい計算問題の本質をうまく表現していたから、この名前が付いたわけです。 つまり歴史そのものではなく、「信頼できない参加者が混じった状況で多数決を機能させるにはどうするか」という普遍的な問題を説明する際に、わかりやすい比喩として使われた。それが今も残っている。今回の論文は、その古い枠組みが AI には通用しなくなったから、新しい理論が要るという指摘になっているわけです。名前は歴史由来だけど、実は現代の課題を解く鍵になっているのかもしれません。

銀行の取引承認とか医療診断って、すでに複数のAIで判断してるシステムがあるってこと？もう自分たちのお金や健康が、このやり方で決められてる可能性があるの？

実務の世界では、複数のAIが判断に関わるシステムがすでに稼働しているケースは確かにあります。ただし「完全に複数AIの多数決で決定が下る」というほどシンプルではなくて、むしろ段階的な確認の中に組み込まれているのが実際のようです。 銀行の融資審査なら、スコアリングモデルが複数の角度から信用度を計算して、最終判断は人間がするという流れ。医療診断支援も、複数の画像解析AIが候補病名を挙げるけれど、医師の判断が必須という建前です。つまり、AIが「ルール通りに」提案や判断を下すまでは進んでいるけれど、最終的なゴーサインは人間が握っているシステムが多い。 ただし、この論文が指摘する問題は、まさにそのAI層の信頼性が今より上がった時に顕在化するリスク。AIの精度が99%になった時、複数のAIの結果が食い違うことが稀になり、むしろ「みんな同じ間違いをしている」という隠れたリスクが見えにくくなる可能性があります。人間の判断を通す現在のシステムが、実は「異なるAIの多様性」があって初めて機能している部分もあるのかもしれません。

AIが複数で協力するシステムって、ここ数年急に増えたの？それとも昔からあったけど最近になって『実は間違ってた』と気づいたの？

複数 AI の協力システム自体は昔からあるんですが、「実は間違ってた」と気づくタイミングが変わってきたのが大きいですね。 昔は AI は補助的なツールで、最終判断は人間がしていました。銀行の取引承認なら機械学習で疑わしい取引を検出し、人間が確認する。医療診断支援でも、AI が候補を挙げて医者が判断する。この方式では AI の「意味的な間違い」が表に出にくかった。人間という検査関所があったから。 ところが最近は、AI どうしが直接やり取りして意思決定するシステムが増えています。自動売買、分散オブザベーション、医療の複数 AI 診断。そこで初めて『個々のプロセスは正しいのに結果が間違ってる』という事態が顕在化したんです。 さらに決定的なのが、同じ大規模言語モデルや同じトレーニングデータを複数の AI が使うようになったこと。すると多数決の論理が成り立たなくなる。同じ嘘を一斉に繰り返すわけですから。その構造的な脆さに気づいたのが、この論文の背景にあるのかもしれません。

これって要するに『ルール通りに動いても、根本的な理解が間違ってたら意味ない』という、AIだけじゃなく人間の組織でもありそうな話？

その通り、この構図は組織の中に確実にあります。 たとえば品質管理チームが「マニュアル通りに検査してる」のに、 実は誤った仕様理解に基づいて全員が同じ基準で判定してしまう。 営業チームが「営業方針に従ってる」のに、 市場の変化を見落としたまま全員が同じ営業トークをしてる。 そういう場面は企業にあふれています。 ただ違うのは、人間の場合は「異質性がかなり勝手に入る」という点。 営業マンAさんは顧客の反応に気づいて勝手に工夫するし、 品質管理の佐藤さんはマニュアルに疑問を持って上司に報告する。 個人差や反発心や直感が、システムの盲点を埋めている側面がある。 AIの怖さはそこなんですよね。 同じモデルを共有している複数のAIは、 マニュアルも意思決定の根拠も全く同じだから、 間違いは「局所的」ではなく「一斉に同じ方向」で起きる。 人間の組織は無意識に冗長性を持ってるのに対して、 分散AIシステムは合理性を追求するあまり、 その冗長性をすべて削ぎ落とす傾向がある。 だから逆説的に、AIこそ「わざと違う学習をさせる」 「意図的に異なる視点を混ぜる」という非合理性が必要になるのかもしれません。

複数のAIが同じ間違いを繰り返しやすいなら、逆に『多様なAIを混ぜる』ことで初めて安全になるってこと？つまり、AIの多様性って、これまで誰も問題にしてなかったってこと？

AI の安全性といえば、これまでは「十分な数を集める」「アルゴリズムを厳密にする」という方向で考えられてきました。でも読者が指摘してることは、実はそれだけじゃ足りないという気づきなんですよね。 医療診断を例に考えると分かりやすいです。同じ学習データで育った AI を 100 個集めても、全部が同じ誤診をする可能性がある。これは従来の「故意の嘘つきに対する防御」とは全く違う問題。多数決は、参加者が独立した判断をしているという前提で初めて機能するのに、AI は依存してしまってるわけです。 だから多様性が急に重要になる。異なるデータセットで学習させた AI、異なるアーキテクチャの AI を組み合わせることで、「たまたま同じ間違いに陥る確率」を下げられる。一つの AI が見落とすパターンを、別の AI が補える可能性も高まります。 ただ、これが「誰も問題にしてなかった」というより、実装の複雑さから避けられてただけという側面もありそうです。同じ仕様で複数 AI を用意するほうが、管理も検証も楽だったから。いまになって、安全性のためには手間をかけるしかないと気づき始めたのかもしれません。