AI の『正しさ』は技術では決まらない

『委任人・代理人問題』って、経済学の言葉らしいけど、AI と何の関係があるの？

委任人・代理人問題は、実はめちゃくちゃ AI の構図と似てるんです。 経済学の古い概念なんですが、要は「Aさんが B さんに仕事を任せたのに、B さんが自分の利益を優先して動く」という矛盾を扱うもの。例えば、病院の患者（委任人）が医者（代理人）に治療を任せるのに、医者が高い検査ばかり勧める——本当に必要か分からない、でも医者は利益を得る。このズレです。 AI システムも全く同じ。企業がユーザーのために AI を導入したはずなのに、その AI が企業の売上を最大化するように調整されている。結果、誰かは得するけど、誰かは困る。医者の例なら患者が割を食う。AI なら、使う側と影響を受ける側が異なるんですよね。 この論文の強みは、「技術者が AI を『正しく』調整しました」という話では終わらないということ。経済学は何世紀も前から「利益が相反するとき、片方の都合だけで決めちゃダメ」と学んできた。その教訓を AI に当てはめるんです。つまり、委任人・代理人問題は、AI の暴走が単なる技術のバグではなく、利害関係者の葛藤の産物だと見える枠組みなのかもしれません。

チャットボットや推薦アルゴリズムが『正しく動く』かどうかって、結局は利用する自分たちが納得できるかどうか、ってこと？

そこまでシンプルじゃない部分が曲者なんですよね。 利用者が「納得できるか」は、あくまで一つの視点に過ぎません。チャットボットの回答に満足する人がいる一方で、そのボットの学習データに含まれた人の声や経験は、学習の過程で削られているかもしれない。推薦アルゴリズムがあなたに「ぴったり」なコンテンツを届けるのは便利ですが、その背景で別の誰かの機会が奪われているかもしれない。 つまり、利用者としての「納得」だけで「正しさ」が決まるなら、それは利用者の側の利益を優先したルールづくりに過ぎず、影響を受ける側の声が抜け落ちてしまうわけです。 この論文が言いたいのは、AI の正しさを決めるのに必要なのは、企業の技術者だけじゃなく、実際に使う人、使わずに影響を受ける人、規制する側など、関係者それぞれが対話の中で「今のところ、これが合意」というルールを作る過程そのものなんだと言えそうです。納得は重要ですが、それはあくまで複数の視点が交わった結果であるべき、ということですね。

これまで AI の『正しさ』を工学の問題として扱ってきたのは、どうしてなの？誰が、いつからそう考えるようになった？

AI の『正しさ』を工学の問題として扱う傾向は、AI 研究そのものが始まった 1950 年代から根強いんですよね。初期の AI は「与えられた目標を、いかに効率的に達成するか」という問題設定でした。チェスを勝つ、数学を解く、といった明確なゴールがある。そこでは「目標は決まってるから、あとは技術で最適化するだけ」という思考が自然に生まれた。 その思考が今も引きずられている一因は、AI が強力になってきた 2010 年代から 2020 年代にかけて、業界主導で開発が進んできたからだと考えられます。企業にとって「誰のためか」を問い直すより、「どう動かすか」だけ決まれば商品化できる。政府の介入よりも技術的な自動修正で解決したい、というインセンティブが強かった。この論文が経済学の枠組みを持ち出すのは、その工学中心主義の限界を示すためなんでしょう。技術では決められない部分こそが、今は重要になってきたということなのかもしれません。

つまり『誰かにとって都合のいいシステムは、別の誰かには都合が悪くなる』ってのは、AI に限った話じゃなくて、もっと大きな『権力の問題』なってこと？

そう、その通りです。AI はこの構造を非常に見やすくしただけ、という側面があります。 たとえば銀行の融資審査システムを考えると、銀行にとって「正しい」判断は「リスク低い顧客に貸す」ですが、審査に落ちた人には「機械的な排除」に見えます。でも実は、銀行の融資基準そのものが、昔からそういう権力を持っていた。AI の前は人間の審査員がやっていたけれど、判断基準の正当性が問われることは少なかった。 AI になると、アルゴリズムがむき出しになるので、「なぜこう判断した」が説明を求められやすくなる。つまり AI は、従来から存在していた権力構造——「誰が決め、誰が恩恵を受け、誰が負担するのか」——を、より透明に、より問い直しやすく浮き上がらせてしまう。 だから「AI を正しく調整する」という問題は、実は「社会のルール設定を誰が決めるのか」という、もっと根本的な政治的問いに行き着く。その意味では、AI は新しい権力問題ではなく、昔からあった権力配置が、技術的に可視化された段階に過ぎないのかもしれません。

AI が『正しく動く』ことを決める話し合いって、結局は声が大きい人や力を持ってる人が勝つ可能性もあるんじゃない？

その危惧、その通りだと思います。ただ、そこにこそ「統治のプロセス」という言い方の意味が隠れているのかもしれません。 完全に中立な『正しさ』は存在しない。だから、声の大きい人が勝つ可能性も、勝たせてはいけない仕組みも、すべて人間が選べるということなんですよね。技術で解決できない、という指摘は、逆に言えば「技術に丸投げできない」という責任が生じるという意味でもある。 力を持った人が AI の『正しさ』を一方的に決めることを防ぐには、複数のステークホルダーが意思決定に参加する必要があります。企業内の倫理委員会、市民の声を聞く公開協議、被害を受けやすい層の代理人参加……こうした仕組みを制度として組み込めるかどうかが、実は技術より大事なのかもしれません。 「結局は力が勝つ」という予想は、ある意味で正確です。だからこそ、その力を分散させ、定期的に問い直し、ルールを更新していく手続き的な正当性を、技術よりも丁寧に構築できるかが、AI 社会の分水嶺になっていくと言えそうです。