銀行のAI化で『何が起きているか』を誰が説明できるのか

『証拠基盤』って、要するに『AIがどう判断したか、その根拠をいつでも取り出せる状態』ってこと？

そうですね、ただそこまでシンプルではないのかもしれません。AIの判断根拠を取り出せるだけでは、実は不十分な側面があります。 AIが「この顧客は貸し出してもいい」と判断した理由を説明できても、その説明自体が本当に正確なのか、AIの学習データに偏りがなかったのか、運用上のパラメータがいつ誰に変更されたのか——こうした層状の情報全部が「いつでも検証できる状態」に置かれていることまで含むと考えられます。 要するに『AIがどう判断したか』だけでなく、『なぜそう判断するAIを銀行が導入したのか』『誰がそのAIを監視しているのか』『データの質は担保されているのか』という、AIを取り巻く層全体の説明可能性を要求する考え方。 証跡がベンダーの社内に眠っていたり、「契約上は共有できない」という理由で隠れたりしていては、金融監督当局は検証のしようがないわけです。だから『証拠基盤』というのは、根拠をあるだけじゃなく、常に第三者が掘り出し検証できる状態を制度設計の段階から組み込む、くらいの強さで考えておくとよさそうです。

銀行のAIが何か誤判定して、自分の口座が凍結されたとしたら、理由すら教えてもらえない可能性があるってこと？

理論上はあり得る話です。銀行の担当者が「システムが判断した」と言っても、その判断の過程がAIの学習パラメータに埋め込まれていたら、誰も説明できない。あなたが「なぜ凍結されたのか」と問い詰めても、返ってくるのは「不正利用の可能性が検出された」という結果だけ。その理由を遡ろうとしても、ベンダーが「ブラックボックスです」と門前払いするかもしれない。ただし現実にはまだ歯止めがあります。銀行法や金融規制で「説明責任」が求められているから。違法な凍結なら異議申し立てできます。ただ、その異議申し立てがAIの説明不可能性にぶつかる局面が近づいてる、というのがこの論文の警告なんですよ。つまり「理由を説明できない決定」が増えると、不当な凍結と正当な凍結の区別すら付かなくなる危険性が出てくるということ。制度と技術のズレが、個人の生活を揺さぶり始めているのかもしれません。

銀行が外部ベンダーのシステムに頼るようになったのって、どうしてなの？コスト削減？それとも最近の流れ？

銀行が外部に頼るようになった背景は、単なるコスト削減じゃなくて、金融システム自体の複雑さが爆発的に増したからなんですよね。 昔は、銀行の基幹システムは自社で開発・保守するのが常識でした。ソースコードも仕様も全部把握できる。でも1990年代以降、デジタル化が進む中で、セキュリティ対策、国際基準への対応、決済の高速化、新しい金融商品への対応……こうした要求が次々出てきた。自分たちだけで追いつくのが限界になったんです。 それに、IT人材の争奪戦も激化した。優秀なエンジニアはGAFAMに吸い上げられ、銀行は人材確保が難しくなる。ならば最先端の技術を持つベンダーに丸投げした方が、短期的には効率が良い。経営判断としては合理的だったわけです。 ただここに落とし穴がある。複雑なシステムを外部に預けるほど、銀行自身がそのシステムに「依存」して、中身を理解しなくなる。気づいた時には、自分たちが何をしてるのか説明できない状態になってる。これはコスト削減の代償として、見えない脆弱性を抱え込んだということかもしれません。

これって『便利だけど複雑になりすぎて、誰も全体像を把握できない組織』のよくあるジレンマなの？

そのジレンマはある程度普遍的な構造ですが、金融の場合は致命的さの度合いが違うんですよね。 IT企業なら、サービスが止まっても預金が消えるわけじゃない。医療現場なら複雑さに直面しても、その場の医師の判断と責任が明確に存在する。でも銀行のAIが融資判断を下すとき、誰の裁量も介在していない。システムが「この人には貸す」と決めて、それが実行される。後で「なぜそうなったのか」を誰も説明できないとすると、金融システム全体への信頼そのものが揺らぎかねない。 複雑さの問題はどこにでもある。ただ金融は「透明性と説明責任が制度の根本」という特殊性を持っている。決定の根拠が追跡不可能になることは、単なる管理上の課題ではなく、制度の正当性そのものを問う話になっていく。だからこそ論文が「証拠基盤の再構築」と言い出すわけで、これはジレンマの解決というより、ジレンマを許さないルール設計への転換を迫られてる状況と言えそうです。

金融監督当局が『説明できるか』を求めるなら、逆に言うと、今までの銀行は『何が起きてるかわかったうえで』お金を動かしてたってこと？

昔の銀行は、少なくとも「誰が判断したか」は明確でした。融資の可否を決めるのは支店長で、その判断基準も「このお客さんの返済能力はどうか」と、人間の頭で追える論理だった。帳簿も手書きで、取引履歴も物理的に保存されていた。だから問題が起きた時、「あの時なぜそう判断したのか」と当人や上司に聞けば、説明できた。 AIが入った今は違う。数百万件のデータから、アルゴリズムが「これはリスクが高い」と判定する。その判定は統計的には正確かもしれないけど、「個別のこの取引になぜそう判定したのか」は、誰も説明できない。銀行の担当者も、ベンダーも、AIそのものも。 つまり昔は『透明だが粗い判断』で、今は『複雑で正確そうだが不透明な判断』なんです。皮肉なことに、テクノロジーが進むほど、金融システムが「何をしてるのか分からない暗箱」になっていく。監督当局が「説明してくれ」と言い始めたのは、その空白を埋めたいからなのかもしれません。