裁判所に出た『作られた判例』、なぜAIは止められない？

『存在しない判例を引用する』ってどうして起きるの？AIが判例をネットで探す時に、似た文章を間違えちゃうってこと？

ネットで「似た文章」を探す、という理解に近いんですが、もっと微妙なところがあります。AIが使ってる学習データには、判例の全文だけでなく、判例について書かれた記事や要約、法律ブログなども含まれている。そこで「〇〇判例では〇〇と述べられた」という言及を何度も目にすると、AIの中では「それらしい文脈」が積み重なっていく。すると、実は存在しない判例でも「これまでのパターンから推測すると、こういう判例があってもおかしくないな」という確率的な確信に達してしまう。実は、AIは「探す」のではなく「似たパターンを予測する」を繰り返しているんですよね。だから、存在しない判例でも、周辺の知識との整合性が高いと、むしろ信頼度が上がってしまう。法律の世界では「出所が何か」が最高に大事なのに、AIが見てるのは「文脈の滑らかさ」だけなのかもしれません。

法律AIがこういう誤りをするって分かったら、弁護士さんや裁判所は今後どう使い分けるんだろう？完全には信用できないけど、便利だからやめるわけにもいかないって感じ？

法律AIの誤りを知った後の「付き合い方」は、医療の検査機器に近くなるのかもしれません。 医者は血液検査の結果を信じますが、検査値だけで診断は決めない。必ず患者の症状や既往歴と突き合わせて、矛盾がないか確認します。同じように弁護士も、AIが提示した判例や法律を「参考情報の入口」として受け取り、必ず自分で裁判所のデータベースや法令改正履歴で検証する運用になっていくと考えられます。 ここで変わるのは、AIの役割の定義です。今は「答える道具」として使われているから、出力が誤っていると「AIが失敗した」と見なされる。でも「候補を高速に探す道具」に位置づけ直せば、人間が最後の確認を担当することが前提になります。検索エンジンを使うとき、上位の結果をそのまま鵜呑みにしないのと同じ感覚です。 弁護士業界もそれを理解してきたので、導入する側が「AIは案の入口、最終確認は必ず人間」という使い方を徹底することで、むしろ信頼度が上がる可能性もあります。完全信用ではなく、検証の手間を減らす補助輪に徹するなら、便利さと正確さの両立ができるのかもしれません。

AIが法律知識を扱い始めたのって最近のことだと思うけど、こういう誤りが相次いでるのは、急速に導入が広がってるからなの？それとも前からあったけど今になって問題が浮き彫りになったの？

法律AIの誤りが「急速な導入で浮き出た」のか「前からあった」のかは、実は両方が交じってるんですよね。 法律文献の検索やデータベース化は、実際には数十年の歴史があります。ただ、従来のシステムは判例の「テキスト」を並べるだけで、推薦や自動生成はしなかった。人間が読んで判断する前提だったので、誤りがあっても「検索結果の一つ」として埋もれていた。 ここ2〜3年、生成AIが『信頼度付きで回答を出す』ようになってから、問題が顕在化した感じです。AIが「これが正しい判例です」と言い切ると、弁護士や裁判官も一度は信じてしまう。その確信度の高さが、従来の検索ツールとは決定的に違う。 つまり、誤りそのものは昔からあり得たけど、AIが「権威を持って」嘘をつき始めたから、今になって法廷に出て問題になった。急速な導入も真犯人ですが、より深い理由は、生成AIが「確率的なもの」を「確実なもの」に見せてしまう構造にありそうです。

これって『正確さが求められる分野では、確率で答える仕組みじゃ危ないよね』という根本的な制限の話なの？だったら医療やインフラでも似た問題が起きる可能性があるってこと？

本質的には、その通りなんですよね。ただ法律の場合は、他の分野よりも「被害の形が先鋭化する」という特性があります。 医療やインフラでも確率ベースのAIは危ないのですが、法律はちょっと違う。医者が誤った情報を参考にしても、患者側に異議を唱える仕組みがあります。でも法廷では、AIが捏造した判例を引用されると、対抗側も同じAIで反論することになりかねない。つまり「誰も気づかないまま間違いが正当化される」ところまで進む可能性がある。 もう一つ大事な点は、法律知識の構造そのもの。医療データなら「この治療法は患者Aに効いた」という記録の集積で学べる。でも法律は「なぜこの判決か」の根拠を遡る必要がある。判例は孤立した事実ではなく、憲法→法律→判例という鎖で成り立っている。確率的な類似度では、その鎖が見えない。 だから「正確さが必要な分野全般の問題」というより、むしろ「知識の構造が多層的で、時間軸と出所が致命的に重要な分野」に限った制限と言えそうです。法律が、その筆頭というわけ。

裁判官の判断も時々ミスするけど、『AIのミスは見つけやすいけど、人間のミスは見落とされやすい』ってことがあるなら、むしろAIを使うことで誤りが減る場面もあるんじゃないの？

面白い質問です。確かに人間のミスは埋め込まれやすい。ただ、法律の場でそれが起こると様相が違うんですよね。 裁判官のミスは、手続きで救済される仕組みになっています。控訴、再審、異議申し立て——誤りを正す過程が制度化されている。その過程で「なぜこの判断に至ったのか」が問われ、論理的矛盾や法令違反があれば、上級裁判所が覆せます。つまり人間のミスは「発見可能性」が組み込まれているんです。 AIが引用する存在しない判例は、違います。弁護士がそれを信じて法廷に出せば、相手の弁護士も最初は気づかないかもしれない。控訴段階で初めて「これ、実在しない」と分かる。その間に、不適切な判断が確定している可能性がある。さらに怖いのは、AIが返すもの——疑似情報——は、人間の論理的チェック機能を潜り抜けやすいということです。統計的に「らしく見える」からです。 誤りが減る場面もあるでしょう。でも法律分野では、誤りの「質」が異なるのかもしれません。