データ分析の『判断の重さ』を測る新しい方法

『マルチバース分析』って、要するに『同じデータをいろんなやり方で分析して、結果の揺らぎを見る』ってことなの？

そうですね、ただ「揺らぎを見る」という受け身の作業ではなくて、もっと意図的な枠組みなんですよ。 マルチバース分析は、分析者が意識的に「判断の分岐点」を列挙して、そこで選べる選択肢を全部組み合わせる方法です。変数の選択、外れ値の扱い、統計手法……こうした決定ポイントをX個、Y個、Z個と数え上げて、その組み合わせ全部を走らせる。結果として、ひとつのデータから数十、数百の分析結果が生まれてくるわけです。 大事なのは「結果がブレた」という事実そのものが情報になるということ。もし結論がほぼ同じなら「この判断の違いは実質的に影響していない」と分かるし、逆にワッと広がったら「ここの判断が結果を大きく左右している」と見える。透明性の観点から、めちゃくちゃ健全な作業なんです。 ただし課題がある。「判断Aが結果を何%変えた」という定量的な貢献度が、マルチバース分析だけでは測りにくかった。だからDECIDEという新しい方法が出てきたのかもしれません。

医療の診断とか、裁判の判例とか、個人の人生が変わる判断にもこの『アナリストの判断による違い』って起きてるってこと？

データ分析の世界で起きている「判断による揺れ」は、医療や司法といった高リスク分野でも、実は構造としては同じなんです。ただし、データ分析より問題が見えづらい。 医療診断なら、医師が患者の検査値をどう解釈するか、どの検査まで進めるか、複数の診断可能性の中から何を重視するか。これらは教科書的な判断基準をもとにしつつも、個々の医師の経験や直感が入り込みます。同じMRI画像を複数の医師が見ても、読み方に差が出ることだってある。 司法も似ています。判例は存在しても、事件の「解釈」には幅がある。どの証拠を重視するか、被告人の供述をどこまで信じるか。こうした判断は裁判官の価値観や経験に左右されやすい。 違うのは、データ分析なら「判断の違い」を数値で可視化できる余地があるのに対して、医療や司法では、判断そのものが属人的で、その影響度を測り出すのが格段に難しいということです。むしろ「判断が揺れていること自体」が見過ごされやすい。だからこそ、統計的な透明性が求められている分野とも言えそうです。

なんでここ数年、『研究の結果が再現できない』『統計の使い方が恣意的』みたいな批判が増えてるの？

データ分析の門戸が、随分広がったんだと思います。 昔は統計を扱える人が限られてて、専門家が「この手法を使う」と決めたら、それで済んでいた。でも今はツールが誰でも使えるようになって、分析者の数が圧倒的に増えた。その結果、同じデータでも「変数の選び方」「外れ値の扱い」「統計手法」で判断が分かれるようになった。 問題は、その判断の選択肢がめちゃくちゃ多いということ。組み合わせを計算すれば、トンでもない数の分析パターンが生まれる。その中には『望む結論が出るように調整された分析』だって紛れ込む。意図的ではなくても、人間は都合よく解釈しやすい。 だから同じデータなのに研究者が違う結論に着地する。発表された論文を他の研究者が再現しようとしても「あれ、結果が違う」となる。批判が増えてるのは、その矛盾が目に見えるようになったからじゃないでしょうか。昔は再現できなくても表に出なかっただけで、今はオープンサイエンスの流れで検証される機会が増えたと言えそうです。

これって『客観的に見える数字も、そこに至るまでの無数の選択肢で色が変わる』ってことを、仕組みで可視化するってこと？

その通りです。そしてここが面白い点なんですが、これまでは「色が変わる」こと自体は知られていたのに、「どの選択肢がどれくらい色を変えてるのか」が測れていなかった。 マルチバース分析は、判断の組み合わせを全部試して「結果がこんなに変わっちゃいますよ」と示すだけ。でも経営判断やポリシー決定の現場では「変わることは知ってる、でも今この判断は本当に大事なのか？」という問いが生まれる。その時、「この変数選択が全体の結果を30%動かしてる」という定量が欲しい。 DECIDEはそこを埋めるんですよね。モデルという仲介者を置かずに、実際の分析プロセスから直接「影響度は何%か」を抽き出す。つまり、客観的に見えるデータは実は主観の積み重ねなんだけど、その主観の「どれが重いのか」を客観的に測定できるようになった、ということになります。 逆説的ですが、これは「数字は絶対じゃない」と認める方が、むしろ数字の信頼が上がるという話に見える。判断の透明性がないまま数字を出すより、「ここはこう選んだから結果がこうなった」と言える方が、使い手は覚悟を持って判断できるようになるんでしょう。

判断の重さが『透明に測られる』ようになると、逆に『自分の判断が恣意的だったと公開される』ことを嫌う研究者も出てくるんじゃないの？

その通り、面白い緊張が生まれるところですね。いま透明性を求める動きと、身を守りたい動きが同時に起こってる。 ただ歴史的には、この手の『可視化』は最終的に標準化を招いてきた。X線検査が医学に入ってきたとき、医者の勘による診断が「客観的な根拠を示せ」と求められるようになり、結果として医療全体の信頼性が上がった。同じことがいま統計分析の世界で起ころうとしてるのかもしれません。 研究者にしてみれば「自分の判断が数値化されて晒される」は恐ろしいでしょう。でも発表するたびに『この部分の判断で結果が30%変わります』と書かされるようになれば、むしろそれが『誠実さの証拠』と読まれるようになる可能性もある。隠蔽より透視のほうが長期的には信用を獲られるんですよ。恣意的な判断は批判されるでしょうが、判断そのものは悪ではない。問題はそれを隠すことにあるのかもしれません。