予測の『積み上げ』と『最後の値』、どっちを信じる？

『毎日の予測ずれ』と『最終的な累積ずれ』って、具体的にはどう違うの？

売上予測で考えると分かりやすいですね。毎日100万円売れると予測して、実際には月初は120万、月中は80万、月末は100万だったとします。毎日の予測ずれは「初日プラス20万、中旬マイナス20万、月末ゼロ」と、日々のズレを積み上げたもの。一方、最終的な累積ずれは「月間合計で予測3000万に対して実績は3000万でした」ゼロ、という月全体のズレです。 両者は独立していません。毎日のズレが大きくても、プラスとマイナスが打ち消し合えば最終値は正確になる。逆に毎日のズレが小さくても、ずっと同じ方向にズレていれば、最終値は大きく外れます。 これが曲者なわけです。予測モデル Aは「毎日の精度が高い」が「月間合計では外れた」。モデル Bは「毎日はバラバラ」だが「月間合計は完璧」。どちらが優れているかは、何を目的にしているかで変わる。この論文は、その2つのズレの間にある数学的な法則を明らかにして、「このモデルが優位に見えるのは、評価基準の選び方のせいじゃないか」と疑える道具を与えたということになります。

これって、天気予報が毎日外れても長期予報は当たる、みたいなことが実際にあるってこと？

長期予報が当たるというより、「測り方によって同じ予報の良し悪しが逆転する」というのに近いですね。 天気の例で言えば、毎日の気温予測が1度ずつズレていても、ズレの方向がバラバラなら、最終的な「この10日間の平均気温」は合う可能性がある。逆に毎日ぴったり当たっていても、ズレが一方向に偏っていれば、合計すると大きくズレる。 売上予測なら、月曜日の予測が高め、火曜日が低めというふうにズレが上下に揺らぐなら、週間合計では帳尻が合う。だから「毎日は外したけど週計では当たった」という現象が生まれるわけです。 実務では、「あの予測モデルは毎日の精度が高い」と誰かが言ったときに、それが本当に良いのか、それとも単に「毎日単位で見てるから見えてるだけ」なのか、判断がつきにくい。この論文は、その判断を数学的に透明にしようとしています。予報の良さそのものを示すというより、「あなたはどの物差しで測ってますか」と気づかせる道具と言えそうです。

これまで予測を評価するときって、どっちか一方の基準で決めてたのが普通だったの？

実務では大体、その時々で「都合のいい方」を選んでたんだと思います。 月間売上の予測なら「最終値だけ合ってればいい」という見方。日々の在庫管理には「毎日の精度が重要」という見方。同じ予測モデルなのに、評価する基準をコロコロ変えてしまう。そうすると、「うちのモデルはこっちの見方では優秀だから採用しよう」みたいな恣意性が生まれるわけです。 でもね、気温予測みたいな複雑な対象を考えると、これが厄介になる。毎日の気温は外れてるけど、月間の平均気温には当たってるかもしれない。逆も然り。その時に「どちらの基準で判定するのが公正か」という問いが生まれるのに、これまでは「数学的に整理されていなかった」のが現状だったんでしょう。 この論文が言ってるのは「2つのズレって、実は切り離せない数学的な関係があるんだ」ということ。毎日のズレと最終値のズレは独立してるわけじゃなくて、必ず一定の枠の中で動く。その枠を知ることで、初めて「どちらかだけで判定するのはフェアじゃない」と言い切れるようになったのかもしれません。

要するに『細部と全体で見方が変わる』って、統計や予測の世界では よくあるジレンマなんだっけ？

よくあるというより、避けられない宿命に近いんですよね。 毎日の気温予測で1℃ずつ外す人と、最終的な平均気温を正確に言い当てる人がいたら、どちらが「優秀」か。売上でも、月間合計を当てたのに毎日はバラバラな人と、毎日ぴったり当てたのに月間がズレた人がいたら、評価が分かれる。この矛盾は「何を見ているか」で決まるんです。 問題は、見方を変えるだけで同じ予測がいきなり優秀に見えたり無能に見えたりするところ。それが恣意的に使われると、モデルAを売り込みたいときは「月間精度を見ましょう」と言い、モデルBを推したいときは「日々の精度が大事」と言う、という都合のよい話になってしまう。 この論文が「最大値と最小値を計算する」と示したのは、実はそこ。細部と全体のズレの関係を数学的に明らかにすることで、「その優位性は物差しの選び方のせいじゃないか」と見抜けるようにしたわけです。つまり、ジレンマ自体は解消しませんが、そのジレンマが意図的に使われるのを防ぐツールを手に入れた感じと言えそうです。

この『どちらが当たってるか』の定義を見直すことで、得をする予測モデルと損をする予測モデルが出てくるってことは、今まで過小評価されてたいいモデルがあるってこと？

図星ですね。要するに、採点ルール次第で予測モデルの成績が入れ替わるということ。 毎日の売上予測モデルAと、月間合計を狙ったモデルBがあるとします。Aは日々のズレは小さいけれど、たまに大きく外す。Bはバラバラだけど、月間の累積では合っている。従来なら「毎日の平均ズレ」で採点していたからAが優秀に見えた。でもこの論文の枠組みでは、「月間の最終値がどれだけ合ってるか」も等価に評価する道筋が開けた。するとBの価値が可視化される。 ここが重要なのは、Bが「過小評価されていた」のではなく、むしろ「評価の軸自体が欠けていた」ということです。気温予測なら、毎日1度のズレが積もるより、シーズンの気象パターンが当たることのほうが農業に影響するかもしれない。でも数年前までは、そういう「粒度の異なる2つの正しさ」を同じ土俵で比べる数学的ツールがなかった。 この論文はいわば、採点基準を柔軟に設計できるツールを提供したわけです。これまで見えていなかったのは、モデルの質ではなく、評価の盲点だったのかもしれません。