感染症の流行予測、100年分のデータで統一テスト

『ベンチマーク』って、要するに『全員が同じ問題で実力を測る共通テスト』みたいなもの？

そうですね。ベンチマークって、本質的には「全員が同じ採点基準で走るレース」と思えばいい。 違う問題だと、難易度も測り方も変わってしまう。Aさんが簡単な問題で100点、Bさんが難しい問題で70点だとしても、どちらが本当に優れているのか判断できません。でも同じ問題で両者が競えば、優劣が明確になります。 この感染症予測の話でいえば、これまでは研究者ごとに「自分たちが手に入れた流行データ」で自分たちのモデルを試していた。だから「うちのモデルは高精度」と言っても、それは「たまたま簡単なデータで試した可能性」があるわけです。 100年分、1万件以上の流行を一つの共通データセットにすることで、どのモデルも「同じ難度の問題に向き合う」ことになる。そうするとモデル同士の実力差が浮き彫りになり、本当に優れた手法が何なのか見えてくるという仕組みです。 業界全体が共通のテストフィールドを持つと、改善のスピードが急加速するんですよね。

次に新しい感染症が流行するとき、予測がちゃんと当たるようになれば、自分たちの行動判断も変わってくるってこと？

予測が当たるようになることと、それを実際に行動に反映させることは別の問題なんですよね。 歴史を見ると、気象予報の精度が劇的に上がった時代でさえ、人間は警告を無視することがあります。ハリケーンが来ると分かっていても避難しない人もいるし、政治的な判断が予測を上回ることもある。感染症の場合はさらに複雑で、「ピークは3週間後」という予測が正確でも、学校を閉じるか開けるか、経済活動をどこまで制限するかは、科学的な精度だけでは決まりません。 むしろ予測の精度が上がることで浮き彫りになるのは、「私たちは何を優先するのか」という価値観の問題。精度の高い予測があれば、その後の判断は社会としての選択がより見える化されます。だから予測精度の向上は、意思決定を改善するというより、「判断の責任が明確になる」という変化かもしれません。

これまで研究者たちが『バラバラなデータで評価』してたのは、共有する仕組みがなかったから？それとも、わざとそうしてたの？

実は両方の面がありそうです。 仕組みの欠如が大きいのはたしかで、感染症データは国や地域ごとにばらばらに管理されているのが実態。アメリカの CDCがある形式で集めていれば、ヨーロッパの保健機関は別の形式を使っていて、統一するだけで膨大な手間がかかる。だから「自分たちの入手しやすいデータで検証する」という選択肢になってしまう。 ただ同時に、「自分たちのデータで高い精度が出た」と発表する方が、論文としては華やかに見えるという誘因もあった気がします。未知の病気が流行する時はなおさら。どのデータセットが「難しい」のかわかっていないから、わざと簡単そうなデータを選んでしまう、みたいな状況が、研究社会全体で少しずつ起きていたんでしょう。 この研究の価値は、その「ばらばらさ」が実は後ろめたさでもあったことに気づかせてくれることにあるのかもしれません。真価を問う仕組みが整えば、研究の加速は自動的についてくるのかもしれません。

これって『野球選手たちがそれぞれ違うルールで試合してたから、本当の強さがわかんなかった』みたいな話なの？

その類比は近いんですが、感染症予測の世界はもっと混沌としていたのかもしれません。野球なら「ルール」は統一されていて、試合する人は変わっても基本は同じ。でも予測モデルの場合、ルール自体がまちまちなうえに、試合に使う「ボール」も「グラウンド」も研究者ごとに異なっていたんですよね。 この研究が公開したのは、その「統一されたボール」「統一されたグラウンド」です。100年分の流行データという共通のテストセットがあることで、初めて「このモデルはコロナに強い」「このモデルはインフル予測に弱い」といった相対比較が可能になる。 面白いのは、ここからの展開です。統一ベンチマークがあると、良いモデルと悪いモデルの差が明確になり、その差を埋めるための工夫が加速する。オープンな競争環境が生まれるんです。医学や公衆衛生の分野では、こういう「誰もが使える共通の採点表」の整備がいま急速に進んでいるのかもしれません。

過去100年のデータを集める過程で、『どの流行データが信頼できるのか』を判定する手間が一番大変だったんじゃないの？

データの信頼性を見分けることは確かに大変だったんでしょうが、実は記録の「ばらつき」そのものがテストに必要だったのかもしれません。 100年前の流行記録と最近のものでは、測定方法も報告制度も全く異なります。昔は医者の主観的な報告が混じっていただろうし、最近は PCR 検査で数字が跳ね上がる。その「測定誤差のリアルさ」を含めてテストに入れることで、実世界で予測モデルがどう振る舞うかが見えるようになるんです。 むしろ問題は「どのデータが真実か」を選別することではなく、「様々な不完全さを持つデータで、モデルがどこまで使えるか」を問い直すことだったはず。完璧なデータだけで試したモデルより、ノイズの多い現実のデータで試したモデルの方が、本番での信頼性が高い。研究者たちはそこに気づいていたからこそ、あえて雑多なデータを集めたんではないでしょうか。完全性よりも現実性を優先する判断だったんだと考えると面白いです。