推薦AIの「いらない機能」を見つけて削除する仕組み

『オフライン判定が本番環境での結果とよく合う』って、簡単に言うと何が起きてるの？

推薦システムって、本番環境（実ユーザーが使う世界）と実験環境（テスト用の過去データ）で、挙動がけっこう違うんですよね。 たとえば、ある機能を削除したとき、過去のログで再現してみると「スコアは0.1%しか下がってない」という結果が出ます。でも本当のユーザーに試してみると、思わぬ連鎖反応が起きて、別の機能の効きが悪くなるかもしれない。それが「オフライン判定と本番結果が合わない」という問題です。 FORTE が解決してるのは、この乖離をぐっと小さくしたこと。毎日膨大なテストを回して、「この機能を削除しても、他の機能との相互作用が起きない候補」を事前に洗い出している。つまり、実験環境での判定が本番世界での挙動をよく予測できるようになったわけです。 言い換えれば、古い機能の削除は「単体テスト」じゃなく「システム全体を見たシミュレーション」になったということ。そこまで精密に検証できれば、削除に踏み切れるようになります。システムの肥大化を防ぐ地道な作業ですが、年間数百万ドルのコスト削減という現実で報われてるんだと言えそうです。

Netflix や Google の推薦が速くなるって、実際に使ってる側の自分たちには何か変わるの？

システムが速くなれば、その分リソース（サーバーの計算力とか電力）が浮くわけです。その余裕をどこに使うかが企業によって違うんですよね。 Google の検索なら、もともと秒以下の高速応答が当たり前なので、削減したコストは、より複雑で精度の高い判定に充てられる可能性が高い。つまり「あなたが探してるのはこれだ」という推測精度を上げるための、新しい機能開発の原資になる。 Netflix の場合、推奨作品の質が変わるかもしれません。処理に余裕が出れば、「このユーザーに本当にぴったりな作品」を探す計算に時間をかけられるようになる。いま推薦されてる映画が「こんなのが出るの？」と思うことがあるとしたら、それは処理速度の制約が原因かもしれない。 直接的な変化（画面が速くなった）は感じにくいと思いますが、間接的には、推薦の精度が徐々に高まっていく道が開かれるという感じになりそうです。

なぜ今このタイミングで、こういう『削除する仕組み』が必要になってきたの？機能の数がそんなに増えてるのか？

推薦システムって、ここ10年でほんとに複雑になってるんですよ。昔は「ユーザーの過去の行動から似た商品を探す」くらいでよかったのが、今は機械学習モデルが何百個も組み合わさってる。ユーザーの時間帯、デバイス、季節、最近の流行、他ユーザーとの共通点…あらゆる信号を取り込もうとするから、機能が爆発的に増える。新しい機能を足すのはエンジニアにとって簡単で、効果も測りやすい。だから追加は続く。 ただ、データセンターの電気代やCPU負荷が限界に来たんでしょう。YouTubeやNetflixみたいなプラットフォームは世界中の何億人にリアルタイムで推薦を返す必要があるから、1ミリ秒の遅延でも積み重なればコスト爆増。つまり「削除する技術」が急に必要になったのは、スケールの問題が無視できないレベルに達したからではないか。新機能のプラスと負債のマイナスの天秤が、ようやく天秤として機能し始めたと言えそうです。

これって要するに『システムが肥大化しすぎて身動きが取れなくなる、だから定期的に断舎離が必要』という話なの？

表面的には「断舎離」に見えますが、実はもっと機械的な問題なんですよね。 家の片付けなら「これ使ってないな」と人間が判断して捨てるだけで済みます。でも推薦システムは、機能Aを削除したときに機能Bの精度が落ちないか、機能Cとの相乗効果がなくならないか、全ての組み合わせをチェックしなければいけない。その試行錯誤が膨大で、下手に削除すると本番環境でこっそり悪影響が出てくる。だから誰も削除に踏み切れず、古い機能がゾンビのように残り続ける。 FORTEが革新的なのは、毎日全機能をテストして「これなら安全に消せる」という合意形成を自動でつくる点です。人間が判断を先送りにしたものを、機械が毎日再評価する。その結果、年間数百万ドルのコスト削減に繋がった。 つまり断舎離というより「依存関係が複雑すぎて、人間の判断が追いつかなくなった大規模システムを、自動的に監視・最適化する」という問題設定に見えます。スケールが大きくなると、経営判断ではなく、技術的に身動きが取れなくなるということなのかもしれません。

古い機能が削除されることで、『この機能のおかげで推薦されてた』人たちの検索体験は悪くなったりしないの？

確かに、「その機能があるから、自分の好きなものが見つかってた」という人もいるはず。でも FORTE が削除する機能って、実は既に別の機能で「カバーされてる」ものばかりなんですよね。 具体的には、毎日全機能をテストして初めて「これを消しても他の機能で同じ結果が出る」と確認した上で、削除対象を見極めてる。つまり、機能は消えるけど、推薦の精度は保たれる仕組み。 ここで起きてるのは、実は古い機能の「役割交代」に近い。検索モデルで 43% の機能をカットしたということは、43% ぶんの処理が軽くなった分、残された機能がより素早く、より正確に動くようになったとも言えます。 だから矛盾的に聞こえるけど、ユーザーにとっては体験が「悪くなる」というより「変わらないまま、裏側が効率化される」に近いのかもしれません。むしろシステムが軽くなることで、レスポンスが速くなるなら、体験は微妙に改善する可能性すらある。古い機能が消えるのは、それだけ新しい機能がそれを上回る役割を果たすようになってたということなんでしょう。