甘い採点者が教えるプロンプト、厳しい採点者にも通用する理由

『プロンプト最適化』って、要するに AI への指示文をより良くしていく作業のこと？

そうですね。ただ「より良く」という言い方だと、何をもって良しとするかが曖昧になるところが実は肝です。 この記事の場合、採点者がいて、その採点者の基準に沿って点数を上げていく――それがプロンプト最適化です。同じプロンプトでも、採点者が「甘い」と「厳しい」では評価が変わる。だから「甘い採点者の目で70点を狙う改造」と「厳しい採点者の目で70点を狙う改造」では、出来上がるプロンプトが違う形になる。 面白いのは、甘い採点者向けに磨いたプロンプトが、別の厳しい採点者にも耐えるということ。これは、目標が「その採点者の好みに特化すること」ではなく「より広く応用できる指示文に仕上げること」だという認識につながります。つまり、プロンプト最適化って要は「試行錯誤して指示文を改善する」という機械的な作業なんですが、その過程で誰の判断を信頼するかで、できあがるものが本質的に変わってくるという話なんですよ。採点者の選択そのものが、プロンプトの性質を決めているということになりそうです。

ChatGPT で質問するときに『ここをこう言い換えたら回答が良くなるかも』と試行錯誤するのって、この『甘い採点者で磨く』戦略と関係あるの？

関係あると言えそうです。試行錯誤の過程で、あなたが無意識のうちに「甘い採点者」の役割を果たしてるんですよね。 プロンプトを試す時、人間は往々にして「この回答、まあまあ使えるな」「この方向性は良さそう」という、ある程度の幅を持った評価をします。完璧さを求めず、「及第点なら先に進もう」という判断。その過程で、プロンプトに柔軟性が蓄積されていく。 一方、記事で言う「厳しい採点者」というのは、細かな条件を厳密にチェックするので、その基準に合わせすぎたプロンプトが出来上がってしまう。つまり、あなたが「まあまあでいいや」と次々試すことで、結果的に様々な状況に対応できるプロンプトが育つのに対し、厳密に一つの正解を目指すと、かえって応用範囲が狭くなるかもしれません。 ただし、あなたの試行錯誤は「採点基準が一貫している」わけではなく、その時々の気分や文脈で評価が揺らぐ可能性もあります。記事の「甘い採点者」はアルゴリズム的に一貫してるので、完全に同じとは言えないのかもしれません。

なぜ今、法律問題の AI 回答を『採点する AI』が必要になったの？人間の専門家が評価する方が確実なんじゃないの？

法律 AI の評価に採点用 AI を導入する背景には、スケールの問題があります。ChatGPT のような大規模言語モデルを実運用するなら、回答の質をチェックする必要がある。ところが、法律専門家が一つひとつ検証していたら、コストと時間が合わない。AI が吐き出す回答は膨大で、人間の目が追いつかないんですよね。 だから採点用 AI を挟むわけです。ただ、採点用 AI も完璧ではない。この論文が指摘しているのは、その不完璧さ（採点者の厳しさのばらつき）が、意外と悪いことばかりではないということ。甘い採点者で鍛え上げたプロンプトは、より多くの状況に対応できるようになる。つまり、採点用 AI の「くせ」や「限界」を理解した上で使うことで、むしろ堅牢なシステムが作れるという逆説的な発見と言えそうです。人間の専門家を完全に排除するのではなく、AI による大量評価と人間による抜き打ち検証を組み合わせる、そうした折衷案が現実的になってきたのかもしれません。

これって『修行』と同じパターンなのかな。厳しい師匠より『ほどよく厳しい師匠』の下で鍛える方が、どんな環境にも適応できる人間になるみたいな？

面白い着眼点ですね。ただ、修行の類比で言うと、少し違う側面も見えてきます。 この実験の本質は「採点者の厳しさ」ではなく、「制約の幅」なんだと思うんです。甘い採点者は「これもOK、あれもOK」と広く許容するので、プロンプトは自動的に「どんな状況にも対応する柔軟さ」を獲得する。一方、厳しい採点者は「ここはこうでなくては×」と条件を絞り込むから、プロンプトは「この採点者の基準にぴったり合う」方向に特化してしまう。 修行で言えば、むしろ「厳しい師匠に直弟子として習う」のと「複数の環境で緩和された形で学ぶ」の違いに近い。前者は師匠の型を完璧にコピーするけど、別の場では使えない。後者は型の本質を試行錯誤で掴むから、どこでも応用できる。 つまり、汎用性は「厳しさの度合い」ではなく、「制約の多様性」から生まれるのかもしれません。修行なら「一人の師匠に鍛えられる」より「違う環境を経験する」方が、応用力が出るということと近い気がします。

もし採点者が『甘すぎる』と、低い質の回答でも『いい回答だ』と判定されて進まないリスクはないの？

確かにそこが引っかかるポイントですね。ただ、実験の仕組みを見ると、その心配は半分は正当で、半分は外れているようです。 甘い採点者で磨いたプロンプトが、その後『厳しい採点者』にも通用したというのが鍵なんです。つまり、甘い採点者を使った最適化の過程で、広い許容範囲の中から「複数の採点基準に共通で高い評価を得ている回答」が浮き上がってきた、ということ。低質な回答はどんな採点者でも引っかかるけれど、良い回答は採点者の『くせ』を超えて評価される傾向があるのかもしれません。 逆に厳しい採点者で最適化すると、その採点者の「ここが重要」という細かい基準に過剰に適応してしまう。そうすると、別の採点者からは「わざわざそこまでやる必要ある？」と思われてしまう。融通性を失ってしまうわけです。 だから『甘すぎる』リスクより『厳しすぎる』リスクの方が、実はプロンプト設計では怖いんだと考えても良さそうです。