AIに採点させるなら、その採点を疑うところから

AIに品質を採点させると、同じものを2回測っただけで6.1点も揺れた。そしてその揺れは、私が採用しかけた「+7.2点の改善」と同じ大きさだった。直接対決させると、勝率53%——互角と区別がつかない。

採点者は測定器であり、測定器には固有のノイズと癖がある。それを先に測らずに、その出力で意思決定してはいけない。

一行にすると、こうだ——採点者のブレ幅を先に測り、それと同程度以下の差を「改善」と呼ばない。

品質を数字にするのは難しい。翻訳の良し悪し、要約の的確さ、回答の親切さ——こういう「良さ」には物差しがない。そこで今、誰もがやっている手がある。AIに採点させる（LLM-as-judge。以下 judge ＝AIの採点者）。人間より速く安く、100件でも1000件でも「これは合格、これは不合格」を返してくれる。

私も翻訳品質の判定を、まるごとこの採点者に任せていた。改善案を入れて、採点させて、点が上がれば採用。当然の運用に見える。

でも、あるとき順序が逆だと気づいた。改善を測る前に、採点者そのものを測っていなかった。 物差し自体が伸び縮みしていたら、その物差しで測った「改善」は何を意味するのか。実際に採点者を疑ってみたら、私が採用しかけた改善のひとつは——幻だった。

発見①：同じものを2回測ると、6点ずれた

最初のつまずきは、単純な確認から来た。同じ翻訳を、同じ採点者に、2回採点させたらどうなるか。

答えが同じなら、物差しは安定している。ところが揺れた。まったく同じモデル・同じ設定の翻訳を、絶対評価（各訳に「合格率」を点数で付けるやり方）で測ると、1回目 89.6% と 2回目 95.7%。何も変えていないのに、2回の差は 6.1ポイントあった。

6ポイントというのは、翻訳の世界では「大きな改善」に相当する幅だ。つまり——採点者のノイズが、改善1個ぶんの大きさを持っていた。

これが実害を出した。当時、私は「文脈（前後のセリフ）を渡すと訳が良くなる」という仮説を持っていた。絶対評価で測ると、文脈なし 89.6% → 文脈あり 96.8%、+7.2ポイント。きれいな勝ちに見えた。危うく「文脈は効く」と結論するところだった。

発見②：直接対決させたら、勝率53%＝互角だった

だが+7.2という数字は、採点者が同じものを2回測っただけで生じた差（6.1ポイント）と、ほぼ同じサイズだ。ブレと同程度の差は、それ単独では信じられない。 そこで測り方を変えた。

絶対評価をやめ、pairwise（ペアワイズ＝2つの訳を並べて「どっちが良い?」だけを訊く相対評価）にした。同じ原文に対する「文脈なしの訳」と「文脈ありの訳」を左右に並べ、採点者にどちらが良いかだけを選ばせる。順序はシャッフルして位置の偏りを消す。

結果、文脈ありの勝率は53%（引き分けを除いた勝率。引き分けが大量だった）。ほぼ五分だ。しかもこの53%は点推定にすぎず、当時 n も信頼区間も残していない。だから正直に言えば「53%で勝ち」ではなく、「50%＝互角と区別できない」としか言えない。いずれにせよ、+7.2ポイントは消えた。

からくりはこうだった。絶対評価は、採点のたびに「厳しめの気分」「甘めの気分」で基準がずれる。たまたま文脈なしの回が辛く採点され、文脈ありの回が甘く採点された——その気分差が+7.2の正体だった。同じ原文で両者を直接ぶつけると、気分は両方に等しくかかって相殺され、真の差（ほぼ無し）だけが残る。

これは効くと思っていたレバーが幻だったという話にとどまらない。過去に絶対評価で”勝ち”と判定したものは、全部pairwiseで測り直す価値がある、という運用の転換だった。

発見③：AIの採点者は、意訳を「誤り」と決めつける

もうひとつ、採点を任せているAI（judge）には、系統的な癖があった。言い換え・意訳に過剰に厳しいのだ。

翻訳の一致を採点させると、採点者は「同じ意味だが別の言い回し」を平気で「不一致（＝誤り）」に落とす。人間なら「同じことを言っている」と分かる訳を、機械的に×にする。しかもこれは、プロンプトを工夫しても頑固に残った。採点者を賢いモデルに替え、前後の文脈を渡し、判定アルゴリズムを丁寧にしても、この癖は消えない。いちばん賢い採点者でも、「誤り」判定の8割近くが濡れ衣だった（詳しい数字は付録に）。

これは集計を丸ごと歪める。90ペアを人手監査したところ、本当の不合格は6.7%。ところが採点者は15〜20%を「不合格」と叫ぶ。2〜3倍の過大報告だ。この生の不合格率をそのままKPIに使えば、「品質が悪い」という誤った危機感で、要らない改修に人を張り付けることになる。

対策は校正だ。この採点者では、真の不合格率6.7% ÷ 生の不合格率15〜20% ＝ 補正係数 0.3〜0.45。人手監査から実測したこの幅を掛けてから集計する——採点者の生の数字は、そのままでは使わない。係数は採点者ごとに違うので、必ず監査で測り直す。

だから、運用はこう変えた

三つの発見は、別々の失敗に見えて、根っこは一つだ。採点者は測定器であり、測定器には固有のノイズと癖がある。それを先に測らずに、その出力で意思決定してはいけない。

教訓

1. 採点者のブレ幅を先に測り、それと同程度以下の差を「改善」と呼ばない。 +7.2 は、同じものを2回測って生じた 6.1pt のブレと同じ大きさで、単独では改善と呼べなかった。
2. 絶対点でなく、直接対決（pairwise）で判定する。 絶対評価は採点者の気分で基準ごと動く。同じ2条件をぶつけ直したら、+7.2 は勝率53%＝互角に戻った。
3. 絶対率を使うなら、人手監査で校正係数を実測する。 採点者の生の不合格率は真値の2〜3倍だった。校正しない絶対率は、そのまま経営判断を歪める。

具体的な運用は、四つに落ちた。

この校正された採点者があって初めて、小さなモデルを専門家に育てるときの「42%→84%」も、モデルを足切りで比べるときの「+14.7pt」も（いずれも別記事で扱う改善数値）、信じるに値する。物差しを直すのは、測り始める前の仕事だ。

計測ファーストは「たくさん測れ」ではない。まず、正しいものを正しく測れだ。そして最初に正しく測るべき対象は、たいてい測定器そのものである。

---

付録：生データ

用語: precision（適合率）＝採点者が「×（不一致）」と言ったもののうち、本当に×だった割合。better-match＝訳のペアで最も近い相手を先に選ばせてから判定させる手順。