「どっちが速い？」が、そもそも愚問になるとき

速さと精度、品質とコスト——目的が対立するとき、「どっちが良い」に答えはない。あるのはフロンティア（前線）だけだ。

やることは3つ。支配された選択肢（どの目的でも他に負けている点）を消し、残った前線から製品が必要とする操作点を選ぶ。ベンチマークの総合点ではなく、ユーザーに効く軸で座る場所を決める。

そしてこの見方は、改善の棄却にも使える。安いパラメータ調整が高価な改善を全軸で上回ったなら、その改善は何も足していない。

「どっちのモデルが良いか」「どっちの設定が勝ちか」。自然な問いに見える。だが、目的が対立しているとき、この問いは筋を外している。速さと精度、品質とコスト——片方を取れば片方を失うとき、「どっちが良い」に答えはない。あるのは、フロンティア（前線）だけだ。

Sweepで範囲を掃いて点群を得たら、次はそれを複数の目的で読む。ここでParetoの見方が要る。

勝者がいない、という状況

モデルを選ぶ場面を考える。大きいモデルは品質が高いが、その分コストは跳ね上がる。では速度は？　第3回で見た3つのモデルを、今度はコストも一緒に並べてみる。

（ちなみに中は、最小の小より速い——253ms < 308ms。「大きいほど遅い」は、短い出力では成り立たない。第1回で見たとおりだ。）

品質とコストで散布図にすると、3つの関係がはっきりする。

「どれが一番良いか」を聞かれても、答えられない。大は品質で勝つ（+3.4pt）が、中は大より速く、しかもコストは半分だ。中は小より品質がずっと高いが、コストは5倍。どれも、他のどれかに全面的には負けていない。3つとも「フロンティアの上」にいる。

フロンティアとは、他のどれかに全面的には負けていない点の集まりだ。逆に、フロンティアの内側にある選択肢——たとえば「中より遅くて、品質も低くて、しかも高い」何か——は、誰も選ぶ理由がないので、消せる。

意思決定は「勝者を選ぶ」ことではなく、フロンティアの上で、自分の操作点（どこに座るか）を選ぶことだった。私は中（品質・速度・コストのバランス最良）を選んだ。品質を最優先するなら大、コスト最優先なら小。製品が何を必要とするかで、座る場所が決まる。

操作点は「天井」でなく「床」で選ぶこともある

もうひとつ、対立の例。モデルの重みを圧縮する（量子化）2つの方法がある。25の難しいケースで、それぞれの方法が「いちばん良い訳だった回数」と「いちばん悪い訳だった回数」を数えた（残りは中位）。

• 方法A: 1位 6回／最下位 16回（当たれば最高、外すと最悪＝ばらつく）
• 方法B: 1位 3回／最下位 6回（大勝ちしないが、大崩れもしない）

「どっちが良い」——ここでも答えは製品次第だ。Aは天井が高く、Bは床が高い。字幕翻訳では、たった一度の致命的な崩れが没入を壊す。だから私は、天井を捨てて床（方法B）を選んだ。最高の翻訳より、最悪を避けることのほうが、この製品では価値がある。

天井を選ぶか床を選ぶか——それはフロンティア上の操作点の選択であって、「どっちが優れているか」という問いには、そもそも意味がない。

（前回のsweet spot——解像度736で「精度1.3pt減・速度半分」——も、精度×速度のフロンティア上の1点だ。Sweepが点群を生み、Paretoがその前線を読む。掃くことと、前線を読むことは、同じコインの裏表だ。）

フロンティアは、嘘の改善を暴く

Paretoには、もうひとつの使い道がある。主張を殺すことだ。

あるとき、再学習したモデルが「改善した」ように見えた。だが対照——古いモデルの、閾値をひとつ変えただけの版——を並べたら、その対照が、再学習版をすべての軸で上回っていた（Pareto支配していた）。

意味はこうだ。もし、ただのパラメータ調整で作れる選択肢が、あなたの高価な変更を全面的に上回るなら、その変更は何も足していない。改善に見えたものは、変更とは無関係の別要因（交絡）の効果だった。フロンティアは、こうして偽の前進を弾いてくれる。

教訓

1. 目的が対立したら、「どっちが良い」は愚問。 勝者はいない。あるのはフロンティアだけだ。まず、どの目的でも他に負けている点（支配された選択肢）を消す。
2. 操作点は、製品が必要とするもので選ぶ。 天井か床か、品質かコストか。ベンチマークの総合点でなく、ユーザーに効く軸で座る場所を決める。
3. 安い対照がPareto支配したら、その改善は無。 高価な変更を、ただのパラメータ調整が全面的に上回るなら、何も足していない。

こうした「面で掃いて、前線を読む」ができるのは、ハーネスが多軸の計測を安くしたからだ。1点を測るのがやっとの頃は、フロンティアを描くことすら思いつかなかった。

---

付録：生データ