小さなAIの正答率を42%→84%へ。一部タスクは巨大モデルと同点

正答率 42% → 84%。一部のタスクでは、現役の巨大モデルと同点（96）。モデルは小さいままだ。

効いたのは「賢くする」ことではなく、1つの仕事に絞ることだった。巨大モデルの賢さの大半は、LYRのタスクには要らない。育て方は2段——お手本で型を、好みで味を。

ただし仕込めるものには線がある。言い方の型は安く仕込めるが、深い理解と感情の語り口には器（サイズ）が要る。4Bで苦しんだ語り口は、8Bに上げた途端に出た。

前回、自前の小さなモデルを速く・安くした。だが、それだけでは片手落ちだ。小さいモデルは、そのままでは巨大モデルに品質で負ける。

どのくらい負けるか。素の小型モデル（4B＝パラメータ40億。以下、8B＝80億、27B＝270億の大型）に日本語→英語を訳させると、正答率は42%しかなかった。実務では使いものにならない。

ここをどう埋めるか。結論は冒頭の図1のとおりだ——この42%を、退役した本家モデルと同じ84%まで、そして一部のタスクでは現役の巨大モデルと同点まで引き上げた。しかもモデルは小さいままだ。

その仕込み方——と、仕込みでは越えられない壁——の話をする。

巨大AIは、“なんでも屋”だ

まず、なぜ小さいモデルは負けるのか。そして、なぜ勝てる余地があるのか。

GPTやClaude、巨大なQwen——最新の巨大モデルは、詩も、法律の要約も、プログラムも、医療相談も、そして翻訳も、なんでもこなす。その万能さのために、巨大になっている。

だが、LYRに必要なのは、「字幕翻訳、1つ」だけだ。詩を書く力も、コードを書く力も、一度も使わない。汎用の賢さの大半は、LYRのタスクでは丸ごと死んでいる（overspec＝過剰仕様）。

ということは——1つの仕事だけに絞れば、小さなモデルでも、その1点では巨大モデルに届くはずだ。汎用性を捨てる代わりに、専門性を得る。これが「専門特化」の賭けだった。

育て方は2段——お手本と、好み

では、どう絞り込むか。微調整（fine-tuning）と呼ばれる仕込みを、2段階でかける。

実はこれは、ChatGPTが賢くなったのと同じ道筋だ。素の言語モデル → お手本を見せて指示に従わせる（SFT） → 人の好みで磨く（RLHF）。LYRも、同じ順序をたどった。

① SFT：お手本を、大量に見せる

第1段はSFT（教師あり微調整）。要は、大量のお手本を見せて、タスクの型を叩き込む。

お手本は、上位の巨大モデル（27B）に作らせた。巨大モデルに何千件と訳させ、その訳を小さなモデルに真似させる。これを蒸留と呼ぶ。教師の答案を、生徒に写経させるイメージだ。

効果は劇的だった。日本語→英語の正答率が、42% → 84%（+42ポイント）。これは、少し前まで本番で使っていた退役モデルと同じ水準だ。1段目で、大きな崖はほぼ埋まった。

ただし、SFTには天井がある。生徒は教師を忠実に真似しすぎる——教師の言い回しの癖（“look” をいつも「見て」と直訳する、など）まで丸ごとコピーしてしまう。そして何より、モデルが根本的に理解できないことは、真似では直らない。

② CPO：良い訳と悪い訳を、並べて教える

第2段はCPO（選好最適化＝“好み”を教える微調整）。お手本の次は、好みを教える。

やり方は、良い訳と悪い訳をペアで見せて、「こっちが良い」を学ばせる。ChatGPTでいう、人間のフィードバック（RLHF）に当たる段だ。お手本だけでは伝わらない「こういうのが自然」「これは不自然」という感覚を、対比で教え込む。

ライブ字幕に特化してこれをかけたとき、字幕翻訳の品質は 90 → 96 に上がった（この90〜96は、字幕の総合品質を採点した点数。先ほどの42→84は日英翻訳の正答率で、ものさしが違う点に注意）。現役の巨大モデル（96）と同点、退役した本家（97）にも肉薄する数字だ。慣用句の直訳（“it isn’t like you” を「あなたらしくない」へ）や、主語の取り違えが、狙って矯正されていった。

“正解データ”を、疑う

ここが、いちばんの発見だった。

第1段のSFTでは、教師（27B）の答案を「お手本＝正解」として使う。当然、その1つの答案が正解データ（gold）だと思い込んでいた。それに近づけるのが学習だ、と。

あるとき、疑ってみた。教師に1つでなく、いくつも訳させて、その中から品質でいちばん良いものを選び直したら、どうなるか。結果——いちばん良い候補は、“正解データ”と86%も食い違った。

つまり、教師の1発目の答案（＝私が”正解”と呼んでいたもの）は、86%のケースで、最良ではなかった。冗長だったり、直訳すぎたりして、もっと良い候補が他にあった。

教訓はこうだ。「正解を1つ用意して、それに合わせにいく」のをやめる。候補をたくさん出させて、品質そのもの（QE＝品質推定）で選ぶ。字幕の”正しい訳”は、1つに決まらない。（この「正解データに追従すると、かえって悪くなる」罠は、別の場面でも踏んだことがある。）

しかもこの方法は、SFTのお手本と、CPOの教材（良い/悪いのペア）を、同時に生んでくれる。さきほどの 90→96 は、じつはこの「候補から選び直した教材」で②のCPOをかけた合わせ技の結果だ。CPOという手法そのものより、それに与える教材の質が効いていた。

量子化との、噛み合わせ

最後に一つ注意。せっかく仕込んだ賢さは、前回の量子化が削ってしまうことがある。微調整の効果は、モデル全体に”薄く広く”乗っているので、強い圧縮で最初に消えやすい。

だから、微調整と量子化は同じ条件で揃える。そして評価は、必ず本番でデプロイする量子化のまま行う。素の状態で「賢くなった」と喜んでも、圧縮後に消えていたら意味がない。

仕込めるもの、仕込めないもの

ただし、微調整は万能ではない。仕込みを重ねるうちに、越えられる壁と、越えられない壁が、はっきり分かれて見えてきた。

• 微調整で移せる：言い方の”型”。 言い回し・慣用句・簡潔さ・体裁——「どう言うか」の型は、小さなモデルでも微調整で上位に寄せられる。
• 容量（サイズ）が要る：深い理解と、感情のこもった語り口。 主語が誰か、性別はどちらか、否定がかかっているか、固有名詞は何か（＝読解）。そして、場面の温度に合った語り口（register）。この2つは、良い/悪いを教えるだけでは埋まらず、モデルの器が要る。実際、感情のこもった語り口が巨大モデル並み（98〜100%）に届いたのは、4Bでは苦しく、8Bに上げて初めてだった。

裏を取るために、対照実験もした。好みを教える学習だけを強くかけても、日英の正答率（読解）は 84 → 85%（判定のノイズの範囲）。言い方の型は動くのに、理解の天井は動かなかった。

まとめると——言い方の”型”は、小さなモデルでも安く上位に届く。だが”深い理解”と”感情のこもった語り口”は、モデルの容量そのものだ。仕込みと、器（モデルのサイズ）は、セットで考えないといけない。専門特化は魔法ではなく、「どこは仕込みで届き、どこは容量が要るか」を見極める作業だった。

教訓

1. 巨大モデルの賢さの大半は、あなたのタスクに要らない。 1つの仕事に絞れば、小さなモデルでもその1点では届く。育て方は2段——お手本（SFT＝蒸留）で型を、好み（CPO）で味を。
2. “正解データ”を疑う。 1つの正解に合わせるより、候補を出して品質で選ぶ（best-of-N）ほうが上に行く。最良の訳は、用意した”正解”と、たいてい違う。
3. 仕込めるのは言い方の型、容量が要るのは深い理解と感情の語り口。 型は安く仕込めるが、理解と情感は器（サイズ）が要る。仕込みとサイズはセットで設計する。

これで、自前の小さなモデルは、速く（前回）・安く・そして1つの仕事で賢くなった。汎用の巨大AIに、LYRのタスクだけで並ぶ。借り物のAIを手放すための、最後のピースだ。

---

付録：生データ