「文脈を足せば賢くなる」は、半分ウソだった

「文脈を足せば賢くなる」は、半分だけ本当だった。

埋まるのは調べれば分かる穴だけだ。話者・固有名・省略主語は文脈で埋まった（13-0）。だが深い読解と語り口は、答えを目の前に置いても埋まらない——そこは器（容量）の問題で、材料の問題ではない。

本番同型の総当たりでは、文脈をどう入れても27Bへの敗北率は 76% / 75% / 76% と動かなかった。しかもいちばん高い手（学習で焼く）は、いちばん安い手（その場で貼る）を超えられなかった（出力94%一致）。自分の問題がどちらの半分かは、投資する前に見分けられる。

「モデルが賢くないなら、文脈を足せばいい」——これは、いまのAI開発でいちばん人気のある処方箋だ。RAG（検索してきた資料をプロンプトに一緒に渡す仕組み）も、この発想の延長にある。前後の情報を与えれば、モデルは”文脈を読んで”正しく答える、と。

私もそう思っていた。字幕翻訳で、小さな自前モデル（8B＝パラメータ80億）が、巨大モデル（27B＝270億）に読解で負ける。ならば前後のセリフを一緒に渡せば、小さいモデルも追いつくのではないか——投資する前に、測った。

結果は、きれいに半分に割れた。半分は本当で、半分はウソだった。そして、そのウソを見抜けなければ、無駄な学習投資に何週間も注ぎ込むところだった。しかも——自分の問題がどちらの半分かは、投資する前に見分けられる。調べれば分かる穴なら文脈で安く埋まり、読解の器の不足ならサイズにしか効かない。この切り分けが、RAGに賭けるかモデルに賭けるかを決める。

まず——文脈は、たしかに効いた

最初の実験は、上界を測ることだった。「もし文脈が完璧なら、小型モデルはどれだけ良くなるか」。話者の性別、固有名の正しい読み、省略された主語——場面の状態を全知の状態で用意し、完璧な文脈を渡した版と、渡さない現行版を、同じ8Bモデルで対決させた。

判定はpairwise（2つの訳を並べ、どちらが良いかを1件ずつ選ぶ方式。総合点を付けるより符号がぶれない）。あるドラマ4話・86件で測った結果——

完璧な文脈あり 40勝 / なし 22勝 / 24分。決着ベース（引き分けを除いた分母）で65%、統計的に有意（p≈0.03）。文脈は、たしかに効いた。ここまでは処方箋どおりだ。

——でも、“効いた中身”を分解すると

問題はここからだった。何が効いたのかを、軸ごとにばらして数え直した。

（軸は網羅ではなく、1件が複数の軸に該当することもある。だから各軸を足しても、全体の40勝/22敗とは一致しない。）

見てのとおり、効いたのは上の3軸——話者の性別・固有名・省略主語——に、ほぼ全部が凝縮していた。そして、この3つには共通点がある。どれも「調べれば分かること」だ。誰が喋っているか、その名前はどう読むか、省略された主語は誰か。台本を見れば載っている、知識の穴だ。

一方、場面の語り口（register）は引き分け、意味の正誤は動かなかった。文脈という材料を目の前に置いても、8Bはそれを訳し分けられない。ここは知識の穴ではなく、読解と表現の器の問題だった。

ちなみに、少し前まで私は「文脈は効かない／互角だ」と結論していた。それは貧しい文脈を、ぶれる採点で測っていたからだ。効く成分（性別）と効かない成分（語り口）を1つの総合点に混ぜると、互いに打ち消し合って”互角”に見える。軸を分解して初めて、13-0という符号が見えた（マニフェスト第1原則「まず計測せよ」——測り方まで含めて）。

本丸——文脈で、小型は巨大に追いつくか

上界実験は「完璧な文脈なら効く軸がある」と教えてくれた。では実務の問い——前後のセリフを渡せば、8Bは27Bに追いつくのか。ここが投資判断の分かれ目だ。

マンガ434件・日本語→英語で、自前8Bと巨大27Bを戦わせた。本番とまったく同じプロンプト形式、生成のランダムさはゼロに固定（temp0＝毎回同じ答えが出る条件。実験の変数を濁さないため）。そのうえで、文脈の入れ方だけを3通りに変え、他をすべて同条件にそろえて比べた：

• A：文脈なし（現行）
• B：文脈をその場でプロンプトに注入
• C：文脈を”学習”で焼き込む（context-aware CPO＝文脈付きで好みを学ばせた版）

そして、それぞれを27Bと対戦させ、27Bへの敗北率（引き分けを除いた決着ベース）を見た。

文脈なし76% → プロンプト注入75% → 文脈を学習76%（この総当たりはすべて同一のtemp0 run）。文脈をどう入れても、27Bとの差はびくとも動かなかった。この温度0の決着ベースでは、8Bが27Bに”強く勝った”件数は、3条件を通じてゼロだった。

答えが目の前にあっても、使えない

なぜ動かないのか。文脈を実際に渡して再生成した版（プロンプト注入）の出力を並べて、腑に落ちた。8Bは、正しい文脈が目の前にあっても、それを使いこなせない。以下はいずれも、その文脈込みの出力だ。

• 「太陽に溶かされて」（直前のセリフ＝翼の詩、が渡してある）→ 8Bは主語を取り違えて “I’d be melted”、27Bは正しく “they melt”。
• 「天文部を頼む」（文脈＝お前に）→ 8Bは方向を逆に訳し、27Bは正しく “I want you to help”。
• 「相川仁」→ 8Bは読みを外して “Masaru”、27Bは “Jin”。

材料（文脈）は同じように渡してある。それでも差が出る。つまり——文脈を”使う”力そのものが、モデルの容量に律速されている。知識を目の前に置いても、それを読み解く器が足りなければ、使えないのだ。

だめ押しの兆候もあった。長い文脈を渡すと、8Bは出力フォーマットが崩れた件数が19件（27Bは4件）。器の限界は、正確さだけでなく、こういう頑健性の低下としても顔を出す。

「学習で焼く」は、「その場で渡す」を1ミリも超えなかった

最後に、いちばんお金のかかる選択肢——文脈を学習で焼き込む（C）——を検証した。その場でプロンプトに入れる（B）のではなく、文脈付きのデータで好みを学ばせれば、文脈をもっと上手に使えるようになるのでは、という期待だ。

結果は、身も蓋もなかった。学習した版（C）と、その場で渡す版（B）は、temp0での出力が94%一致（差はわずか6%、しかも些末）。256組の教材でわざわざ学習させても、プロンプトにその場で貼り付けるのと、実質同じだった。→ この学習は不採用。

文脈エンジニアリングは必要だ。でも、それは「プロンプトにその場で渡す」で十分であって、学習で焼き込む価値はなかった。そして何より——文脈をどう工夫しても、8B単体では27Bに届かない。この差を閉じるのは、文脈ではなく、モデルの器（より大きなbase）の側の仕事だった（マニフェスト第2原則・まだ、安く・速くできる——ここでは”文脈だけを最適化するな”。律速は文脈でなく器の側だった）。

教訓

1. 文脈で解けるのは”知識不足”、理解の壁は”容量”。 話者・固有名・省略主語のような「調べれば分かる穴」は、文脈やRAGで埋まる（13-0で有意）。だが深い読解や語り口は、材料を渡しても埋まらない——モデルの器が要る。RAGは前者の特効薬で、後者には効かない。両者を切り分けてから投資する。

2. 効く成分と、容量律速を、混ぜて測るな。 効く軸（性別8-0）と効かない軸（語り口4-4）を1つの総合点に混ぜると、打ち消し合って”互角”に見え、符号を読み違える。軸を分解して初めて、何が効いて何が効かないかが見える（マニフェスト第1原則）。実際、混ぜて測って一度「文脈は効かない」と誤結論した。

3. いちばん高い選択肢が、いちばん安い選択肢を超えないこともある。 文脈を学習で焼くのは、プロンプトに貼るのを94%一致で超えられなかった。しかも知識を渡しても、読めなければ使えない——8Bは正しい文脈が目の前にあっても主語と固有名を外した。安い手と高い手を、投資の前に同じ土俵で測る。

文脈を足せば賢くなる——は、半分だけ本当だ。埋まるのは「調べれば分かる穴」。理解の壁は、結局モデルの容量であり、賢さだけを追ってもリアルタイムでは使えないのと同じで、文脈だけを追っても、器の壁は越えられない。

付録：生データ

本文で触れていない測定条件・判定手法・別runとの照合のみ。

本文の出力例（「太陽に溶かされて」「天文部を頼む」「相川仁」）は、いずれもプロンプト注入で再生成した版の出力。