2026-09-30·★ 会員·論文·12分で読めます

論文解説: Post-Training Leaves Behavioral Shadows on Unrelated Decisions — 無関係な「1単語」から能力が移る

コードで追加学習したモデルに、コードと無関係な「2語のどちらか」を選ばせるだけで、その能力の一部を別のモデルへ移せる——Active Taskless Distillation(ATD)を、前提知識ゼロから式・対照実験・限界まで解説。

要点

Active Taskless Distillation(ATD)は、1プロンプトにつき教師からたった1単語を受け取るだけで能力を移す手法である。
ATDは、教師と生徒の共通の祖先である公開モデルが2つのありふれた単語のどちらでもいいと迷うプロンプトを選び、教師の選択を観測する。
Qwen2.5-1.5Bのコーディング実験では、5,664個の1単語応答でHumanEval+が対応を壊した対照群より5.34ポイント上がった。
教師は全語彙から貪欲に選んだ次の1トークンだけを返すブラックボックスで、生徒は課題データを一切見ず、問い合わせ集合は回答を見る前に固定する。
科学知識・常識推論・読解でも移転が見られ、別の世代・サイズ・系列のモデルでも平均は正だった。

#distillation #post-training #subliminal-learning #llm #lora

対象textタスクinference

Post-Training Leaves Behavioral Shadows on Unrelated Decisions

一次資料 — この記事の根拠

論文の発表 2026-09-24→この解説の公開 2026-09-30同月

Post-Training Leaves Behavioral Shadows on Unrelated DecisionsZiyang Zhang, Yubin Jing, Yuanhao Zeng ほか · 2026-09-24 · v1arXiv:2609.29233論文ページ·PDF

原文の要旨（Abstract）を読む

We find that language models can transfer capabilities through task-unrelated text. Post-training typically improves language models using task-specific data. Prior work on subliminal learning shows that information about these updates can pass through unrelated generations, but has largely focused on traits or preferences using extensive teacher outputs. We introduce Active Taskless Distillation (ATD), which achieves capability transfer using only a single word from the teacher per prompt. ATD probes the behavioral shadow of post-training by selecting prompts where the teacher and student's shared public ancestor is nearly indifferent between two ordinary words. A student initialized from this ancestor learns solely from the resulting prompt-word pairs, without target-task examples, teacher logits, or teacher parameters. In the primary coding experiment with Qwen2.5-1.5B, 5,664nses yield a 5.34 pp gain on HumanEval+ over an exact nuisance-matched control thadisrupts prompt-resperiments showtransfer in scientific knowledge, commonsense reasoning, and reading comprehensins across additional model generations, sizes, and families. Functional analyses show that the learned sid composable, andthat its strength tracks the teacher's update strength.

この論文は何を言っているのか

今回読むのは "Post-Training Leaves Behavioral Shadows on Unrelated Decisions"（Zhang ほか, 2026年9月, arXiv:2609.29233）です。タイトルを直訳すると「ポストトレーニングは、無関係な判断に行動の影を落とす」。

アブストラクトの主張を日本語でまとめると次の通りです。言語モデルは、課題と無関係なテキストを通じても能力を受け渡せる。ポストトレーニング（事前学習の後に行う追加学習）は普通、課題専用のデータでモデルを改善する。先行研究の「サブリミナル学習」は、その更新の情報が無関係な生成物を通じて漏れうることを示したが、扱ったのは主に性格や好みで、教師の出力も大量に使っていた。著者らは Active Taskless Distillation（ATD） を提案し、1プロンプトにつき教師からたった1単語を受け取るだけで能力を移せることを示す。ATD は、教師と生徒の共通の祖先である公開モデルが「2つのありふれた単語のどちらでもいい」とほぼ迷っているプロンプトを選び、その選択を観測する。Qwen2.5-1.5B のコーディング実験では、5,664個の1単語応答で HumanEval+ が、対応関係を壊した対照群より 5.34 ポイント上がった。科学知識・常識推論・読解でも移転が見られ、別の世代・サイズ・系列のモデルでも平均は正だった。

コードを1行も見せていないのに、コードが上手くなる。この直感に反する結果がどう成り立つのかを、順を追って見ていきます。

比喩: 迷っている人の「どっちでもいい」を聞く

双子の兄弟を想像してください。同じ家で育ち、好みもほぼ同じです。その後、兄だけがプログラミング合宿に1か月参加しました。弟は合宿の中身を一切知りません。

弟が兄に「コードを教えて」と頼むのは禁止です。許されているのは「ジャケットとネクタイ、どっちがいい？」のような無関係な質問に1語で答えてもらうことだけ。

ポイントは、合宿前の兄（＝弟自身）が五分五分で迷う質問だけを選ぶことです。迷っていない質問（「ラーメンとゴムタイヤ、どっちを食べる？」）では、合宿で少し変わった兄も同じ答えを返すので何も分かりません。しかし天秤がちょうど釣り合っている質問なら、合宿で生じたわずかな重心の変化で答えがひっくり返ります。その「ひっくり返り」を何千回も集めて弟が真似すると、合宿で身についたものの一部が弟にも移る——というのが ATD の発想です。

下の図で、2本の棒がほぼ同じ高さになる状態が「釣り合い」です。わずかにスコアが動くだけで順位が入れ替わる感覚をつかんでください。

FIG 12語のスコアがほぼ同じなら、わずかな差で「どちらが1位か」が入れ替わる。ATDはこの入れ替わりだけを観測する

論文は、課題と無関係な入力での振る舞いの変化を行動の影（behavioral shadow）と呼びます（§1）。

設定: 公開の祖先・非公開の教師・同じ祖先から始める生徒

登場人物は3つです（§3）。

公開モデル $M_0$ （祖先）: パラメータ $\theta_0$ 。誰でも中身を見られる
非公開の教師 $M_T$ : $M_0$ を課題用に追加学習したもの。パラメータは $\theta_T=\theta_0+\delta$ で、 $\delta$ （更新の差分）は分からない
生徒: $M_0$ と同じ $\theta_0$ から初期化する

教師には「1回の問い合わせで、全語彙から貪欲に選んだ次の1トークンだけを返す」ブラックボックスとしてしかアクセスできません。生徒は課題データを一切見ません。さらに、問い合わせる質問の集合は教師の回答を1つも見ないうちに固定しておく、という縛りがあります。

仕組み: なぜ「迷い」の近くを聞くと効くのか

プロンプト $x_i$ で2つの候補語 $a_i, b_i$ を並べたとき、2語のロジット（softmax に入る前の生のスコア）の差を考えます（§3）。

m_i(\theta)=z_\theta(a_i\mid x_i)-z_\theta(b_i\mid x_i)

(1)

$m_i$ が正なら $a_i$ 寄り、負なら $b_i$ 寄り、0 ならちょうど五分五分、という「天秤の傾き」です。 $z_\theta(w\mid x_i)$ は、パラメータ $\theta$ のモデルが単語 $w$ に付けるロジットです。

論文解説: Post-Training Leaves Behavioral Shadows on Unrelated Decisions — 無関係な「1単語」から能力が移る

要点

この論文は何を言っているのか

比喩: 迷っている人の「どっちでもいい」を聞く

設定: 公開の祖先・非公開の教師・同じ祖先から始める生徒

仕組み: なぜ「迷い」の近くを聞くと効くのか

ここから先は会員限定です

参考文献

コメント