論文解説: Your Transformer Can Hold Two Thoughts at Once — 2本の文章を混ぜてもLLMは両方の続きを覚えている

無関係な2本の文章の埋め込みを平均して1回だけ通すと、LLMの出力には両方の次トークン候補が残る。この『重ね合わせ線形性』が学習でむしろ弱まること、軽い微調整で戻ること、2本の続きを分けて生成する試みまでを論文本文に沿って解説する。

Your Transformer Can Hold Two Thoughts at Once: Evidence of Linear Superposition in LLMs

この論文は何を言っているのか

今回読むのは、2026年9月24日にarXivに公開された "Your Transformer Can Hold Two Thoughts at Once: Evidence of Linear Superposition in LLMs"（Tikhonovら、arXiv:2609.29845）です。

要旨を日本語でまとめるとこうなります。LLMは非線形な部品の塊なのに、根っこのところで線形にふるまう。別々の文章から来た入力を線形に混ぜると、出力はそれぞれの次トークン分布を重ね合わせたものになる。著者らはこれを「重ね合わせ線形性仮説（Superposition Linearity Hypothesis）」と呼ぶ。この性質は学習で身につくものではなくTransformerという構造そのものに備わっていて、事前学習が進むとむしろ弱まる。ただし軽い微調整でかなり取り戻せて、混ぜた入力の出力分布と「2つの分布の平均」とのずれは大きく縮む。最後に、重なった出力をほどいて、1回の順伝播から2本のまともな続きを同時に生成するデコード法を提案する。

比喩: 2つの放送局が同じ周波数に乗ったラジオ

ラジオで2つの局が混信している場面を思い浮かべてください。ニュースと野球中継が同時に聞こえてきます。耳障りではあっても、慣れた人なら「今の単語はニュース側」「今の歓声は中継側」とかなり聞き分けられます。音は空気中で足し算されるだけなので、元の2つの信号は壊れずに重なっているからです。

問いは、LLMの中でも同じことが起きるかです。Transformerには注意のsoftmaxや活性化関数など、足し算を素直に通さない部品が積み重なっています。2局の放送が溶け合い、どちらでもない雑音になってもおかしくありません。

直感: 「平均した単語」を読ませる

実験の操作は驚くほど単純です。長さをそろえた2本の文章AとBを用意し、同じ位置のトークン同士で埋め込みベクトルを平均します。1トークン目はAとBの1トークン目の平均、という具合です。これを普通のLLMに1回だけ通し、次トークン分布を調べます。

埋め込みは単語を向きを持った数値の並びに変えたものです（埋め込み(Embedding)を1から理解する）。下の図で2本のベクトルの角度を変えると、向きが離れるほど内積と余弦が小さくなります。平均ベクトルは両方から少しずつ離れた「中間の向き」なので、モデルから見れば「どちらの単語とも言い切れない入力」が続くことになります。

仕組み: 3つの式で問いを定義する

著者らはまず混ぜ方を式にします（§2.1）。

$E$ はトークンを埋め込みベクトルに変える関数、$x_t$ と $y_t$ は2本の文章の $t$ 番目のトークン、$e_t(z)$ はモデルに実際に渡す混合入力です。言い換えれば「同じ位置の2単語のベクトルを足して2で割る」だけです。

理想的に線形なら、出力は次の分布に近づくはずです（§2.3）。

$P(x\mid A)$ は文章Aだけを入れたときの次トークン分布です。つまり「Aだけ入れた場合とBだけ入れた場合の予測を、半々で混ぜたもの」が目標になります。

ずれを測るため、著者らは比率を定義しています。

$\mathcal{D}$ はKLダイバージェンスなど分布どうしの距離、$P_{\text{mix}}$ は混ぜた入力に対する実際の出力です。分子は「目標と実際のずれ」、分母は「無関係な2文章の予測どうしのずれ」です。つまり1より十分小さければ、混ぜた出力は無関係な分布よりずっと目標に近いと言えます。KLダイバージェンス自体はAIのための情報理論で扱っています。