#linearity

1 記事

01 ·Transformerの仕組み·★ 会員·論文·12分で読めます 論文解説: Your Transformer Can Hold Two Thoughts at Once — 2本の文章を混ぜてもLLMは両方の続きを覚えている Your Transformer Can Hold Two Thoughts at Once: Evidence of Linear Superposition in LLMs 無関係な2本の文章の埋め込みを平均して1回だけ通すと、LLMの出力には両方の次トークン候補が残る。この『重ね合わせ線形性』が学習でむしろ弱まること、軽い微調整で戻ること、2本の続きを分けて生成する試みまでを論文本文に沿って解説する。