論文解説: SpeakerMem-R1 — グループチャットの「誰が・誰について・いつ」を忘れない二重記憶
複数人の会話を長期記憶するSpeakerMem-R1を1から解説。発言の原文と「人ごと・グループごと」に整理した状態を二本立てで持ち、記録係の小型モデル(Qwen2.5-3B)を話者ごとに採点する強化学習で鍛える仕組みを、式と実験結果から読み解く。
要点
- SpeakerMem-R1は、複数人の長期会話記憶を、検索だけでなく発言の帰属と状態の再構成の二つの課題として扱う。
- 記録は内容を誰が言ったか(src)と誰についての話か(own)に分けて持ち、個人かグループかの範囲や時刻、元発言への参照を添える。
- 記憶は、話者ラベル付き原文のSystem 1と、Core・Profile・Interaction・Insightの4層のSystem 2に分かれる。
- 更新は上書きせず新しいノードを追記して古いノードと結ぶので、今の状態(head)も変遷の全体(full)も取り出せる。
- GroupMemBench・SocialMemBench・EverMemBenchで二値正解率47.9%・69.2%・61.9%を報告している。
SpeakerMem-R1: Speaker-Centered Dual-Track Memory for Multi-Party Dialogue
一次資料 — この記事の根拠
論文の発表 2026-09-22→この解説の公開 2026-09-25同月
SpeakerMem-R1: Speaker-Centered Dual-Track Memory for Multi-Party DialogueHaobo Zheng, Tan Tang, Yan Chen ほか · 2026-09-22 · v2arXiv:2609.26780論文ページ·PDF原文の要旨（Abstract）を読む
Long-term conversational memory in multi-party settings requires more than retrieving relevant content from long-term conversations: it must distinguish who said what, whom each statement concerns, how individuals perceive one another, what information is shared by the group, and how states change over time. Recent studies on multi-party dialogue benchmarks show that existing general-purpose LLM memory systems tend to lose person and group relations or struggle to integrate clues distributed across members, groups, and time. Together, these issues reveal two core bottlenecks: message attribution and relational understanding in multi-party dialogue, and state reconstruction from interleaved histories. To address both, we propose $\textbf{SpeakerMem-R1}$: its dual-track memory stores speaker-labeled verbatim messages and derived states organized into person-level and group-level views, then combines evidence from both tracks by entity, event, and time at query time. To reduce attribution and update errors during structured memory construction while enabling local deployment, we train Writer-R1 with SpeakerLevenshtein and speaker-conditioned GRPO. On GroupMemBench, SocialMemBench, and EverMemBench, SpeakerMem-R1 achieves binary accuracies of 47.9%, 69.2%, and 61.9%, respectively. On the publicly reported EverMemBench leaderboard from EverMind-AI, we achieves 62.33%, the best reported result among the latest state-of-the-art frameworks. It also achieves 70.85% on all 1,986 LoCoMo questions, which we use as a two-person long-term conversation boundary test. In a controlled evaluation of 305 questions, RL raises the SFT Writer's mean accuracy from 57.38% to 68.20%. We report both binary accuracy and token-F1, and ablations show that the verbatim and structured tracks, as well as person-level and group-level views, are complementary under the standardized evaluation interface.
議事録係は「誰が言ったか」を落とすと役に立たない
町内会のグループチャットを思い浮かべてください。50人が参加し、祭りの準備、ゴミ当番、会費の話が同時並行で流れていきます。1か月後に「結局、テント係は誰になったの?」「佐藤さんは山田さんの案に賛成だったっけ?」と聞かれたとき、必要なのは関連する文章ではありません。誰が言ったか・誰についての話か・最終的にどう決まったかです。
今回読む論文は "SpeakerMem-R1: Speaker-Centered Dual-Track Memory for Multi-Party Dialogue"（Zheng ら、浙江大学、arXiv:2609.26780、2026年9月）です。
アブストラクトの要旨はこうです。複数人の長期会話を記憶するには、関連内容を検索するだけでは足りず、誰が何を言ったか、その発言が誰に関するものか、個人同士がどう見ているか、グループで共有された情報は何か、状態が時間とともにどう変わったかを区別する必要がある。既存の汎用LLMメモリは人とグループの関係を失ったり、メンバー・グループ・時間に散らばった手がかりを統合できなかったりする。そこで論文は「発言の帰属と関係理解」「入り組んだ履歴からの状態再構成」を二大ボトルネックと定め、話者ラベル付きの原文と、人単位・グループ単位に整理した派生状態を二本立てで保存し、質問時に実体・出来事・時間で組み合わせる SpeakerMem-R1 を提案する。記録を書く Writer は SpeakerLevenshtein と話者条件付き GRPO で学習し、ローカル実行できる小型モデルにする。GroupMemBench・SocialMemBench・EverMemBench で二値正解率 47.9%・69.2%・61.9% を報告している。
以下、前提知識ゼロから順に追います。長期記憶の基本は エージェントの記憶設計 も参考になります。
なぜ「検索を強くする」だけでは解けないのか
論文はまず問題を2つに分けます (§1)。
- メッセージの帰属 (message attribution): 誰が言ったか、誰についての内容か、個人の情報かグループで共有された情報か。
- 状態の再構成 (state reconstruction): メンバー・グループ・時間に散った手がかりから、現在あるいは過去の状態を組み立て直すこと。
ふつうのRAGは「質問と似た文章を上位k件持ってくる」方式です。論文は、この大域的な関連度検索では発言の少ないメンバーや正しい話題の枝が候補に入る保証がないと指摘します (§1)。一方、要約や事実の集約、汎用のメモリグラフに頼ると、情報源と持ち主、個人かグループか、どの時点の状態か、が失われうる。つまり「もっと要約する」「もっとエッジを張る」ではなく、参加者の関係つきで検証できる証拠と、質問に応じた局所的な状態の組み立てが要る、というのが出発点です。
実際に論文が引く既存研究では、複数人の会話ベンチマーク上で汎用メモリシステムが大きく劣化し、BM25や密ベクトル検索が一部の設定で互角に残る、と報告されています (§1)。
記録の形: 「情報源」と「持ち主」を分ける
会話は次のように書けます (§3.1)。
言い換えると、会話 は 個の発言の列で、各発言 は本文 ・話者 ・時刻 ・チャンネル の4つ組です。
この発言列から Writer が派生記録を作ります。1件の記録は次の形です。
つまり「内容 を、誰が言ったか (src) と誰についての話か (own) に分けて持ち、個人(Person)かグループ(Group)かの範囲、出来事、時刻、状態、元発言への参照を添える」ということです。自己申告なら src と own は同じ人ですが、「Aliceは、Bobが同意したと思っている」なら src=Alice、own=Bob になります (§3.1)。この区別こそが複数人会話の肝です。
二本の記憶トラックと5つの層
SpeakerMem-R1 は記憶を2系統に分けます (§3.2, 付録 表5)。
- System 1（原文トラック）: 唯一の逐語層。各発言を本文・話者・時刻・チャンネルごとそのまま保存します。言語モデルを使わず、決定的なコードで追記するだけです。
- System 2（派生トラック）: 4層の構造化記憶。
- 個人スコープの Core（安定した属性・事実・立場・繰り返す行動）と Profile（ある人についての観察、他者への認識）
- グループスコープの Interaction（複数人にまたがる出来事・関係・決定）と Insight（グループの規範・合意・例外）
派生記録にはすべて from_ids が付き、根拠となった原文メッセージへ辿れます。原文は正確な言い回しと前後の文脈を、派生は人単位・グループ単位の状態を供給する、という役割分担です。
更新も工夫されています (§3.1, 付録B.2)。Writer は区間ごとに Add / Update / Noop のいずれかを返し、Update は既存記録の entry_id を指定して新しいノードを追記し、古いノードとは links / superseded_by でつなぐだけです。上書きしないので、「今の状態(head)」も「変遷の全体(full)」も後から取り出せます。
大域的な上位k件検索で何が落ちるかは、次の図で体感できます。クエリを動かすと、ベクトルの長い「よく喋る人」の房が上位を占め、発言の少ない人の記録が top-k から押し出される場面が作れます。
コメント
コメントにはログインが必要です