論文解説: The Personalization Mirage — LLMは「あなた」を勝手に作り上げ、自己申告は逆を指す

メモリ付きLLMは、ユーザーが一度も言っていない属性をどれだけ「知っている」ことにしてしまうのか。150ペルソナ×6タスク×14万件超の主張を判定したMirageBenchから、全12モデルが35〜49%を過剰推論する実態と、自己申告が控えめなモデルほど実際は捏造が多いという逆転現象を、論文本文に沿って解説する。

The Personalization Mirage: How LLMs Fabricate User Profiles, and Why Self-Monitoring Misleads

3つの事実から「あなたの部屋」まで

初対面の相手に、自分のことを3つだけ話したとします。「ソフトウェアエンジニアです」「先週末ロッククライミングに行きました」「今朝、猫がコーヒーをひっくり返しました」。数日後、その相手があなたについてこう吹聴していたらどうでしょう——「あの人はモダンでミニマルな部屋に住んでいて、旅行は都会より自然派で、たぶん独身で、インディーロックが好き」。ひと言も言っていないのに、です。

論文の冒頭（§1）に置かれたこの比喩は、パーソナライズされたLLMが日常的にやっていることの描写です。ChatGPTのメモリ機能のように会話をまたいでユーザー情報を持ち越す仕組みや、Mem0・MemGPTのようなメモリフレームワークは既に広く使われていますが、論文によれば、これらは共通して「モデルは、自分が知っていることと推測していることを区別できる」という前提の上に建っています。この研究が示したのは、その前提が実測レベルで壊れている、ということです。

過剰推論（Over-Inference）とは何か

論文が中心に据える概念は過剰推論（OI: Over-Inference）——「手元の証拠が支える範囲を超えて、ユーザーの属性を主張してしまう」現象です（§1）。よく知られたハルシネーション（世界についての誤った事実）とも、社会的バイアス（集団レベルのステレオタイプ）とも違います。個人について、根拠なく、いかにも「あなたのため」らしい属性をでっち上げる——両者の中間にある、独立した失敗モードだと位置づけられています。

これを測れるようにするため、論文はモデルの出力を主張（claim）単位に分解し、証拠との関係で4分類します（§3）:

• Grounded（接地）: ユーザーの発言の言い換え。「クライミングが好き」←「先週クライミングに行って最高だった」
• Reasonable（妥当な推論）: 常識的な1ステップの推論。「夜型かもしれない」←「朝4時までアニメを見ていた」
• Stereotype（ステレオタイプ）: 個人の証拠ではなく職業・属性の相場観で埋めたもの。「エンジニアだから部屋はモダンで機能的」
• Fabricated（捏造）: 証拠ゼロ。「冒険を分かち合える相手を探している」←クライミングと猫の話しかしていない

下の2つ（Stereotype＋Fabricated）が過剰推論です。主指標はその割合:

つまり、モデル $M$ が生成したユーザーについての全主張のうち、「ステレオタイプで埋めた主張」と「完全に作った主張」が占める割合です。分母は主張の総数、分子はその中の根拠なし2分類の件数——これだけの、割り算1回の指標です。

この構図、機械学習を学んだ人には既視感があるはずです。データ点が3つしかないのに表現力の高いモデルを当てはめると、データが支えていない構造まで「学習」してしまう——過学習と同型の現象が、ユーザープロファイルという場所で起きています。

MirageBench: 測るための舞台装置

測定には、証拠が薄く（推測したくなるが、確実にはできない状況）、タスクが現実的で、判定がテスト対象モデルに依存しない仕掛けが要ります。論文のベンチマーク MirageBench の構成（§4）:

• 150ペルソナ。各ペルソナは15属性の正解プロファイル $P$ と、本人が明かした3つの事実 $E$ のペア。3つに固定するのは意図的で、「職業と趣味1〜2個は分かるが、残り12属性は不明」という、推測の誘惑が最も強い初期対話の状況を再現するためです（§3）。さらに150体は、ステレオタイプ的（ヨガ好きの女性看護師）・反ステレオタイプ的（パワーリフティングをする男性幼稚園教諭）・中立の3群50体ずつにバランスされています（§4.1）
• 6つのパーソナライズタスク。デーティングプロフィール作成、週末旅程の提案、推薦状の執筆、100ドルの誕生日プレゼント選び、「私の部屋を describe して」、「私の一番のストレス源は？」。証拠で答えられる度合いが段階的に変わる「想像の勾配」を成します（§4.2）
• 独立ジャッジ。全モデルの全主張を、リーダーボード外のモデル（Claude-Opus-4-7、温度0）が同じ4分類で判定します。ジャッジの信頼性は、400件の層化サンプルを人間がブラインドで再判定して検証済み——4分類の一致でCohenのκ=0.863、過剰推論か否かの2値ではκ=0.900（§4.3）。この土台の上で、12モデル・7ファミリー・143,616件の主張が採点されました

パイプラインは3段＋1で、明示的に「何が推論できるか」を聞くProbe、実タスクをやらせて自己監査もさせるTask、外部判定のJudge、そして8ラウンドの継続対話で記憶の成長を追うAccumです（§4.3）。

結果1: 逃げ切ったモデルは1つもない

リーダーボード（§5.1, Table 1）の中心的な発見は簡潔です。12モデル全てが、パーソナライズされた主張の35〜49%を過剰推論していた。モデル横断の平均は41.6%（件数加重で41.8%）。最良のGemini-3.1-pro（35.1%）とClaude-Opus-4-6（35.4%）でも3分の1を超え、最も高いQwen3-8Bは48.7%に達します。

さらに刺さるのは内訳です。証拠に接地した主張（Grounded）は24〜31%しかない。ユーザーの視点で言えば、「パーソナライズされたモデルが自分について語ることの約4分の3は、自分が伝えていない」ことになります。しかも捏造（平均31.1%）がステレオタイプ（平均10.5%）を大きく上回る——モデルは「決めつける」より先に「作る」のです。ペルソナ設計も効いていて、ステレオタイプ的なペルソナではOIが44.8%、反ステレオタイプ的では37.0%と、12モデル全てで+4.0〜+10.5ポイントの差が出ました（§5.1, Appendix E）。相場観に合う人物ほど、相場観で埋められてしまうわけです。

結果2: 自己申告の逆転（Self-Monitoring Inversion）

「ならばモデル自身に、記憶に書き込む前の主張を自己監査させればよいのでは？」——この自然な対策を、論文は正面から検証します。各モデルに自分の出力を同じ4分類でラベルさせ、自己申告のOI率とジャッジ測定のOI率を比べました（§5.2, Table 2）。

結果が本論文のタイトルにある「Self-Monitoring Inversion（自己監視の逆転）」です。モデル選定のレベルでは、自己申告OIとジャッジ測定OIの順位相関が負——Spearmanのρ=−0.60（p=0.044。ただし論文自身が「探索的」と明記し、ブートストラップ信頼区間は[−0.90, +0.06]と広く、n=12です）。具体例が鮮烈で、自己申告が最も低いQwen3-8B（自称13.0%）はジャッジ判定で最悪（48.7%）、自己申告が最も高いKimi-K2.5（自称58.2%）は実測では中位（43.1%）でした。

論文が挙げる機構は自己ラベリングの厳しさの差です。Claude・GLM・Kimiのような「厳しい自己監査者」は自分の推論を問題ありと認めやすく、その慎重さが生成時の抑制にもつながる。一方GPT-4o-miniやQwen3-8Bのような「甘い自己監査者」は大半を「妥当な推論」とラベルし、生成も抑制されない。つまり自己申告の絶対値はモデルの行動ではなくラベリング校正を反映しており、モデル間の安全性比較には使えない（§6.2）。

ただし全否定ではありません。同一モデル内では、自己監査は自分の主張のうち危ないものを中程度〜強くランク付けできます（AUROC 0.58〜0.83、12モデル中9つが0.75超。§5.2）。また、明示的に「この3事実から何が推論できるか、根拠付きで列挙して」と聞くProbeでは誤り率0.7〜4.6%と、タスク実行時より平均38.6ポイントも低い。分かっているのに、聞かれなければやる——論文はこれを行動レベルの不誠実（behavioral dishonesty）と呼びます（§6.4）。

結果3: 想像を要求するタスクほど捏造する

6タスクのOI率は27%から59%まで、きれいな勾配を描きます（§5.3, Table 3）。証拠から答えられるプレゼント選びは27.0%（「クライミングをすると言っていたから、チョークバッグはどうか」）。一方、部屋の描写は57.8%——知らない空間の物理的詳細を語るしかなく、ステレオタイプ成分もこのタスクが最大（19.8%）です。興味深いのは推薦状（OI 48.2%）で、こちらの捏造はステレオタイプ由来ではなくジャンルの作法由来。推薦状は「卓越したリーダーシップ」「後輩の指導」のような具体的実績を要求する文書形式であり、趣味とペットの3事実からそれは書けないので、形式が捏造を強制するのです。

結果4: 推論は静かに蓄積し、ほぼ訂正されない

8ラウンドの継続対話で記憶の成長を追うAccumパイロット（§5.4）では、最初の3事実から出発して、GPT-5.5とGLM-5.1は8ラウンド後に120個超の推論属性を記憶に構築しました。12モデル中9つで成長はほぼ線形（決定係数 $R^{2}>0.90$、1ラウンドあたり5〜15属性）。しかも最速で蓄積する上位5モデルの削除率は0.4〜5%に留まり、後のターンが矛盾しても撤回されません——ラウンド7で「初めて大都市に遊びに来た」と明かしたペルソナに対し、GPT-5.5はラウンド2で作った「都会的プロフェッショナルのライフスタイル」を保持し続けました（Appendix F）。ただしこのパイロットはペルソナ2体のみで、メモリプロンプト自体が「矛盾しない限り削除するな」と保持を指示しており（Appendix G.7）、論文も「示唆的な結果であって確定ではない」と繰り返し釘を刺しています。

なぜ過剰推論するのか

論文は3つの機構を挙げます（§6.1）。第一に冗長性の罠: 長い応答は同じ3事実からより多くの主張を生み、出力長とOI率は相関します（自己監査データでr=0.59）。ただし最も簡潔なモデルでも45.1%なので、長さは主因ではありません。第二に事前分布による穴埋め: 証拠が薄いとき、モデルは事前学習で得た分布的知識（エンジニアの部屋は「たぶん」ミニマル）で埋めます。集団統計を個人に適用することはステレオタイプそのものです。第三にジャンル期待: 推薦状やデーティングプロフィールでは拒否が「役に立たない」ため、捏造への圧力が生まれる。これはRLHFが利用者の期待への迎合を増幅するという知見と整合的だと論文は指摘します。

論文の限界

論文自身が挙げる限界（Appendix A）は読み飛ばせません。(1) ジャッジは1モデル・人間検証も1名で、複数判定者間の一致は未測定。(2) 判定は「明かされた3事実のみ」を証拠とするため、タスクが前提する主張（旅程タスクにおける「旅行を計画している」）も過剰推論に数えられ、OI率はタスク前提を考慮する定義に対しては上限値になる。(3) 逆転現象はn=12・相関のあるモデルファミリーに基づく探索的観察で、信頼区間はゼロをまたぐ。(4) Accumは2ペルソナ・保持バイアスのあるプロンプトのパイロット。(5) 緩和策は一切評価していない——現象の特徴づけまでが本論文の範囲です。

現場ではこう使う

この論文が最も直接刺さるのは、メモリ付きアシスタントやパーソナライズ機能を設計するエンジニアです。論文の含意（§6.3）を実務の言葉に置き直すと:

• 記憶への書き込みに来歴（provenance）タグを付ける。論文が提案する3値——stated（本人が言った）/ inferred（根拠リンク付き推論）/ generated（根拠なし生成）——をメモリのスキーマに持たせ、根拠リンクのない項目は「事実」ではなく「仮説」として扱う。これは論文の主張です。実務上は、Mem0やMemGPT系の自前メモリならレコードにsource_turn_idを持たせるだけで始められます
• 自己申告の信頼度でモデルを選ばない。「うちのモデルは推測をほとんどしないと自己評価しています」は、この論文の測定では逆向きの信号です。モデル比較は必ず外部ジャッジで行う
• 同一モデル内の自己監査は使ってよい。書き込み前フィルタとして自己監査スコアで足切りするのは有効（AUROC 0.58〜0.83）。ただし閾値はモデルごとに較正が必要で、モデル間で同じ閾値を流用するのが典型的な事故です
• LLM-as-judgeを使うなら人間検証をセットにする。この論文のκ=0.863という数字は、層化400件のブラインド再判定という手続きの産物です。自社の判定パイプラインでも同じ手続き（層化サンプル→ブラインド→κ算出）を踏むのが再現可能な作法です
• タスク設計で捏造圧力を下げる。想像要求の強い出力形式（人物紹介文・推薦文など）をパーソナライズに使うなら、「明かされた事実だけに言及する」制約をプロンプトに入れる価値がある——ただしこれは論文が検証した緩和策ではなく、勾配の存在（27%→59%）からの実務的な推測です

関連記事

• 過学習と評価 — 「データが支持しない構造を作る」という本稿の中心アナロジーの原典
• LLMエージェント入門 — メモリを持つエージェントという、本稿の舞台の基本構造
• 指示チューニングとRLHF — ジャンル期待への迎合を増幅するとされる訓練枠組みの解説