#safety

12 記事

01 ·論文解説·★ 会員·論文·16分で読めます 論文解説: Refusal in Language Models Is Mediated by a Single Direction — 「断る」はモデル内部の1本の方向だった Refusal in Language Models Is Mediated by a Single Direction チャットモデルが有害な依頼を断る振る舞いは、残差ストリームの中の1本の方向で仲介されている。有害・無害の指示での活性化の差分平均でその方向を見つけ、引けば拒否が消え、足せば無害な依頼でも拒否が出ることを13モデルで示した論文を、解釈可能性の観点から読み解く。 02 ·論文解説·★ 会員·論文·16分で読めます 論文解説: Refusal in Language Models Is Mediated by a Single Direction — 「断る」はモデル内部の1本の方向だった Refusal in Language Models Is Mediated by a Single Direction チャットモデルが有害な依頼を断る振る舞いは、残差ストリームの中の1本の方向で仲介されている。有害・無害の指示での活性化の差分平均でその方向を見つけ、引けば拒否が消え、足せば無害な依頼でも拒否が出ることを13モデルで示した論文を、解釈可能性の観点から読み解く。 03 ·論文解説·★ 会員·論文·9分で読めます 論文解説: From Evidence to Action: How Tool-Using Agents Fail — 失敗の診断指標と介入実験を本文から読む From Evidence to Action: How Tool-Using Agents Fail 道具を使うエージェントの失敗を「調べる・動く・つなぐ」の鎖に分けて測ったSafeActBench論文を、本文と付録まで読んで解説。診断指標の定義、根拠を抜いたときの挙動、証拠を構造化する追加実験の結果まで追う。 04 ·エージェント·無料·論文·9分で読めます 論文解説: SafeActBench — 道具を使うエージェントは「実行」より手前で失敗する From Evidence to Action: How Tool-Using Agents Fail 「結果が合っていた」は「根拠があって動いた」ことを意味しない。656件のSafeActBenchと10構成の実測で、失敗の多くが実行より手前——調べ足りないまま止まる／根拠が揃う前に動く——で起きていることを示した論文を1から解説する。 05 ·評価と審判·★ 会員·論文·12分で読めます 報酬ハッキング — 測り方を決めると、そこが壊れる Concrete Problems in AI Safety 指標を決めた瞬間から、その指標は壊れ始める。Goodhartの法則がなぜ統計的に避けられないのかを代理報酬のずれから説明し、ボートレースの周回からRLHFの冗長化・おべっか・テストのハードコードまで実例で追い、最適化圧と真の性能の乖離を検出する方法とKL正則化などの現実的な対策を扱う。 06 ·論文解説·無料·20分で読めます 代理指標では、もう守れない — 自動運転 2026年8月新着8本を束ねて読む 2026年8月下旬の自動運転系arXiv新着8本を横断して読む。安全を期待値で測るのをやめる動き、自車の履歴の外側に観測経路を足す動き、そして無理に束ねられない独立した2本を、関係が見える形で整理する。 07 ·LLM — 大規模言語モデル·無料·論文·11分で読めます ハルシネーションはなぜ起きる — 仕組みと現実的な対策 Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks LLMが平然と嘘をつくのはバグではなく、次トークン予測という学習目的の素直な帰結。損失関数に真偽の項がないこと、圧縮された知識が端から崩れること、サンプリングが裾を引くこと、採点方法が当てずっぽうに報酬を与えることを1から分解し、RAG・引用照合・不確実性推定という現場で実際に効く順に対策を並べる。 08 ·LLM — 大規模言語モデル·無料·論文·11分で読めます ハルシネーションはなぜ起きる — 仕組みと現実的な対策 Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks LLMが平然と嘘をつくのはバグではなく、次トークン予測という学習目的の素直な帰結。損失関数に真偽の項がないこと、圧縮された知識が端から崩れること、サンプリングが裾を引くこと、採点方法が当てずっぽうに報酬を与えることを1から分解し、RAG・引用照合・不確実性推定という現場で実際に効く順に対策を並べる。 09 ·LLM — 大規模言語モデル·★ 会員·論文·10分で読めます アライメント概説 — RLHFからConstitutional AIまで Training language models to follow instructions with human feedback アライメントとは何と何を揃える作業なのかを、目的・仕様・代理の3層に分けて整理する。RLHFもDPOもConstitutional AIも「報酬 − 参照モデルから離れた罰」という同じ骨格を解いていること、代理を押し切ると必ず報酬ハッキングが出ること、無害さを強めた分だけ有用さが削れる取引の構造を、式と実装の落とし穴まで含めて解説する。 10 ·LLM — 大規模言語モデル·★ 会員·論文·10分で読めます アライメント概説 — RLHFからConstitutional AIまで Training language models to follow instructions with human feedback アライメントとは何と何を揃える作業なのかを、目的・仕様・代理の3層に分けて整理する。RLHFもDPOもConstitutional AIも「報酬 − 参照モデルから離れた罰」という同じ骨格を解いていること、代理を押し切ると必ず報酬ハッキングが出ること、無害さを強めた分だけ有用さが削れる取引の構造を、式と実装の落とし穴まで含めて解説する。 11 ·セキュリティ·★ 会員·論文·13分で読めます LLMセキュリティ — プロンプトインジェクションと防御 Not What You've Signed Up For: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection LLMは「上司の指示」と「書類に書かれた文字」を区別できない。この一点から生まれる直接注入・間接注入・ツール境界の問題を前提知識ゼロから解き、プロンプトで守ろうとする誤りと、実行層に境界を置く多層防御の組み方までを扱う。 12 ·セキュリティ·★ 会員·論文·13分で読めます LLMセキュリティ — プロンプトインジェクションと防御 Not What You've Signed Up For: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection LLMは「上司の指示」と「書類に書かれた文字」を区別できない。この一点から生まれる直接注入・間接注入・ツール境界の問題を前提知識ゼロから解き、プロンプトで守ろうとする誤りと、実行層に境界を置く多層防御の組み方までを扱う。