#reproducibility

3 記事

01 ·学習手法・アライメント·★ 会員·論文·20分で読めます 論文解説: DataFlex-RL — RLVRの「データ政策」11手法は一様サンプリングに勝てたか。12シードで測り直した結果 DataFlex-RL: An Evaluation Platform for RLVR Data Policies 「良いロールアウトだけ学習に使えば強くなる」はRLVRの常識になりつつある。DataFlex-RL (arXiv:2609.06107) は選択・再重み付け・混合適応の13構成を同じGRPOレシピ・12シードで比べ、どれも一様サンプリングとの差が95%区間でゼロをまたぐと報告した。評価ベンチマークの選び方で勝者が入れ替わる事実も含め、論文本文に沿って読み解く。 02 ·学習手法・アライメント·★ 会員·15分で読めます データとモデルのバージョン管理 — 再現できない実験は存在しない 「精度92%出ました」を半年後に再現できないなら、それは実験ではなく逸話です。中身からidを作るコンテンツアドレス、入力から出力への系譜（リネージ）、そして「どこまで固定すると割に合うか」の3段階を、ハッシュの式・マニフェストのコード・現場の落とし穴まで前提知識ゼロから解説します。 03 ·機械学習の基礎·★ 会員·14分で読めます データリークと実験管理 — 精度が高すぎたら疑うこと モデルの数字が思ったより良いとき、喜ぶ前に疑うべきものがあります。予測時点では手に入らない情報が学習や選択に混ざる「リーク」を、結果由来の列・前処理・時間・重複・テストの擦り切れの5種類に分けて解説し、ラベルシャッフルなどの検知手順と、原因を後から特定できる実験記録の作り方までを前提知識ゼロから積み上げます。