#coding-agent

3 記事

01 ·LLM — 大規模言語モデル·★ 会員·論文·17分で読めます 論文解説: RealSWE — 「バグ直して」だけの依頼でコーディングエージェントを測り直す RealSWE: A Compositional Evaluation of Coding Agents under Realistic User Requests SWE-benchの問題文は現実のユーザー依頼と別物だ、という主張を実データで測り、同じタスクの情報構成と文体だけを入れ替えられる381のタスク族を作った論文。正解率は平均6.4pt落ち、順位まで入れ替わる。 02 ·エージェント·★ 会員·論文·13分で読めます 論文解説 Editable Visual Design — 画像生成を「下書き」に降格させ、成果物はHTMLで納品する Editable Visual Design 画像生成モデルを最終成果物ではなく「想像用のシミュレータ」と素材工場に降格させ、コーディングエージェントがHTML/CSSで組み直す。層が分かれ文字が本物のポスターを納品する設計を、論文本文に沿って読み解く。 03 ·エージェント·無料·論文·13分で読めます 論文解説: SWE-Bench ProMax — 多言語・大規模リファクタリングでコーディングエージェントの本当の実力を測る SWE-Bench ProMax: Benchmarking Agents on Large-Scale Multilingual Code Refactoring SWE-benchの飽和と採点欠陥への回答として登場した、7言語・平均11.4ファイル修正の大規模リファクタリングベンチマークを論文本文から解説。最強モデルでも41.2%しか解けない理由と、支配的な失敗モード「やり切らないリファクタリング」を読み解く。