#llm-as-judge

2 記事

01 ·時系列データ系·★ 会員·論文·18分で読めます 論文解説 MetroLLM-Bench — 駅の券売機を LLM に任せると何点取れるか。2.6GBの4Bモデルが GPT-5.6 に並んだ理由と、27Bで微調整が逆効果になった理由 MetroLLM-Bench: Evaluating Language Models as Transit Kiosk Runtimes 交通系券売機の「判断部分」を言語モデルに置き換えたら何点取れるかを測る955ケースのベンチマーク。4BのQLoRA生徒モデルがTier 1でGPT-5.6を上回った結果と、モデルが大きいほどPEFTの効きが減って27Bでマイナスに転じる「容量の天井」を、論文本文だけを根拠に読み解く。 02 ·エージェント·無料·論文·12分で読めます 論文解説: OSReward — AIの「採点者」は信用できるか。コンピュータ操作エージェントの報酬を測り直す OSReward: Instituting Standardized Evaluation for Cross-Platform Computer-Use Reward Models PCやスマホを操作するAIエージェントの成否を判定する「VLM審判」は、実は失敗を成功と誤認する甘さバイアスを共有していた——1019本の人手検証済み軌跡でこれを暴き、30〜60倍安い公開報酬モデルOS-Shepherdで埋める論文を、前提知識ゼロから解説する。