#json

1 記事

01 ·推論・高速化·無料·論文·15分で読めます 構造化出力と制約デコーディング — JSONを壊さない仕組み Efficient Guided Generation for Large Language Models 「JSONで返して」とお願いする代わりに、文法的に許されないトークンを出す前に確率ゼロへ落とす — 制約デコーディングの仕組みを、logitマスクから語彙のインデックス化、function callingの裏側、そして「構文は守れても中身は守れない」限界まで1から解説する。