distilling

定義

蒸留するという動作を表す動名詞で、大きなモデルや高価な手続きの振る舞いを、小さく速いものへ移すことを指す。タイトルでは「Distilling X into Y」の形で、何を何へ移すかを明示する用法が一般的。移す対象はモデルに限らず、多段のサンプリング手順や探索過程のこともある。

論文題名での読み方

distillationの動名詞

この語が出てくる解説

• 論文解説: Repo-To-Skill — GitHubリポジトリを「AIのためのスキル」に蒸留するRepo-To-Skill: Distilling GitHub Repositories Into AI4AI Skills
• 蒸留・量子化・枝刈りの使い分け — 小さくする3つの道Distilling the Knowledge in a Neural Network
• 蒸留レシピ図鑑 — logit・feature・attention・self をどう使い分けるかDistilling the Knowledge in a Neural Network