knowledge

定義

モデルのパラメータに埋め込まれた事実や関係、あるいは外部から与えられる情報のこと。学習時点以降の事実を持たない、誤りを自信ありげに出す、といった問題の中心にある概念。重みの中に持つ知識と、検索で外から補う知識(retrieval)を分けて論じるのが通例。

論文題名での読み方

何を知っているかの話

この語が出てくる解説

• 蒸留・量子化・枝刈りの使い分け — 小さくする3つの道Distilling the Knowledge in a Neural Network
• 蒸留レシピ図鑑 — logit・feature・attention・self をどう使い分けるかDistilling the Knowledge in a Neural Network
• 蒸留の数学 — なぜ「柔らかい答え」から学べるのかDistilling the Knowledge in a Neural Network