GLOSSARY

minilm

MiniLM。自己注意を蒸留した小型言語モデル

1本の論文題名に登場

定義

Microsoft Research が公開した、自己注意の蒸留によって作られた小型言語モデル。教師の最後の Transformer 層の注意分布と値ベクトル同士の関係を生徒に合わせる設計で、層数や幅を教師と揃える必要がないのが利点。特定タスクに寄せない蒸留のため、汎用の小型バックボーンとして使われる。

論文題名での読み方

固有名。小型モデル