GLOSSARY

orca

シャチ。ここは推論を模倣学習した小型LLMの名

1本の論文題名に登場

定義

Microsoft Research が公開した小型言語モデルの系列で、大型モデルの最終回答だけでなく、そこに至る説明や推論の過程を模倣して学習させた点が特徴。少ないパラメータでも推論を要するタスクで健闘することを示し、蒸留の対象を「答え」から「過程」へ広げた例としてよく引かれる。一般語ではシャチのこと。

論文題名での読み方

固有名。小型LLM