representation

定義

データをモデル内部の数値ベクトルとして表したもの。似た入力が近くに配置されるよう学習され、下流の課題ではこのベクトルを使うことで少ないデータでも性能が出る。生の入力そのものではなく、モデルが抽出した特徴の表し方を指す点が重要。

論文題名での読み方

内部の特徴の表し方

この語が出てくる解説

• 論文解説: ピクセル文字表現学習の設計原則 — 文書を「読まずに見る」エンコーダは何で決まるかOn the Design Fundamentals of Pixel Text Representation Learning
• 論文解説: Beyond Data Scaling — ロボット基盤モデルは「データ量」より「表現」で決まる(VLAct)Beyond Data Scaling: Representation-Centric Continued Pre-training for Vision-Language-Action Models
• 相互情報量 — 「知っている」を測るRepresentation Learning with Contrastive Predictive Coding