feedforward

定義

入力から出力へ一方向にだけ情報が流れる構造のこと。Transformer では各層に含まれる位置ごとの全結合ネットワーク(FFN)を指し、注意機構がトークン間で情報を混ぜるのに対し、こちらは各トークンを独立に変換する。パラメータの多くがここに集中するため、MoE などの効率化はこの部分を狙う。

論文題名での読み方

Transformer内の全結合層

この語が出てくる解説

• 重みの初期化と正則化 — 学習が始まる条件・続く条件Understanding the Difficulty of Training Deep Feedforward Neural Networks