sequences

系列。順番に並んだデータ

1本の論文題名に登場

定義

順序が意味を持つ形で並んだデータ。文章のトークン列、時系列信号、DNAの塩基列などが該当し、Transformer はこの系列を丸ごと入力として受け取る。順序が無関係な集合と違い、並び替えると意味が変わるため、注意機構自体は順序を見ないことを補うために位置情報を明示的に与える必要がある。

文や時系列のこと