「Self-Attention」の版間の差分
Administrator (トーク | 投稿記録) ページの作成:「'''Self-Attention'''とは、Transformerの中核となっている部分です。 == 擬似コード == Self-Attentionの基本的な構造は以下のように表…」 |
Administrator (トーク | 投稿記録) 編集の要約なし |
||
| 6行目: | 6行目: | ||
<source lang="python"> | <source lang="python"> | ||
def self_attention(input, mask=None): | def self_attention(input, mask=None): | ||
# Query, Key, Valueの計算 | # Query, Key, Valueの計算 | ||
# まず入力からQuery、Key、Valueを計算します。 | # まず入力からQuery、Key、Valueを計算します。 | ||