アテンション（Transformer）
短い文の単語ごとに Query・Key・Value を作り、内積・softmax・重み付きの和でセルフアテンションを計算する様子を、行列の色で 1 段ずつ表示します。マスクや温度、複数のヘッドによる注目のしかたの違いも確かめられます。
文（語に区切ってあります）
語を選んで文を作る
10 語まで。
ヘッド
温度（スコアを割る数）
Query は位置エンコーディングを 1 つ前の位置へ回したもの、Key は位置エンコーディングそのもの。内積は 1 つ前の語でいちばん大きくなります。語順を知るために、実際のモデルにもよく現れる形です。
「食べ」の重み
いちばん注目した語: 「を」。散らばり（エントロピー） 2.15 ビット（1 語に集中で 0、全部に均等で 3.00）
「食べ」の意味の変化（Value の混ざり方）
計算の流れ
行ごとに softmax で 0〜1、合計 1 の重みにします。行の語が、どの語の情報をどれだけ取り込むかを表します。
| 黒い | 猫 | が | 白い | 魚 | を | 食べ | た | |
|---|---|---|---|---|---|---|---|---|
| 黒い | 0.25 | 0.06 | 0.14 | 0.13 | 0.02 | 0.02 | 0.16 | 0.22 |
| 猫 | 0.57 | 0.14 | 0.03 | 0.07 | 0.07 | 0.01 | 0.01 | 0.09 |
| が | 0.13 | 0.55 | 0.13 | 0.03 | 0.07 | 0.07 | 0.01 | 0.01 |
| 白い | 0.03 | 0.13 | 0.54 | 0.13 | 0.03 | 0.07 | 0.07 | 0.01 |
| 魚 | 0.07 | 0.03 | 0.12 | 0.50 | 0.12 | 0.03 | 0.07 | 0.06 |
| を | 0.06 | 0.07 | 0.03 | 0.12 | 0.50 | 0.12 | 0.03 | 0.07 |
| 食べ | 0.01 | 0.07 | 0.07 | 0.03 | 0.13 | 0.54 | 0.13 | 0.03 |
| た | 0.01 | 0.01 | 0.07 | 0.07 | 0.03 | 0.13 | 0.55 | 0.13 |
マルチヘッド: 3 つのヘッドの重みを並べる
ヘッドごとに違う重み行列を持つので、同じ文でも注目のしかたが違います。実際のモデルは 1 層に 12〜100 個ほどのヘッドを持ち、それぞれの出力をつないで、もう 1 つの重み行列で混ぜます。
直前の語を見るヘッド
| 黒い | 猫 | が | 白い | 魚 | を | 食べ | た | |
|---|---|---|---|---|---|---|---|---|
| 黒い | ||||||||
| 猫 | ||||||||
| が | ||||||||
| 白い | ||||||||
| 魚 | ||||||||
| を | ||||||||
| 食べ | ||||||||
| た |
文法の役割を見るヘッド
| 黒い | 猫 | が | 白い | 魚 | を | 食べ | た | |
|---|---|---|---|---|---|---|---|---|
| 黒い | ||||||||
| 猫 | ||||||||
| が | ||||||||
| 白い | ||||||||
| 魚 | ||||||||
| を | ||||||||
| 食べ | ||||||||
| た |
意味の近さを見るヘッド
| 黒い | 猫 | が | 白い | 魚 | を | 食べ | た | |
|---|---|---|---|---|---|---|---|---|
| 黒い | ||||||||
| 猫 | ||||||||
| が | ||||||||
| 白い | ||||||||
| 魚 | ||||||||
| を | ||||||||
| 食べ | ||||||||
| た |
使い方
- 文とヘッドを選び、線の図の上の語を押すと、その語がどの語に注目しているかを表示します。「語を選んで文を作る」から自分で文を組み立てることもできます。
- 温度を下げると重みが 1 つの語に集中し、上げると均等に近づきます。因果マスクをオンにすると、各語は自分より前の語しか見られなくなります。
- 「計算の流れ」で、埋め込みから出力までの行列を 1 段ずつ確かめられます。色が濃いほど値が大きく、橙は負の値です。
- このアプリの重みは、しくみを見せるために手で決めたものです。実際のモデルは、大量の文章から重みを学習します。
アテンションとは
ChatGPT などの大規模言語モデルの土台である Transformer（2017 年）の中心にあるしくみです。文の各語について「ほかのどの語の情報をどれだけ取り込むか」を、語どうしの関係から毎回計算します。語ごとに Query（探しているもの）・Key（持っているもの）・Value（渡す中身）の 3 つのベクトルを作り、Query と Key の内積が大きい語ほど、その Value を多く取り込みます。
式で書くと Attention(Q, K, V) = softmax(QKᵀ / √dk)·V です。√dk で割るのは、次元が大きいと内積が大きくなりすぎて softmax が 1 つに偏るのを防ぐためです。すべての語の組を同時に計算できるので、語を 1 つずつ順に読む RNN より並列に速く学習でき、遠く離れた語どうしの関係もとらえられます。そのかわり、語の数の 2 乗の計算が必要になります。