BitNet b1.58
BitNet b1.58とは、2024年2月末にマイクロソフトが発表したパラメータを3値（-1, 0, +1）で表現する超軽量で超高速な1ビットLLMアーキテクチャです。「1bit LLM」とも呼ばれます。
業界をあげて「bfloat16だ」「FP8だ」とデータサイズの削減を続けた結果、ついにパラメータが取り得る値は3種類(-1, 0, 1)になりました。なお内部的には2ビットで3値を保持する「1.58ビット」を採用しています。2ビットだと4値を表現できますがゼロを表現するために3値だけを使うようにしているようです。
通常、ニューラルネットワークの内積計算は各要素の乗算とその結果の加算から成り立ちます。例えば、ベクトル と の内積は次のように計算されます。
![{\displaystyle (\mathbf {a} =[a_{1},a_{2},a_{3}])}](https://wikimedia.org/api/rest_v1/media/math/render/svg/d8971addf4c84327a6a084e000b019c94c2d4b75)
![{\displaystyle (\mathbf {b} =[b_{1},b_{2},b_{3}])}](https://wikimedia.org/api/rest_v1/media/math/render/svg/102bcf2aed478f993d884954cf92f05b7f6c814f)
![{\displaystyle [\mathbf {a} \cdot \mathbf {b} =a_{1}\cdot b_{1}+a_{2}\cdot b_{2}+a_{3}\cdot b_{3}]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/d116d6e3153e15f529bd0715023a68b71f9ea69f)
しかし、1bit LLMでは乗算器が不要になり加算器だけで行列積の計算が行えるようになります。例えば、行列と の積を計算する場合、各要素は次のように計算されます。
![{\displaystyle [C_{ij}=\sum _{k}(A_{ik}\cdot B_{kj})]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/9ddef299dd2e2f1b8bef7e31b324ef056266c2c5)
これにより
- GPUの回路の99%くらいが使われなくなる
- 三択の分岐はGPUよりCPUの方が強い
- GPUの並列性は有用なのでコア数勝負ではまだCPUより強い
- GPUやCPUに代わるデバイスが登場する可能性がある
1bit LLMは 最近の人工知能でよく使われているバーテックスシェーダー系の行列演算メインの回路ではなく、 古典的なGPGPUで使われたピクセルシェーダー系の技法（回路）を使えば爆速な気がする。