BitNet b1.58

1bit LLM

正式名称はBitNet b1.58

業界をあげて「bfloat16だ」「FP8だ」とデータサイズの削減を続けた結果、ついにパラメータが取り得る値は3種類(-1, 0, 1)になりました。実際には1.5ビットですが小数点以下切り捨てで「1ビット」と呼ばれているようです。

通常、ニューラルネットワークの内積計算は各要素の乗算とその結果の加算から成り立ちます。 例えば、ベクトル $(\mathbf {a} =[a_{1},a_{2},a_{3}])$と $(\mathbf {b} =[b_{1},b_{2},b_{3}])$ の内積は次のように計算されます。

$[\mathbf {a} \cdot \mathbf {b} =a_{1}\cdot b_{1}+a_{2}\cdot b_{2}+a_{3}\cdot b_{3}]$

しかし、1bit LLMでは乗算器が不要になり加算器だけで行列積の計算が行えるようになります。 例えば、行列$(A)$と $(B)$ の積$(C)$を計算する場合、各要素$(C_{ij})$は次のように計算されます。

$[C_{ij}=\sum _{k}(A_{ik}\cdot B_{kj})]$

これにより

• GPUの回路の99%くらいが使われなくなる
• 三択の分岐はGPUよりCPUの方が強い
• GPUの並列性は有用なのでコア数勝負ではまだCPUより強い
• GPUやCPUに代わるデバイスが登場する可能性がある

1bit LLMは 最近の人工知能でよく使われているバーテックスシェーダー系の行列演算メインの回路ではなく、 古典的なGPGPUで使われたピクセルシェーダー系の技法（回路）を使えば爆速な気がする。