8,117
回編集
差分
ナビゲーションに移動
検索に移動
1bit LLM
正式名称はBitNet
業界をあげて「[[bfloat16]]だ」「[[FP8]]だ」とデータサイズの削減を続けた結果、ついにパラメータが取り得る値は3種類(-1, 0, 1)になりました。実際には1.5ビットですが小数点以下切り捨てで「1ビット」と呼ばれているようです。
通常、[[ニューラルネットワーク]]の[[内積]]計算は各要素の[[乗算]]とその結果の[[加算]]から成り立ちます。
しかし、1bit LLMでは[[乗算器]]が不要になり[[加算器]]だけで[[行列積]]の計算が行えるようになります。
これにより
* GPUの回路の99%くらいが使われなくなる
* GPUの並列性は有用なのでコア数勝負ではまだCPUより強い
* GPUに代わるデバイスが登場する可能性がある
1bit LLMは
最近の人工知能でよく使われているバーテックスシェーダー系の行列演算メインの回路ではなく、
古典的なGPGPUで使われたピクセルシェーダー系の技法（回路）を使え爆速な気がする。
[[category: 人工知能]]
正式名称はBitNet
業界をあげて「[[bfloat16]]だ」「[[FP8]]だ」とデータサイズの削減を続けた結果、ついにパラメータが取り得る値は3種類(-1, 0, 1)になりました。実際には1.5ビットですが小数点以下切り捨てで「1ビット」と呼ばれているようです。
通常、[[ニューラルネットワーク]]の[[内積]]計算は各要素の[[乗算]]とその結果の[[加算]]から成り立ちます。
しかし、1bit LLMでは[[乗算器]]が不要になり[[加算器]]だけで[[行列積]]の計算が行えるようになります。
これにより
* GPUの回路の99%くらいが使われなくなる
* GPUの並列性は有用なのでコア数勝負ではまだCPUより強い
* GPUに代わるデバイスが登場する可能性がある
1bit LLMは
最近の人工知能でよく使われているバーテックスシェーダー系の行列演算メインの回路ではなく、
古典的なGPGPUで使われたピクセルシェーダー系の技法（回路）を使え爆速な気がする。
[[category: 人工知能]]
