「1bit LLM」の版間の差分
ナビゲーションに移動
検索に移動
Administrator (トーク | 投稿記録) |
Administrator (トーク | 投稿記録) |
||
10行目: | 10行目: | ||
これにより | これにより | ||
* GPUの回路の99%くらいが使われなくなる | * GPUの回路の99%くらいが使われなくなる | ||
+ | * 三択の分岐はGPUよりCPUの方が強い | ||
* GPUの並列性は有用なのでコア数勝負ではまだCPUより強い | * GPUの並列性は有用なのでコア数勝負ではまだCPUより強い | ||
− | * | + | * GPUやCPUに代わるデバイスが登場する可能性がある |
1bit LLMは | 1bit LLMは |
2024年4月17日 (水) 03:21時点における版
1bit LLM
正式名称はBitNet
業界をあげて「bfloat16だ」「FP8だ」とデータサイズの削減を続けた結果、ついにパラメータが取り得る値は3種類(-1, 0, 1)になりました。実際には1.5ビットですが小数点以下切り捨てで「1ビット」と呼ばれているようです。
通常、ニューラルネットワークの内積計算は各要素の乗算とその結果の加算から成り立ちます。 しかし、1bit LLMでは乗算器が不要になり加算器だけで行列積の計算が行えるようになります。
これにより
- GPUの回路の99%くらいが使われなくなる
- 三択の分岐はGPUよりCPUの方が強い
- GPUの並列性は有用なのでコア数勝負ではまだCPUより強い
- GPUやCPUに代わるデバイスが登場する可能性がある
1bit LLMは 最近の人工知能でよく使われているバーテックスシェーダー系の行列演算メインの回路ではなく、 古典的なGPGPUで使われたピクセルシェーダー系の技法(回路)を使え爆速な気がする。