「人工知能のパラメーター数」の版間の差分
Administrator (トーク | 投稿記録) |
Administrator (トーク | 投稿記録) |
||
| 24行目: | 24行目: | ||
10億 * 32ビットfloat(4バイト) = 4GB | 10億 * 32ビットfloat(4バイト) = 4GB | ||
このメモリ量を減らすのに16ビット（FP16/ | このメモリ量を減らすのに16ビット（FP16/BF16）などに[[量子化]]する手法が流行っています。16ビット化すれば単純に半分程度になります。最近では1バイトの[[INT8]]や[[FP8]]、さらには[[BitNet b1.58]]なども登場しています。 | ||
=== 学習 === | === 学習 === | ||