「人工知能のパラメーター数」の版間の差分
Administrator (トーク | 投稿記録) 編集の要約なし |
Administrator (トーク | 投稿記録) 編集の要約なし |
||
| 18行目: | 18行目: | ||
2025年ごろからパラメーターを盛り盛りする競争が発生し、そのために必要な[[メモリ]]が争奪戦になっています。なお、[[SSD]]の価格も上がっていますが、こちらはただの便乗値上げです。 | 2025年ごろからパラメーターを盛り盛りする競争が発生し、そのために必要な[[メモリ]]が争奪戦になっています。なお、[[SSD]]の価格も上がっていますが、こちらはただの便乗値上げです。 | ||
== 必要となる推定メモリ量 == | |||
ざっくり推論は「10億パラメーター（1B）あたり4GB」です。 | |||
10億 * 32ビットfloat(4バイト) = 4GB | |||
量子化すればどんどん小さくなります。 | |||
一方でフル学習はその4〜6倍の「10億パラメータ（1B）あたり16〜24GB」です。 | |||
オプティマイザ（AdamWなど）や勾配（Gradients）の保持に大量のメモリを消費するためです。 | |||
[[category: 人工知能]] | [[category: 人工知能]] | ||