「人工知能のパラメーター数」の版間の差分
Administrator (トーク | 投稿記録) 編集の要約なし |
Administrator (トーク | 投稿記録) |
||
| 20行目: | 20行目: | ||
== 必要となる推定メモリ量 == | == 必要となる推定メモリ量 == | ||
=== 推論 === | |||
ざっくり推論は「10億パラメーター（1B）あたり4GB」です。 | ざっくり推論は「10億パラメーター（1B）あたり4GB」です。 | ||
10億 * 32ビットfloat(4バイト) = 4GB | 10億 * 32ビットfloat(4バイト) = 4GB | ||
量子化すればどんどん小さくなります。 | 量子化すればどんどん小さくなります。 | ||
=== 学習 === | |||
一方でフル学習はその4〜6倍の「10億パラメータ（1B）あたり16〜24GB」です。 | 一方でフル学習はその4〜6倍の「10億パラメータ（1B）あたり16〜24GB」です。 | ||
オプティマイザ（AdamWなど）や勾配（Gradients）の保持に大量のメモリを消費するためです。 | オプティマイザ（AdamWなど）や勾配（Gradients）の保持に大量のメモリを消費するためです。 | ||
[[category: 人工知能]] | [[category: 人工知能]] | ||