人工知能のパラメーター数 - 版の履歴

Administrator: /* 必要となる推定メモリ量 */

2026-05-18T11:18:06Z

必要となる推定メモリ量

← 古い版		2026年5月18日 (月) 11:18時点における版
24行目:		24行目:
	10億 * 32ビットfloat(4バイト) = 4GB		10億 * 32ビットfloat(4バイト) = 4GB

	このメモリ量を減らすのに16ビット（FP16/BF16）などに[[量子化]]~~する手法が流行っています。16ビット化すれば単純に半分程度になります。最近では1バイトの~~[[INT8]]や[[FP8]]、4ビットの[[ブロック浮動小数点数]]、2ビットの[[BitNet b1.58]]~~なども登場しています。~~		このメモリ量を減らすのに16ビット（FP16/BF16）などに[[量子化]]する手法が主流です。32ビットを16ビット化すれば単純にメモリ消費量は半分程度になります。最近では1バイトの[[INT8]]や[[FP8]]、4ビットの[[ブロック浮動小数点数]]、2ビットの[[BitNet b1.58]]なども登場しています。なおメモリを節約できる量子化ですが、やりすぎると性能がピーキーになるという欠点もあります。

	=== 学習 ===		=== 学習 ===

Administrator: /* 必要となる推定メモリ量 */

2026-05-18T11:16:00Z

必要となる推定メモリ量

← 古い版		2026年5月18日 (月) 11:16時点における版
24行目:		24行目:
	10億 * 32ビットfloat(4バイト) = 4GB		10億 * 32ビットfloat(4バイト) = 4GB

	このメモリ量を減らすのに16ビット（FP16/BF16）などに[[量子化]]する手法が流行っています。16ビット化すれば単純に半分程度になります。最近では1バイトの[[INT8]]や[[FP8]]~~、さらには~~[[BitNet b1.58]]なども登場しています。		このメモリ量を減らすのに16ビット（FP16/BF16）などに[[量子化]]する手法が流行っています。16ビット化すれば単純に半分程度になります。最近では1バイトの[[INT8]]や[[FP8]]、4ビットの[[ブロック浮動小数点数]]、2ビットの[[BitNet b1.58]]なども登場しています。

	=== 学習 ===		=== 学習 ===

Administrator: /* 推論 */

2026-05-18T11:14:24Z

推論

← 古い版		2026年5月18日 (月) 11:14時点における版
24行目:		24行目:
	10億 * 32ビットfloat(4バイト) = 4GB		10億 * 32ビットfloat(4バイト) = 4GB

	このメモリ量を減らすのに16ビット（FP16/~~BF16）などに量子化する手法が流行っています。~~		このメモリ量を減らすのに16ビット（FP16/BF16）などに[[量子化]]する手法が流行っています。16ビット化すれば単純に半分程度になります。最近では1バイトの[[INT8]]や[[FP8]]、さらには[[BitNet b1.58]]なども登場しています。
	~~16ビット化すれば単純に半分程度になります。~~

	=== 学習 ===		=== 学習 ===

Administrator: /* 学習 */

2026-05-15T05:37:55Z

学習

← 古い版		2026年5月15日 (金) 05:37時点における版
32行目:		32行目:
	10億 * 32ビットfloat(4バイト) * 6 = 24GB		10億 * 32ビットfloat(4バイト) * 6 = 24GB

	オプティマイザ（AdamWなど）や勾配（Gradients）の保持に大量のメモリを消費するためです。推論と違ってこちらは全体を量子化してガツンとメモリを節約するのは難しいですが、オプティマイザや勾配だけを16ビット化したりする手法は考案されています。		推論の4〜6倍にもなるのはオプティマイザ（AdamWなど）や勾配（Gradients）の保持に大量のメモリを消費するためです。学習では推論と違ってこちらは全体を量子化してガツンとメモリを節約するのは難しいですが、オプティマイザや勾配などの一部分だけを16ビット化したりする手法は考案されています。

	[[category: 人工知能]]		[[category: 人工知能]]

Administrator: /* 学習 */

2026-05-15T05:37:18Z

学習

← 古い版		2026年5月15日 (金) 05:37時点における版
32行目:		32行目:
	10億 * 32ビットfloat(4バイト) * 6 = 24GB		10億 * 32ビットfloat(4バイト) * 6 = 24GB

	オプティマイザ（AdamWなど）や勾配（Gradients）の保持に大量のメモリを消費するためです。推論と違ってこちらは量子化などでメモリを節約するのは難しいです。		オプティマイザ（AdamWなど）や勾配（Gradients）の保持に大量のメモリを消費するためです。推論と違ってこちらは全体を量子化してガツンとメモリを節約するのは難しいですが、オプティマイザや勾配だけを16ビット化したりする手法は考案されています。

	[[category: 人工知能]]		[[category: 人工知能]]

Administrator: /* 必要となる推定メモリ量 */

2026-05-15T05:36:09Z

必要となる推定メモリ量

← 古い版		2026年5月15日 (金) 05:36時点における版
28行目:		28行目:

	=== 学習 ===		=== 学習 ===
	一方でフル学習は推論の4〜6倍の「10億パラメータ（1B）あたり16〜24GB」です。オプティマイザ（AdamWなど）や勾配（Gradients）の保持に大量のメモリを消費するためです。推論と違ってこちらは量子化などでメモリを節約するのは難しいです。		一方でフル学習は推論の4〜6倍の「10億パラメータ（1B）あたり16〜24GB」です。
			10億 * 32ビットfloat(4バイト) * 4 = 16GB
			10億 * 32ビットfloat(4バイト) * 6 = 24GB

			オプティマイザ（AdamWなど）や勾配（Gradients）の保持に大量のメモリを消費するためです。推論と違ってこちらは量子化などでメモリを節約するのは難しいです。

	[[category: 人工知能]]		[[category: 人工知能]]

Administrator: /* 必要となる推定メモリ量 */

2026-05-15T05:35:35Z

必要となる推定メモリ量

← 古い版		2026年5月15日 (金) 05:35時点における版
23行目:		23行目:
	ざっくり推論は「10億パラメーター（1B）あたり4GB」です。		ざっくり推論は「10億パラメーター（1B）あたり4GB」です。
	10億 * 32ビットfloat(4バイト) = 4GB		10億 * 32ビットfloat(4バイト) = 4GB
	~~量子化すればどんどん小さくなります。~~
			このメモリ量を減らすのに16ビット（FP16/BF16）などに量子化する手法が流行っています。
			16ビット化すれば単純に半分程度になります。

	=== 学習 ===		=== 学習 ===
	~~一方でフル学習は推論の4〜6倍の「10億パラメータ（1B）あたり16〜24GB」です。~~		一方でフル学習は推論の4〜6倍の「10億パラメータ（1B）あたり16〜24GB」です。オプティマイザ（AdamWなど）や勾配（Gradients）の保持に大量のメモリを消費するためです。推論と違ってこちらは量子化などでメモリを節約するのは難しいです。
	~~オプティマイザ（AdamWなど）や勾配（Gradients）の保持に大量のメモリを消費するためです。~~

	[[category: 人工知能]]		[[category: 人工知能]]

Administrator: /* 必要となる推定メモリ量 */

2026-05-15T05:33:45Z

必要となる推定メモリ量

← 古い版		2026年5月15日 (金) 05:33時点における版
26行目:		26行目:

	=== 学習 ===		=== 学習 ===
	~~一方でフル学習はその4〜6倍の「10億パラメータ（1B）あたり16〜24GB」です。~~		一方でフル学習は推論の4〜6倍の「10億パラメータ（1B）あたり16〜24GB」です。
	オプティマイザ（AdamWなど）や勾配（Gradients）の保持に大量のメモリを消費するためです。		オプティマイザ（AdamWなど）や勾配（Gradients）の保持に大量のメモリを消費するためです。

	[[category: 人工知能]]		[[category: 人工知能]]

Administrator: /* 必要となる推定メモリ量 */

2026-05-15T05:32:51Z

必要となる推定メモリ量

← 古い版		2026年5月15日 (金) 05:32時点における版
20行目:		20行目:

	== 必要となる推定メモリ量 ==		== 必要となる推定メモリ量 ==
			=== 推論 ===
	ざっくり推論は「10億パラメーター（1B）あたり4GB」です。		ざっくり推論は「10億パラメーター（1B）あたり4GB」です。
	10億 * 32ビットfloat(4バイト) = 4GB		10億 * 32ビットfloat(4バイト) = 4GB
	量子化すればどんどん小さくなります。		量子化すればどんどん小さくなります。

			=== 学習 ===
	一方でフル学習はその4〜6倍の「10億パラメータ（1B）あたり16〜24GB」です。		一方でフル学習はその4〜6倍の「10億パラメータ（1B）あたり16〜24GB」です。
	オプティマイザ（AdamWなど）や勾配（Gradients）の保持に大量のメモリを消費するためです。		オプティマイザ（AdamWなど）や勾配（Gradients）の保持に大量のメモリを消費するためです。

	[[category: 人工知能]]		[[category: 人工知能]]

2026年5月15日 (金) 05:32にAdministratorによる

2026-05-15T05:32:30Z

← 古い版		2026年5月15日 (金) 05:32時点における版
18行目:		18行目:

	2025年ごろからパラメーターを盛り盛りする競争が発生し、そのために必要な[[メモリ]]が争奪戦になっています。なお、[[SSD]]の価格も上がっていますが、こちらはただの便乗値上げです。		2025年ごろからパラメーターを盛り盛りする競争が発生し、そのために必要な[[メモリ]]が争奪戦になっています。なお、[[SSD]]の価格も上がっていますが、こちらはただの便乗値上げです。

			== 必要となる推定メモリ量 ==
			ざっくり推論は「10億パラメーター（1B）あたり4GB」です。
			10億 * 32ビットfloat(4バイト) = 4GB
			量子化すればどんどん小さくなります。

			一方でフル学習はその4〜6倍の「10億パラメータ（1B）あたり16〜24GB」です。
			オプティマイザ（AdamWなど）や勾配（Gradients）の保持に大量のメモリを消費するためです。

	[[category: 人工知能]]		[[category: 人工知能]]