BitNet b1.58 - 版の履歴

2026年5月18日 (月) 11:12にAdministratorによる

2026-05-18T11:12:43Z

← 古い版		2026年5月18日 (月) 11:12時点における版
22行目:		22行目:
	* [[Bonsai-8B]]		* [[Bonsai-8B]]

	[[category: ~~大規模言語モデル~~]]		[[category: 人工知能]]
	[[category: 2024年]]		[[category: 2024年]]

2026年4月17日 (金) 07:59にAdministratorによる

2026-04-17T07:59:46Z

← 古い版		2026年4月17日 (金) 07:59時点における版
1行目:		1行目:
	'''BitNet b1.58'''とは、2024年2月末に[[マイクロソフト]]が発表したパラメータを3値（-1, 0, +1）で表現する超軽量で超高速な1ビットLLMアーキテクチャです。「[[1bit LLM]]」とも呼ばれます。		'''BitNet b1.58'''とは、2024年2月末に[[マイクロソフト]]が発表したパラメータを3値（-1, 0, +1）で表現する超軽量で超高速な1ビットLLMアーキテクチャです。「[[1bit LLM]]」とも呼ばれます。

	業界をあげて「[[bfloat16]]だ」「[[FP8]]だ」とデータサイズの削減を続けた結果、ついにパラメータが取り得る値は3種類(-1, 0, 1)~~になりました。実際には1.58ビットですが小数点以下切り捨てで「1ビット」と呼ばれているようです。~~		業界をあげて「[[bfloat16]]だ」「[[FP8]]だ」とデータサイズの削減を続けた結果、ついにパラメータが取り得る値は3種類(-1, 0, 1)になりました。なお内部的には2ビットで3値を保持する「1.58ビット」を採用しています。2ビットだと4値を表現できますがゼロを表現するために3値だけを使うようにしているようです。

	~~なお、内部的には2ビットで3値を保持する「1~~.58ビット」を採用しています。2ビットだと4値を表現できますがゼロを表現するために3値だけを使うようにしているようです。

	通常、[[ニューラルネットワーク]]の[[内積]]計算は各要素の[[乗算]]とその結果の[[加算]]から成り立ちます。例えば、ベクトル <math>( \mathbf{a} = [a_1, a_2, a_3] ) </math>と <math>( \mathbf{b} = [b_1, b_2, b_3] )</math> の内積は次のように計算されます。		通常、[[ニューラルネットワーク]]の[[内積]]計算は各要素の[[乗算]]とその結果の[[加算]]から成り立ちます。例えば、ベクトル <math>( \mathbf{a} = [a_1, a_2, a_3] ) </math>と <math>( \mathbf{b} = [b_1, b_2, b_3] )</math> の内積は次のように計算されます。

2026年4月17日 (金) 07:51にAdministratorによる

2026-04-17T07:51:13Z

← 古い版		2026年4月17日 (金) 07:51時点における版
1行目:		1行目:
	1bit LLM		'''BitNet b1.58'''とは、2024年2月末に[[マイクロソフト]]が発表したパラメータを3値（-1, 0, +1）で表現する超軽量で超高速な1ビットLLMアーキテクチャです。「[[1bit LLM]]」とも呼ばれます。

	~~正式名称はBitNet b1~~.58		業界をあげて「[[bfloat16]]だ」「[[FP8]]だ」とデータサイズの削減を続けた結果、ついにパラメータが取り得る値は3種類(-1, 0, 1)になりました。実際には1.58ビットですが小数点以下切り捨てで「1ビット」と呼ばれているようです。

	業界をあげて「[[bfloat16]]だ」「[[FP8]]だ」とデータサイズの削減を続けた結果、ついにパラメータが取り得る値は3種類(-1, 0, 1)になりました。実際には1.~~5ビットですが小数点以下切り捨てで「1ビット」と呼ばれているようです。~~		なお、内部的には2ビットで3値を保持する「1.58ビット」を採用しています。2ビットだと4値を表現できますがゼロを表現するために3値だけを使うようにしているようです。

	通常、[[ニューラルネットワーク]]の[[内積]]計算は各要素の[[乗算]]とその結果の[[加算]]~~から成り立ちます。~~		通常、[[ニューラルネットワーク]]の[[内積]]計算は各要素の[[乗算]]とその結果の[[加算]]から成り立ちます。例えば、ベクトル <math>( \mathbf{a} = [a_1, a_2, a_3] ) </math>と <math>( \mathbf{b} = [b_1, b_2, b_3] )</math> の内積は次のように計算されます。
	~~例えば、ベクトル~~ <math>( \mathbf{a} = [a_1, a_2, a_3] ) </math>と <math>( \mathbf{b} = [b_1, b_2, b_3] )</math> の内積は次のように計算されます。
	:<math>[ \mathbf{a} \cdot \mathbf{b} = a_1 \cdot b_1 + a_2 \cdot b_2 + a_3 \cdot b_3 ]</math>		:<math>[ \mathbf{a} \cdot \mathbf{b} = a_1 \cdot b_1 + a_2 \cdot b_2 + a_3 \cdot b_3 ]</math>

	しかし、1bit LLMでは[[乗算器]]が不要になり[[加算器]]だけで[[行列積]]~~の計算が行えるようになります。~~		しかし、1bit LLMでは[[乗算器]]が不要になり[[加算器]]だけで[[行列積]]の計算が行えるようになります。例えば、行列<math> ( A ) </math>と <math>( B )</math> の積<math> ( C ) </math>を計算する場合、各要素<math> ( C_{ij} ) </math>は次のように計算されます。
	~~例えば、行列~~<math> ( A ) </math>と <math>( B )</math> の積<math> ( C ) </math>を計算する場合、各要素<math> ( C_{ij} ) </math>は次のように計算されます。
	: <math>[ C_{ij} = \sum_k (A_{ik} \cdot B_{kj}) ]</math>		: <math>[ C_{ij} = \sum_k (A_{ik} \cdot B_{kj}) ]</math>

23行目:		21行目:
	古典的な[[GPGPU]]で使われたピクセルシェーダー系の技法（回路）を使えば爆速な気がする。		古典的な[[GPGPU]]で使われたピクセルシェーダー系の技法（回路）を使えば爆速な気がする。

	[[~~category: 人工知能~~]]		== 関連項目 ==
			* [[Bonsai-8B]]

	[[category: 大規模言語モデル]]		[[category: 大規模言語モデル]]
			[[category: 2024年]]

Administrator: Administrator がページ「1bit LLM」を「BitNet b1.58」に移動しました

2026-04-17T07:45:29Z

Administrator がページ「1bit LLM」を「BitNet b1.58」に移動しました

← 古い版	2026年4月17日 (金) 07:45時点における版
(相違点なし)

2025年12月16日 (火) 03:58にAdministratorによる

2025-12-16T03:58:16Z

← 古い版		2025年12月16日 (火) 03:58時点における版
24行目:		24行目:

	[[category: 人工知能]]		[[category: 人工知能]]
	[[category: ~~LLM~~]]		[[category: 大規模言語モデル]]

2025年12月16日 (火) 03:55にAdministratorによる

2025-12-16T03:55:06Z

← 古い版		2025年12月16日 (火) 03:55時点における版
24行目:		24行目:

	[[category: 人工知能]]		[[category: 人工知能]]
			[[category: LLM]]

2024年8月21日 (水) 05:53にAdministratorによる

2024-08-21T05:53:12Z

← 古い版		2024年8月21日 (水) 05:53時点における版
1行目:		1行目:
	1bit LLM		1bit LLM

	正式名称はBitNet		正式名称はBitNet b1.58

	業界をあげて「[[bfloat16]]だ」「[[FP8]]だ」とデータサイズの削減を続けた結果、ついにパラメータが取り得る値は3種類(-1, 0, 1)になりました。実際には1.5ビットですが小数点以下切り捨てで「1ビット」と呼ばれているようです。		業界をあげて「[[bfloat16]]だ」「[[FP8]]だ」とデータサイズの削減を続けた結果、ついにパラメータが取り得る値は3種類(-1, 0, 1)になりました。実際には1.5ビットですが小数点以下切り捨てで「1ビット」と呼ばれているようです。

	通常、[[ニューラルネットワーク]]の[[内積]]計算は各要素の[[乗算]]とその結果の[[加算]]から成り立ちます。		通常、[[ニューラルネットワーク]]の[[内積]]計算は各要素の[[乗算]]とその結果の[[加算]]から成り立ちます。
			例えば、ベクトル <math>( \mathbf{a} = [a_1, a_2, a_3] ) </math>と <math>( \mathbf{b} = [b_1, b_2, b_3] )</math> の内積は次のように計算されます。
			:<math>[ \mathbf{a} \cdot \mathbf{b} = a_1 \cdot b_1 + a_2 \cdot b_2 + a_3 \cdot b_3 ]</math>

	しかし、1bit LLMでは[[乗算器]]が不要になり[[加算器]]だけで[[行列積]]の計算が行えるようになります。		しかし、1bit LLMでは[[乗算器]]が不要になり[[加算器]]だけで[[行列積]]の計算が行えるようになります。
			例えば、行列<math> ( A ) </math>と <math>( B )</math> の積<math> ( C ) </math>を計算する場合、各要素<math> ( C_{ij} ) </math>は次のように計算されます。
			: <math>[ C_{ij} = \sum_k (A_{ik} \cdot B_{kj}) ]</math>

	これにより		これにより
16行目:		21行目:
	1bit LLMは		1bit LLMは
	最近の人工知能でよく使われているバーテックスシェーダー系の行列演算メインの回路ではなく、		最近の人工知能でよく使われているバーテックスシェーダー系の行列演算メインの回路ではなく、
	~~古典的なGPGPUで使われたピクセルシェーダー系の技法（回路）を使えば爆速な気がする。~~		古典的な[[GPGPU]]で使われたピクセルシェーダー系の技法（回路）を使えば爆速な気がする。

	[[category: 人工知能]]		[[category: 人工知能]]

2024年4月17日 (水) 03:21にAdministratorによる

2024-04-17T03:21:12Z

← 古い版		2024年4月17日 (水) 03:21時点における版
16行目:		16行目:
	1bit LLMは		1bit LLMは
	最近の人工知能でよく使われているバーテックスシェーダー系の行列演算メインの回路ではなく、		最近の人工知能でよく使われているバーテックスシェーダー系の行列演算メインの回路ではなく、
	~~古典的なGPGPUで使われたピクセルシェーダー系の技法（回路）を使え爆速な気がする。~~		古典的なGPGPUで使われたピクセルシェーダー系の技法（回路）を使えば爆速な気がする。

	[[category: 人工知能]]		[[category: 人工知能]]

2024年4月17日 (水) 03:21にAdministratorによる

2024-04-17T03:21:02Z

← 古い版		2024年4月17日 (水) 03:21時点における版
10行目:		10行目:
	これにより		これにより
	* GPUの回路の99%くらいが使われなくなる		* GPUの回路の99%くらいが使われなくなる
			* 三択の分岐はGPUよりCPUの方が強い
	* GPUの並列性は有用なのでコア数勝負ではまだCPUより強い		* GPUの並列性は有用なのでコア数勝負ではまだCPUより強い
	* ~~GPUに代わるデバイスが登場する可能性がある~~		* GPUやCPUに代わるデバイスが登場する可能性がある

	1bit LLMは		1bit LLMは

Administrator: ページの作成:「1bit LLM 正式名称はBitNet 業界をあげて「bfloat16だ」「FP8だ」とデータサイズの削減を続けた結果、ついにパラメータが取…」

2024-04-17T02:36:47Z

ページの作成:「1bit LLM 正式名称はBitNet 業界をあげて「bfloat16だ」「FP8だ」とデータサイズの削減を続けた結果、ついにパラメータが取…」

新規ページ

1bit LLM

正式名称はBitNet

業界をあげて「[[bfloat16]]だ」「[[FP8]]だ」とデータサイズの削減を続けた結果、ついにパラメータが取り得る値は3種類(-1, 0, 1)になりました。実際には1.5ビットですが小数点以下切り捨てで「1ビット」と呼ばれているようです。

通常、[[ニューラルネットワーク]]の[[内積]]計算は各要素の[[乗算]]とその結果の[[加算]]から成り立ちます。
しかし、1bit LLMでは[[乗算器]]が不要になり[[加算器]]だけで[[行列積]]の計算が行えるようになります。

これにより
* GPUの回路の99%くらいが使われなくなる
* GPUの並列性は有用なのでコア数勝負ではまだCPUより強い
* GPUに代わるデバイスが登場する可能性がある

1bit LLMは
最近の人工知能でよく使われているバーテックスシェーダー系の行列演算メインの回路ではなく、
古典的なGPGPUで使われたピクセルシェーダー系の技法（回路）を使え爆速な気がする。

[[category: 人工知能]]