FP8 - 版の履歴

2026年5月15日 (金) 08:16にAdministratorによる

2026-05-15T08:16:43Z

@@ 1行目: / 1行目: @@
-'''FP8'''（えふぴーえいと）とは、[[ARM]]と[[Intel]]と[[NVIDIA]]の3社が共同で仕様を策定した「8ビットの浮動小数点数」である。
+'''FP8'''（えふぴーえいと）とは、[[ARM]]と[[Intel]]と[[NVIDIA]]の3社が共同で仕様を策定した「8ビットの浮動小数点数」です。ホワイトペーパーでは「reduced precision floating-point」となっているので日本語訳は「[[低精度浮動小数点数]]」でいいと思う。
-ホワイトペーパーでは「reduced precision floating-point」となっているので日本語訳は「[[低精度浮動小数点数]]」でいいと思う。
+主にNVIDIAのHopperアーキテクチャ以降（H100など）でサポートされ、従来のFP16/BF16と比較して約2倍の処理速度を実現し、大規模言語モデル（LLM）や生成AIの学習・推論を高速化します。
 == 形式 ==
@@ 11行目: / 11行目: @@
 * 仮数部の幅: 2ビット
-E5M2は「指数5ビット」「仮数2ビット」の形式である。
+E5M2は「指数5ビット」「仮数2ビット」の形式である。IEEE 754の16ビット形式である「[[FP16]]」の仮数部を10ビットから2ビットにしたものとなっている。「[[FP32]]と[[bfloat16]]」の関係と同じく「[[FP16]]とFP8は互換性がある」ということらしい。FP16で書かれた[[ソースコード]]を単純に文字列置換するだけで使えるのが利点らしい。E5M2は「[[勾配テンソル]]」に最適らしいぞ。
 === E4M3 ===
@@ 23行目: / 19行目: @@
 [[category: 浮動小数点数]]
-E4M3はE5M2よりダイナミックレンジが広い。
+E4M3はE5M2よりダイナミックレンジが広い。E4M3は「[[重みテンソル]]」および「[[活性化テンソル]]」に最適らしいぞ。
-E4M3は「[[重みテンソル]]」および「[[活性化テンソル]]」に最適らしいぞ。
 == 外部リンク ==

2024年8月26日 (月) 07:35にAdministratorによる

2024-08-26T07:35:04Z

← 古い版		2024年8月26日 (月) 07:35時点における版
22行目:		22行目:
	* 仮数部の幅: 3ビット		* 仮数部の幅: 3ビット

			[[category: 浮動小数点数]]
	E4M3はE5M2よりダイナミックレンジが広い。		E4M3はE5M2よりダイナミックレンジが広い。
	E4M3は「[[重みテンソル]]」および「[[活性化テンソル]]」に最適らしいぞ。		E4M3は「[[重みテンソル]]」および「[[活性化テンソル]]」に最適らしいぞ。

2023年8月16日 (水) 03:34にAdministratorによる

2023-08-16T03:34:38Z

← 古い版		2023年8月16日 (水) 03:34時点における版
32行目:		32行目:
	* [[半精度浮動小数点数]] ([[FP16]], [[bfloat16]])		* [[半精度浮動小数点数]] ([[FP16]], [[bfloat16]])
	* [[低精度浮動小数点数]] ([[FP8]])		* [[低精度浮動小数点数]] ([[FP8]])

			[[category: 人工知能]]

2022年9月26日 (月) 02:23にAdministratorによる

2022-09-26T02:23:23Z

← 古い版		2022年9月26日 (月) 02:23時点における版
27行目:		27行目:
	== 外部リンク ==		== 外部リンク ==
	* https://arxiv.org/abs/2209.05433		* https://arxiv.org/abs/2209.05433

			== 関連項目 ==
			* [[単精度浮動小数点数]]　（[[FP32]])
			* [[半精度浮動小数点数]] ([[FP16]], [[bfloat16]])
			* [[低精度浮動小数点数]] ([[FP8]])

Administrator: ページの作成:「'''FP8'''（えふぴーえいと）とは、ARMとIntelとNVIDIAの3社が共同で仕様を策定した「8ビットの浮動小数点数」である。…」

2022-09-26T02:22:05Z

ページの作成:「'''FP8'''（えふぴーえいと）とは、ARMとIntelとNVIDIAの3社が共同で仕様を策定した「8ビットの浮動小数点数」である。…」

新規ページ

'''FP8'''（えふぴーえいと）とは、[[ARM]]と[[Intel]]と[[NVIDIA]]の3社が共同で仕様を策定した「8ビットの浮動小数点数」である。

ホワイトペーパーでは「reduced precision floating-point」となっているので日本語訳は「[[低精度浮動小数点数]]」でいいと思う。

== 形式 ==
FP8には[[指数]]Eと[[仮数]]Mのビット数が異なる2種類の形式がある。

=== E5M2 ===
* 符号ビット: 1ビット
* 指数部の幅: 5ビット
* 仮数部の幅: 2ビット

E5M2は「指数5ビット」「仮数2ビット」の形式である。
IEEE 754の16ビット形式である「[[FP16]]」の仮数部を10ビットから2ビットにしたものとなっている。
「[[FP32]]と[[bfloat16]]」の関係と同じく「[[FP16]]とFP8は互換性がある」ということらしい。
FP16で書かれた[[ソースコード]]を単純に文字列置換するだけで使えるのが利点らしい。
E5M2は「[[勾配テンソル]]」に最適らしいぞ。

=== E4M3 ===
* 符号ビット: 1ビット
* 指数部の幅: 4ビット
* 仮数部の幅: 3ビット

E4M3はE5M2よりダイナミックレンジが広い。
E4M3は「[[重みテンソル]]」および「[[活性化テンソル]]」に最適らしいぞ。

== 外部リンク ==
* https://arxiv.org/abs/2209.05433