「FP8」の版間の差分
Administrator (トーク | 投稿記録) |
Administrator (トーク | 投稿記録) |
||
(同じ利用者による、間の1版が非表示) | |||
27行目: | 27行目: | ||
== 外部リンク == | == 外部リンク == | ||
* https://arxiv.org/abs/2209.05433 | * https://arxiv.org/abs/2209.05433 | ||
+ | |||
+ | == 関連項目 == | ||
+ | * [[単精度浮動小数点数]] ([[FP32]]) | ||
+ | * [[半精度浮動小数点数]] ([[FP16]], [[bfloat16]]) | ||
+ | * [[低精度浮動小数点数]] ([[FP8]]) | ||
+ | |||
+ | [[category: 人工知能]] |
2023年8月16日 (水) 03:34時点における最新版
FP8(えふぴーえいと)とは、ARMとIntelとNVIDIAの3社が共同で仕様を策定した「8ビットの浮動小数点数」である。
ホワイトペーパーでは「reduced precision floating-point」となっているので日本語訳は「低精度浮動小数点数」でいいと思う。
目次
形式編集
FP8には指数Eと仮数Mのビット数が異なる2種類の形式がある。
E5M2編集
- 符号ビット: 1ビット
- 指数部の幅: 5ビット
- 仮数部の幅: 2ビット
E5M2は「指数5ビット」「仮数2ビット」の形式である。 IEEE 754の16ビット形式である「FP16」の仮数部を10ビットから2ビットにしたものとなっている。 「FP32とbfloat16」の関係と同じく「FP16とFP8は互換性がある」ということらしい。 FP16で書かれたソースコードを単純に文字列置換するだけで使えるのが利点らしい。 E5M2は「勾配テンソル」に最適らしいぞ。
E4M3編集
- 符号ビット: 1ビット
- 指数部の幅: 4ビット
- 仮数部の幅: 3ビット