「TF32」の版間の差分
Administrator (トーク | 投稿記録) |
Administrator (トーク | 投稿記録) |
||
(同じ利用者による、間の1版が非表示) | |||
1行目: | 1行目: | ||
'''TF32'''とは、[[NVIDIA]]が策定した19ビット長の[[単精度浮動小数点数]]です。 | '''TF32'''とは、[[NVIDIA]]が策定した19ビット長の[[単精度浮動小数点数]]です。 | ||
+ | |||
+ | TF32形式は同社の[[Ampereアーキテクチャ]]([[GeForce RTX 30シリーズ]])の[[GPU]]から導入されました。 | ||
+ | 最近では一部の[[ARM]]系[[SoC]]もTF32に対応しており、それらでは[[推論]]が若干高速化されます。 | ||
名称に「32」と付いているので32ビット長と勘違いしやすい点に注意する必要があります。 | 名称に「32」と付いているので32ビット長と勘違いしやすい点に注意する必要があります。 | ||
6行目: | 9行目: | ||
TF32はFP32と同じく仮数部に10ビットを採用しており「FP32と同等の数値範囲を表現できる」という特徴があります。 | TF32はFP32と同じく仮数部に10ビットを採用しており「FP32と同等の数値範囲を表現できる」という特徴があります。 | ||
− | [[Google]]が[[TensorFlow]]向けに開発した「[[BF16]] | + | [[Google]]が[[TensorFlow]]向けに開発した「[[BF16]]」と非常に似ています。 |
− | + | [[Ampereアーキテクチャ]]ではTF32と同時にBF16にも対応したので、なぜ新しくTF32を作ったのかが謎です。 | |
− | |||
− | |||
[[category: 人工知能]] | [[category: 人工知能]] |
2023年8月16日 (水) 03:59時点における最新版
TF32とは、NVIDIAが策定した19ビット長の単精度浮動小数点数です。
TF32形式は同社のAmpereアーキテクチャ(GeForce RTX 30シリーズ)のGPUから導入されました。 最近では一部のARM系SoCもTF32に対応しており、それらでは推論が若干高速化されます。
名称に「32」と付いているので32ビット長と勘違いしやすい点に注意する必要があります。 紛らわしいことに、この「32」はパソコンでのプログラミングで古くから利用されている「FP32(32ビットのfloat型)と互換性がある」という意味です。
TF32はFP32と同じく仮数部に10ビットを採用しており「FP32と同等の数値範囲を表現できる」という特徴があります。
GoogleがTensorFlow向けに開発した「BF16」と非常に似ています。 AmpereアーキテクチャではTF32と同時にBF16にも対応したので、なぜ新しくTF32を作ったのかが謎です。