「TF32」の版間の差分

← 古い編集

ビジュアルウィキテキスト

2024年8月26日 (月) 07:39時点における最新版

TF32とは、NVIDIAが策定した19ビット長の浮動小数点数です。

名称に「32」と付いているので32ビット長と勘違いしやすい点に注意する必要があります。この「32」はパソコンでのプログラミングで古くから利用されている「FP32（32ビットのfloat型）と互換性がある」という意味です。

TF32形式は同社のAmpereアーキテクチャ（GeForce RTX 30シリーズ）のGPUから導入されました。最近では一部のARM系SoCもTF32に対応しており、それらでは推論が若干高速化されます。

TF32はFP32と同じく仮数部に10ビットを採用しており「FP32と同等の数値範囲を表現できる」という特徴があります。

GoogleがTensorFlow向けに開発した「BF16」と非常に似ています。 AmpereアーキテクチャではTF32と同時にBF16にも対応したので、なぜ新しくTF32を作ったのかが謎です。

@@ 1行目: / 1行目: @@
-'''TF32'''とは、[[NVIDIA]]が策定した19ビット長の[[単精度浮動小数点数]]です。
+'''TF32'''とは、[[NVIDIA]]が策定した19ビット長の[[浮動小数点数]]です。
-名称に「32」と付いているので32ビット長と勘違いしやすい点に注意する必要があります。
+名称に「32」と付いているので32ビット長と勘違いしやすい点に注意する必要があります。この「32」は[[パソコン]]での[[プログラミング]]で古くから利用されている「[[FP32]]（32ビットのfloat型）と[[互換性]]がある」という意味です。
-紛らわしいことに、この「３２」は[[パソコン]]での[[プログラミング]]で古くから利用されている「[[FP32]]（32ビットのfloat型）と[[互換性]]がある」という意味です。
+TF32形式は同社の[[Ampereアーキテクチャ]]（[[GeForce RTX 30シリーズ]]）の[[GPU]]から導入されました。
+最近では一部の[[ARM]]系[[SoC]]もTF32に対応しており、それらでは[[推論]]が若干高速化されます。
 TF32はFP32と同じく仮数部に10ビットを採用しており「FP32と同等の数値範囲を表現できる」という特徴があります。
-[[Google]]が[[TensorFlow]]向けに開発した「[[BF16]]」と非常に似ています。なぜ新しくTF32を作ったのかが謎すぎるくらいです。
+[[Google]]が[[TensorFlow]]向けに開発した「[[BF16]]」と非常に似ています。
+[[Ampereアーキテクチャ]]ではTF32と同時にBF16にも対応したので、なぜ新しくTF32を作ったのかが謎です。
-TF32形式は同社の[[Ampereアーキテクチャ]]（[[GeForce RTX 30シリーズ]]）の[[GPU]]から導入されました。
-最近では一部の[[ARM]]系[[SoC]]もTF32に対応しており、それらでは[[推論]]が若干高速化されます。
 [[category: 人工知能]]
+[[category: 浮動小数点数]]