TF32

TF32とは、NVIDIAが策定した19ビット長の単精度浮動小数点数です。

TF32形式は同社のAmpereアーキテクチャ（GeForce RTX 30シリーズ）のGPUから導入されました。 最近では一部のARM系SoCもTF32に対応しており、それらでは推論が若干高速化されます。

名称に「32」と付いているので32ビット長と勘違いしやすい点に注意する必要があります。 紛らわしいことに、この「32」はパソコンでのプログラミングで古くから利用されている「FP32（32ビットのfloat型）と互換性がある」という意味です。

TF32はFP32と同じく仮数部に10ビットを採用しており「FP32と同等の数値範囲を表現できる」という特徴があります。

GoogleがTensorFlow向けに開発した「BF16」と非常に似ています。 AmpereアーキテクチャではTF32と同時にBF16にも対応したので、なぜ新しくTF32を作ったのかが謎です。