FP16とは、IEEE 754に定められる「半精度浮動小数点数」の事です。
パソコンで一般的なIEEE 754の単精度浮動小数点数や倍精度浮動小数点の親戚ともいう存在で「16ビットで可能な限り高精度」を目指しているという特徴があります。
ちなみにFP16はFP32との型変換が遅いという欠点があります。 「FP16で計算してFP32に戻す」などといった処理は遅い傾向にあります。
