ブロック浮動小数点数

ブロック浮動小数点数とは、一定のブロック数で指数部を共有することで必要となるビット数を節約した浮動小数点数の表現方法のひとつです。

一般的な浮動小数点数では指数部と仮数部で表現されます。人工知能向けにFP16やBF16などはビット数を削る競争をしていましたが、8ビット、さらに4ビットくらいになると削るのも難しくなりました。

そこで「指数部は共有し、複数のブロックで仮数部だけを可変にする」という節約法が編み出されました。 データとしては「1個の指数部」「続く32個（32ブロック）は仮数部」というような表現となります。