FMA演算

FMA演算（Fused Multiply-Add）とは、積と和が合体した演算です。

数式で表すと x * y + z となります。この数式は「行列の乗算」や「ベクトルの内積」でよく使われます。行列とベクトルといえばSIMD演算の効果が絶大なので昨今のCPUのSIMD命令やGPUでは「FMA演算をSIMD実行できる機能」が定番機能となっています。

この演算では途中の積算を丸めずに積和演算を1命令で行うことで最終演算結果の誤差を小さくします。FMA演算はIEEE 754規格の2008年改訂版で標準化されており、ほとんどのCPUやGPUで挙動は同じです。