ソフトマックス関数

ソフトマックス関数（softmax function）とは、ロジスティック関数を多次元に一般化したもので、K次元の実数ベクトル（K個の実数配列）をK個の確率分布（0.0〜1.0）に変換し、かつその確率分布の合計が1.0になる関数の総称である。最終的な結果は「合計1.0」にはなるが、個々の値は実装により異なる。

「softargmax」や「正規化指数関数」などとも呼ばれる。

「正規化指数関数」という名称からもわかるようにUnityやMonoGameなんかで3Dゲームなどを作っているとよく使う正規化関数「normalize(vector3)」の亜種であり、3次元だけでなく4次元でも5次元でも100次元でも「合計1.0」にしてくれるというもの。正規化関数をグラフにすると直線になるが、正規化指数関数は曲線になる。

ニューラルネットワークの最後の活性化関数として、ルースの選択公理に基づいて、ネットワークの出力を予測される出力クラスに対する確率分布に正規化するためによく使われる。

数式

$\sigma (\mathbf {z} )_{i}={\frac {e^{z_{i}}}{\sum _{j=1}^{K}e^{z_{j}}}}$

C# で書くとこんな感じ。

float[] softmax(float[] z)
{
    var exp = z.Select(System.MathF.Exp);
    var sum_exp = exp.Sum();
    var ret = exp.Select(j => j / sum_exp);
    return ret.ToArray();
}

// test
var a = new[] { 1.0f, 2.0f, 3.0f, 4.0f, 1.0f, 2.0f, 3.0f };
var b = softmax(a);
Console.WriteLine(String.Join(", ", b));

関連項目

• シグモイド関数