人工知能のパラメーター数

人工知能のパラメーター数とは、その人工知能がプログラム中で使用している（メモリに保持している）行列やベクトルの総数です。

<source lang="python"> import torch

1. 例えば、1000個の入力から500個の出力へ変換する層のパラメータ

1. 重み: (出力数, 入力数) の行列

weights = torch.randn(500, 1000)

1. バイアス: (出力数) のベクトル

bias = torch.randn(500)

1. パラメータ数 = 500 * 1000 + 500 = 500,500

</soruce>

数字がデカければ賢いという単純なものではありませんが、パラメータが多いほどモデルの表現力が増し、より複雑な文脈やニュアンスを理解・表現でき、高性能になる傾向があります。

2025年ごろからパラメーターを盛り盛りする競争が発生し、そのために必要なメモリが争奪戦になっています。なお、SSDの価格も上がっていますが、こちらはただの便乗値上げです。