量子化アルゴリズム

量子化アルゴリズムとは、コンピューターにおける「量子化」（一定の間隔で区切られた数値に変換）を行うためのアルゴリズムの総称です。用途などに応じて様々な手法が考案されています。

人工知能でよく使われるやつ

PTQ (Post-Training Quantization)

学習済みモデルを後処理で量子化。追加学習不要。 モバイル推論、軽量化の第一歩

QAT (Quantization-Aware Training)

学習中に量子化をシミュレーション。精度劣化が少ない。 高精度が必要なモデル

GPTQ (Gradient Post-Training Quantization)

勾配情報を使って誤差を最小化するPTQ。 大規模言語モデル (LLM)

AWQ (Activation-aware Weight Quantization)

活性値分布を考慮して重みを量子化。 LLM推論の高速化

SmoothQuant

活性値と重みをスケーリングして外れ値を平滑化。 Transformer系モデル

RPTQ (Round-to-Nearest PTQ)

単純な丸めだが実装容易。 組込み向け

KV Cache Quantization

LLMのKVキャッシュを低ビット化。 長文推論の省メモリ化

FP8 Quantization

8bit浮動小数点表現。NVIDIA Hopper世代GPUで標準化。 高性能GPUでの学習・推論

INT4 / INT3 Quantization

超低ビット化。 メモリ削減大だが精度劣化リスクあり。 実験的、省リソース環境

SINQ (Sinkhorn-Normalized Quantization)

行列をSinkhorn正規化しつつ量子化。 AWQより高速・高精度。 最新のLLM推論最適化

信号処理・音声圧縮でよく使われるやつ

Uniform Quantization（均一量子化）

最も基本的。入力範囲を等間隔に分割。 PCM音声や古典的デジタル通信で利用。

Non-Uniform Quantization（非均一量子化）

人間の感覚特性に合わせて分割幅を変える。 代表例: μ-law, A-law companding（電話音声圧縮で標準化）。

Vector Quantization (VQ)

信号をベクトル単位でクラスタリングし、代表ベクトルに置き換える。 音声符号化（CELP系コーデック）、画像圧縮（VQベースの古典方式）で利用。

Delta Modulation (ΔM)

信号の差分を1bitで表現する方式。古典的な低帯域音声通信で利用。

Adaptive Differential PCM (ADPCM)

差分を可変ステップで量子化。電話音声やVoIPで長く使われた。

画像圧縮でよく使われるやつ

Scalar Quantization

JPEGのDCT係数を整数に丸める処理。

Dead-Zone Quantization

小さい値をゼロにまとめる方式。MPEGやH.264/HEVCで利用。

Lloyd-Max Quantizer

最適な量子化境界を統計的に決定する方式。JPEG2000などで応用。

その他

Fixed-Point Quantization

浮動小数点を固定小数点に変換。組込み制御やDSPで必須。

Logarithmic Quantization

値の対数を取ってから量子化。広いダイナミックレンジを効率的に表現。