Quantization (4-bit/8-bit/FP8)
読み: クオンタイゼーション (4ビット/8ビット/FP8)
Quantization 4-bit/8-bit/FP8とは
Quantization（量子化）は、機械学習モデルのサイズを削減し、推論速度を向上させるための重要な技術である。特に4-bit、8-bit、FP8といった低精度形式を用いることで、メモリ使用量と計算コストを大幅に削減できる。これにより、エッジデバイスなどリソースが限られた環境でのモデル実行が可能になる。
かんたんに言うと
量子化は、モデルの精度を少し犠牲にして、モデルを小さく、速くする技術である。
量子化の基本
量子化とは、モデルのパラメータ（重みや活性化関数）を、より少ないビット数で表現することである。通常、機械学習モデルは32ビット浮動小数点数（FP32）で表現されるが、これを8ビット整数（INT8）や4ビット整数（INT4）などに変換する。ビット数を減らすことで、モデルのサイズが小さくなり、メモリ帯域幅の要件も低減される。結果として、推論速度が向上し、消費電力も削減される。
4-bit/8-bit量子化
8-bit量子化（INT8）は、精度と効率のバランスが取れており、多くのアプリケーションで利用されている。4-bit量子化（INT4）は、さらにモデルサイズを削減できるが、精度低下のリスクが高まる。近年では、量子化手法の改良により、精度低下を抑えつつ4-bit量子化を実現する技術も開発されている。これらの低ビット量子化は、特に大規模言語モデルの効率的な実行に貢献する。
FP8量子化
FP8（8ビット浮動小数点数）は、INT8よりも広い範囲の値を表現できるため、精度を維持しやすい。特に、Transformerモデルなどの大規模モデルにおいて、FP8量子化は有効である。FP8は、学習済みモデルの量子化だけでなく、学習時の計算にも利用されることがある。これにより、学習時間の短縮やメモリ使用量の削減が可能になる。
当社の見解
モデルを軽くする技術は、論文のベンチマークでは「精度ほぼ変わらず」と書かれることが多い。しかし実務では違う。当社がVRAM 12GBでローカルLLMを動かす中で分かったのは、量子化の方式によって日本語の出力品質が大きく変わるということだ。数値上の精度低下が0.5%でも、日本語の自然さが体感で変わるケースがある。英語のベンチマークで高得点のモデルが日本語では使い物にならないこともある。マーケティングの分析がライティング業務では使い物にならないということもある。AIはモデルごとに得意不得意な分野がある。同じ名前がついているモデルでも数字が多い方がすべての用途において精度が高いということはない。数字が古いモデルや小さいモデルでも、用途によっては大容量モデルを超えることがある。技術系ブログに書いてあるベンチマーク結果を鵜呑みにせずに、実際に業務で使い検証を行って比較検討してから選ぶことをおすすめする。
同じ失敗を二度としないAIエージェント
今のAIは、聞けば何でも答えてくれます。
でも、セッションが切れた瞬間に前回の失敗を忘れます。
当社が開発しているAIは、過去の経緯を念頭に置いて、
聞かれる前に「それは前回うまくいきませんでした」と声をかけます。
人間にも同じ失敗をさせず、AI自身も繰り返しません。
古参の社員が横にいるように、黙っていても気づいてくれる。
それが、当社が考える本当のAI社員です。