NF4 (Normal Float 4)とは
NF4
読み: ノーマルフロートフォー
NF4 (Normal Float 4)とは、NF4（Normal Float 4）は
読み: ノーマルフロートフォー
NF4（Normal Float 4）は、深層学習モデルのパラメータを量子化するためのデータ型の一つである。特に大規模言語モデル（LLM）の効率的な学習と推論に貢献する。メモリ使用量を削減しつつ、高い精度を維持することを目的としている。
かんたんに言うと
NF4は、深層学習モデルを軽く、速くするための数値表現方法である。
NF4の概要
NF4は、32ビット浮動小数点数（FP32）の代わりに、4ビットの浮動小数点数を使用する。これにより、モデルのサイズを大幅に削減できる。量子化技術の一種であり、元のFP32の値を近似的に表現する。Transformerモデルなどの大規模モデルにおいて、その効果を発揮する。
NF4の利点
主な利点は、メモリフットプリントの削減である。モデルのサイズが小さくなるため、より小さなGPUやCPUでも実行可能になる。また、推論速度の向上にもつながる。学習時にも、より大きなバッチサイズを使用できる可能性がある。
NF4の注意点
NF4を使用すると、精度が低下する可能性がある。量子化によって情報が失われるためである。しかし、適切な調整を行うことで、精度の低下を最小限に抑えることができる。また、すべてのモデルに適用できるわけではない点に注意が必要である。
同じ失敗を二度としないAIエージェント
今のAIは、聞けば何でも答えてくれます。
でも、セッションが切れた瞬間に前回の失敗を忘れます。
当社が開発しているAIは、過去の経緯を念頭に置いて、
聞かれる前に「それは前回うまくいきませんでした」と声をかけます。
人間にも同じ失敗をさせず、AI自身も繰り返しません。
古参の社員が横にいるように、黙っていても気づいてくれる。
それが、当社が考える本当のAI社員です。