QJLとは

QJL
読み: キュージェイエル

読み: キュージェイエル

QJLとは1ビットで計算誤差をゼロにする補正アルゴリズム

QJLとは、Quantized Johnson-Lindenstraussの略で、TurboQuantの中核をなす誤差補正アルゴリズム。PolarQuantで圧縮後に残る誤差を、わずか1ビットの追加データで統計的にゼロにする。

かんたんに言うと

極限まで圧縮してボロボロになったデータに、最後の1ビットを加えるだけで元の精度を完璧に再現する「魔法の補正術」。

1ビット投影と不偏推定

PolarQuantの残差をJohnson-Lindenstrauss変換で+1か-1の1ビットに圧縮する。アテンション計算時にこの1ビットを足し戻すと、バイアスが統計的にゼロになることが数学的に証明されている。メモリ追加コストは実質ゼロ。

データ非依存の汎用性

事前の再学習やキャリブレーションが不要。どんな未知の文章に対しても、その場で数学的に正解を導く。Llama-3やGemmaのKVキャッシュを3ビット圧縮しても、32ビットと同じ回答精度を維持する(出典: Google Research 2026年3月)。

当社の見解

技術選定で重要なのは「最新かどうか」ではなく「自社の課題に合うかどうか」。当社は621件の用語を整理する過程で、各技術の適用範囲と限界を実務で検証してきた。ベンチマークの数字だけで判断せず、自社環境での実測を優先する。