IVF
読み: アイブイエフ
IVFとはベクトル高速検索の鍵
IVF（Inverted File Index）は、大量のベクトルデータを高速に検索するためのインデックス手法。RAGや類似画像検索の裏側で、数百万件のベクトルから目的のデータを瞬時に見つけ出す役割を担っている。ベクトルデータベースの検索速度を左右する中核技術であり、導入の成否はインデックス設計に懸かっている。
かんたんに言うと
巨大な図書館で本を探すとき、全棚を端から歩くのではなく、まずジャンルごとの棚に案内してもらい、その棚だけを探す。IVFはベクトル検索におけるこの「棚分け」の仕組みである。
100万件超のベクトルを瞬時に絞り込むIVFのクラスタリング手法
ベクトル検索の最も素朴な方法は、全件を1つずつ比較する総当たり（Brute Force）である。データが1万件なら問題にならない。100万件を超えた瞬間、レスポンスは秒単位に膨れ上がる。
IVFはこの問題をクラスタリングで解決する。事前にベクトル空間をいくつかの領域（セル）に分割し、各ベクトルを最も近いセルに割り当てておく。検索時にはクエリベクトルに近いセルだけを探索するため、比較回数が大幅に減る。たとえば1,000個のセルに分割すれば、理論上は探索範囲を1/1,000に絞れる。
ただし、セル境界付近のベクトルを取りこぼすリスクがある。そこでnprobe（探索するセル数）というパラメータで精度と速度のバランスを調整する。nprobeを増やせば精度は上がるが、当然遅くなる。
なお、IVFにはHNSWと異なり、事前にデータの分布を学習して重心（Centroid）を決定する学習フェーズが不可欠である。データの傾向が大きく変わると重心がズレて検索精度が落ちるため、定期的な再学習が必要になる。
Faissが普及を後押しした経緯
IVFが広く使われるようになった背景には、Meta（旧Facebook）が開発したFaissライブラリの存在が大きい。FaissはIVFの実装をGPU対応で提供し、数十億件規模のベクトル検索を現実的な速度で処理できるようにした。
現在ではPinecone、Milvus、Weaviateといった主要なベクトルデータベースの多くが、内部的にIVFまたはその派生手法をインデックスの選択肢として採用している。HNSWというグラフベースの手法と並んで、事実上の標準的な選択肢になった。
現場で起きるチューニングの泥沼
実際にIVFを運用すると、教科書通りにはいかない場面に直面する。
よくあるのが「検索結果から肝心のデータが漏れる」という問い合わせである。原因を調べると、nprobeの値が小さすぎて隣接セルを見落としているケースが多い。かといってnprobeを上げすぎると、レイテンシの要件を満たせなくなる。結局、データの分布を見ながら地道にパラメータを詰めるしかない。
もう一つ厄介なのがセル数（nlist）の決め方である。データ件数の平方根（√N）がよく推奨されるが、1億件を超える超大規模データでは4√N〜16√Nを設定するのが現代の定石である。ただしベクトルの次元数やデータの偏り具合によって最適値は変わる。PoCで「精度が出ない」と騒ぐ前に、まずnlistとnprobeの組み合わせを20パターンほど試すのが定石である。
社内で「AIの検索精度が悪い」という声が上がったとき、モデルの問題だと思い込む担当者は少なくない。実際にはインデックスの設定ミスだったというオチが、体感では半分以上ある。
IVFの設定ミス（nprobeの過大設定）がレイテンシを増大させ、それがエージェントの判断を遅らせてシステム全体のコストを押し上げる連鎖も見落とせない。
IVF-PQとIVF-SQの使い分け
IVF単体ではメモリ消費が大きくなるため、量子化と組み合わせるのが一般的である。
IVF-PQ（Product Quantization）はベクトルを部分空間に分割して圧縮する。メモリ使用量を数十分の一に抑えられるが、近似精度は落ちる。数億件規模でメモリに乗り切らないケースではほぼ必須の選択肢になる。
IVF-SQ（Scalar Quantization）は各次元を8ビット整数に丸める手法で、圧縮率はPQほど高くないが精度の劣化が小さい。数百万件程度ならSQで十分なことが多い。
どちらを選ぶかはデータ件数とメモリ予算で決まる。精度が命のユースケースでは、まずSQを試し、メモリが足りなければPQに切り替えるのが手堅い。
当社の見解
当社はAI長期記憶システムを自社開発・運用している。開発のきっかけは、AIと経営戦略の壁打ちで出した結論がセッション切れで消えたことで絶望を感じた。1日かけて議論してきたことを振り返り、では事業計画書に落とし込むように指示を出したところ、「そのような記録はありません」と言われたことで、強烈な危機感を覚えこれは何としても解決しなければならない問題だと感じた。記憶がないAIは毎朝記憶喪失になる新入社員と同じだ。記憶があるAIは、前提条件を理解した上で本題に入れる。短いプロンプトで済むようになり、「前に言ったように実行して」と曖昧で短いプロンプトでも業務を遂行してくれる。同じことを繰り返し伝える回数も減り、開発業務でも同じミスを繰り返しにくくなり、人間の手戻りが減り、ストレスも減る。AIで本当に業務の質を上げるならば、記憶はマストである。
同じ失敗を二度としないAIエージェント
今のAIは、聞けば何でも答えてくれます。
でも、セッションが切れた瞬間に前回の失敗を忘れます。
当社が開発しているAIは、過去の経緯を念頭に置いて、
聞かれる前に「それは前回うまくいきませんでした」と声をかけます。
人間にも同じ失敗をさせず、AI自身も繰り返しません。
古参の社員が横にいるように、黙っていても気づいてくれる。
それが、当社が考える本当のAI社員です。