Vector
読み: ベクター
ベクトルとはAIの数値表現を解説
かんたんに言うと
図書館の蔵書をジャンルや著者などの無数の座標軸で分類し、内容が似た本同士が自然と近くに集まるように配置された巨大な宇宙空間のようなもの。
非構造化データをAIが計算できる形に変えるVectorの役割
法務部門に山積みになっている過去の契約書や、製造現場の不良品画像。こうした非構造化データは、そのままではAIにとって単なる文字の羅列やピクセルの集合にすぎない。これをAIが計算可能な形に変換する技術がEmbeddingである。
テキストや画像を数百から数千次元の数値の配列、つまりVectorに変換する。
これにより、AIは「契約解除」と「解約」という異なる文字列を、意味的に近いものとして認識できるようになる。単語の表面的な一致ではなく、文脈やニュアンスを数値として捉える。OpenAIのモデルを使えば簡単に変換できるが、自社の専門用語をどこまで正確に数値化できているか、その変換プロセス自体がブラックボックスになりがちなのは悩ましい。
非構造化データを多次元空間に配置する仕組み
Vector化されたデータは、多次元空間という目に見えない座標系に配置される。
ここで重要になるのがコサイン類似度という計算手法。2つのVectorがなす角度を計算することで、データ同士の意味的な近さを判定する。角度が0に近ければ近いほど、意味が似ているとみなされる。
たとえば、人事部門が大量の職務経歴書から特定のスキルを持つ候補者を探す場合。
「Pythonでの開発経験」と「Djangoを用いたバックエンド構築」は、文字列は違っても多次元空間上では極めて近い位置に配置される。この空間の設計次第で、検索の精度は劇的に変わる。ただ、次元の呪いと呼ばれる現象により、次元数が大きすぎると距離の差が曖昧になり、計算結果が直感とズレることもある。
実務における活用シーンと代表的なデータベース
現在、生成AIを業務に組み込むRAGの構築において、Vectorは中核を担っている。
この膨大な数値データを高速に検索・保存するために特化したのがベクトルデータベースである。フルマネージドで手軽に始められるPinecone、オープンソースで大規模なオンプレミス環境にも耐えうるMilvus、そしてハイブリッド検索に強いWeaviateなどが覇権を争っている。
どのツールを選ぶべきか。
自社のデータ量やインフラ要件によって判断が分かれる。法務の機密データを扱うならMilvusを自社サーバーで動かす選択肢が有力になるが、運用コストは跳ね上がる。クラウドの利便性をとるか、データのガバナンスをとるか、現場のエンジニアと法務担当者の間で意見が衝突することも珍しくない。
意味検索の利点と運用に潜む技術的な壁
従来のキーワード検索では、単語が完全に一致しない限り目的のデータにたどり着けなかった。セマンティック検索は、この限界を突破する。
ユーザーが「なんか赤い丸い果物」と入力すれば「りんご」を提示できる。
しかし、現場の運用は甘くない。次元数が増えれば増えるほど計算コストは膨張し、レスポンスタイムは悪化する。インデックスの更新頻度が高い物流システムの在庫検索などに適用しようとすると、データベースの同期遅延が致命傷になりかねない。
最新の技術だからといって、すべての検索をVectorに置き換えるのは早計である。Elasticsearchのような従来のキーワード検索とどう組み合わせるか、泥臭いチューニングの連続になる。
当社の見解
当社はAI長期記憶システムを自社開発・運用している。開発のきっかけは、AIと経営戦略の壁打ちで出した結論がセッション切れで消えたことで絶望を感じた。1日かけて議論してきたことを振り返り、では事業計画書に落とし込むように指示を出したところ、「そのような記録はありません」と言われたことで、強烈な危機感を覚えこれは何としても解決しなければならない問題だと感じた。記憶がないAIは毎朝記憶喪失になる新入社員と同じだ。記憶があるAIは、前提条件を理解した上で本題に入れる。短いプロンプトで済むようになり、「前に言ったように実行して」と曖昧で短いプロンプトでも業務を遂行してくれる。同じことを繰り返し伝える回数も減り、開発業務でも同じミスを繰り返しにくくなり、人間の手戻りが減り、ストレスも減る。AIで本当に業務の質を上げるならば、記憶はマストである。
同じ失敗を二度としないAIエージェント
今のAIは、聞けば何でも答えてくれます。
でも、セッションが切れた瞬間に前回の失敗を忘れます。
当社が開発しているAIは、過去の経緯を念頭に置いて、
聞かれる前に「それは前回うまくいきませんでした」と声をかけます。
人間にも同じ失敗をさせず、AI自身も繰り返しません。
古参の社員が横にいるように、黙っていても気づいてくれる。
それが、当社が考える本当のAI社員です。