all-MiniLM-L6-v2とは

ALL MINILM L6 V2
読み: オール・ミニエルエム・エルシックス・ブイツー

読み: オール・ミニエルエム・エルシックス・ブイツー

all-MiniLM-L6-v2とは、文章の意味を数値化して比べる小型AIモデル

all-MiniLM-L6-v2とは、文章や短い段落を384次元の密なベクトル空間に変換するSentence-Transformersモデルです。入力されたテキストから意味情報を捉えたベクトルを出力し、情報の検索、クラスタリング、文章の類似度計算といったタスクに利用されます。Hugging Face上で公開されており、Pythonライブラリ等を通じて実装可能なモデルです。

かんたんに言うと

社内文書やよくある質問から、意味の近い文章を探すための小型AIです。たとえば、言い方が違う問い合わせの検索、重複文の発見、似た内容の分類に使えます。

学習の背景と手法

本モデルは、10億件を超える文章ペアを用いた大規模な学習を行っています。学習には「対照学習(contrastive learning)」という手法が採用されています。これは、ある文章とペアになるべき文章を、ランダムに選ばれた他の文章の中から正しく予測させることで、意味の近さを学習させる手法です。ベースとなるモデルにはnreimers/MiniLM-L6-H384-uncasedが使用され、これに対して特定のデータセットを用いた「ファインチューニング(追加学習)」が行われています。

実装と利用方法

本モデルは、文章を数値化するEmbeddingモデルで、Pythonライブラリのsentence-transformersを使用して実装できます。モデルをロードし、encodeメソッドにテキストを渡すことで、ベクトルを取得可能です。また、sentence-transformersを使用しない場合でも、Hugging Faceのtransformersライブラリを用いて、モデルの出力に対して適切な「プーリング操作(mean pooling)」を行い、正規化処理を施すことで同様のベクトルを得ることができます。プーリングとは、モデルから出力された複数の単語ごとのベクトルを、文章全体を代表する一つのベクトルに集約する処理を指します。文章同士の意味を比べるSemantic Searchなどに利用できます。

当社AI用語集の意味検索との関係

当社のAI用語集トップの意味検索では、2026年8月時点でall-MiniLM-L6-v2ではなく、同じ384次元の文章ベクトルを扱うXenova/multilingual-e5-smallを使用しています。検索語には「query:」、用語の説明文には「passage:」を付け、mean poolingと正規化を行ったベクトル同士のコサイン類似度を計算し、関連度が高い5件を表示する仕組みです。all-MiniLM-L6-v2も文章や短い段落をベクトル化できるため、意味検索の仕組みを理解するうえで有用な比較対象ですが、当サイトの現行実装モデルではありません。

入力制限と処理上の注意点

モデルを利用する際には、入力テキストの長さに注意が必要です。本モデルでは、既定の設定として256ワードピースを超える入力テキストは切り詰め(truncation)が行われます。ワードピースとは、テキストをモデルが処理可能な単位に分割した断片のことです。また、学習時のシーケンス長は128トークンに制限されていました。利用時の切り詰め設定と、学習時のトークン制限はそれぞれ異なる仕様であるため、用途に合わせて前処理を調整する必要があります。

技術的な仕様と環境

本モデルの学習は、TPU v3-8環境において、バッチサイズ1024、100kステップの条件で実施されました。最適化にはAdamWオプティマイザーが使用され、学習率は2e-5に設定されています。利用にあたっては、Python 3.10以降、PyTorch 1.11.0以降、transformers v4.41.0以降の環境が推奨されています。これらのライブラリやフレームワークを整えることで、モデルの機能を活用したシステム構築が可能となります。

当社の見解

当社は過去の教訓記録を意味で探すLanceDBのlessonsテーブルに、FastEmbed経由のall-MiniLM-L6-v2を実装し、384次元ベクトルで運用しています。PC内ファイル検索でもall-MiniLM-L6-v2を使用してきましたが、日本語71.4点・コード83.3点という当社検証結果に基づき、現在のfilesテーブルはbge-m3へ切り替えています。また、当社AI用語集の意味検索では、ブラウザ上で日本語の検索文を扱うため、Xenova/multilingual-e5-smallを採用しています。この実装・検証・切り替えの経験から、同じ意味検索でもモデル名だけで決めず、対象言語、データの種類、実測した検索精度に合わせてモデルを使い分ける必要があると判断しています。