Xenova/multilingual-e5-smallとは
読み: ゼノヴァ・マルチリンガル・イーファイブ・スモール
Xenova/multilingual-e5-smallとは、ブラウザで動く多言語の意味検索モデル
Xenova/multilingual-e5-smallとは、文章を意味の特徴を表す384次元のベクトルへ変換し、Transformers.jsからブラウザ上で利用できる多言語対応のEmbeddingモデルです。Hugging Faceで公開されているintfloat/multilingual-e5-smallをもとに、Webで実行できるONNX形式の重みが用意されています。
かんたんに言うと
言い方が違う質問でも、説明の意味が近い用語を探せる小型AIです。たとえば、AI用語集で質問文に近い解説ページを見つけるために使えます。
Xenova版と元モデルの関係
Xenova/multilingual-e5-smallは、Hugging Faceで公開されているintfloat/multilingual-e5-smallを、Transformers.jsから扱えるようにしたモデルです。元モデルの仕組みや学習内容を別のモデルへ置き換えたものではなく、Webブラウザでも読み込めるONNX形式の重みを追加した構成です。ONNXは、異なる実行環境で機械学習モデルを動かしやすくするための共通形式です。公式モデルページでは、Transformers.jsのfeature-extractionパイプラインへモデルIDを指定する使用方法が案内されています。
文章を384次元のベクトルへ変換する仕組み
このモデルは文章を受け取ると、内容の特徴を384個の数値で表したベクトルを出力します。この処理はEmbeddingと呼ばれます。文章同士のベクトルを比較すると、使われている単語が一致しなくても、意味が近い文章を並べられます。このため、キーワードの一致だけに頼らないSemantic Searchや、似た文章の分類、重複候補の発見に利用できます。
queryとpassageを使い分ける理由
元モデルの公式説明では、検索質問の先頭に「query:」、検索対象の文章には「passage:」を付ける方法が示されています。質問と検索対象で役割を分ける非対称な検索では、この接頭辞を付けることが学習時の条件に合った使い方です。接頭辞を付けない場合は性能が低下すると公式FAQに記載されています。ベクトルを生成した後は、文章全体を一つの値へまとめるmean poolingと長さをそろえる正規化を行い、ベクトル同士の近さを比較します。
ブラウザで意味検索を動かす利点と注意点
Transformers.jsは、ONNX Runtimeを利用してブラウザ内でモデルを実行できるJavaScriptライブラリです。意味検索のためだけに検索文を外部サーバーへ送らず、閲覧中の端末内でベクトル化と類似度計算を行う構成を選べます。一方、モデルファイルの読込時間や計算速度は通信環境と端末性能の影響を受けます。また、元モデルの公式説明では長い入力は最大512トークンで切り詰められるため、長文全体をそのまま比較する場合は分割方法を検討する必要があります。
当社AI用語集の意味検索での実装
当社のAI用語集トップでは、Xenova/multilingual-e5-smallをTransformers.jsのfeature-extractionパイプラインから読み込んでいます。検索語へ「query:」、用語名と説明文へ「passage:」を付け、mean poolingと正規化を行った384次元ベクトルを作成します。その後、コサイン類似度で意味の近さを計算し、関連度が高い5件を表示しています。用語ページへのリンクを返すことで、利用者が正式な用語名を知らなくても、質問に近い解説へ移動できるようにしています。
all-MiniLM-L6-v2との違い
all-MiniLM-L6-v2も384次元の文章ベクトルを生成できる小型モデルですが、公式モデルカードでは英語のSentence-Transformersモデルとして説明されています。multilingual-e5-smallは多言語データで継続学習され、公式説明では100言語を扱えるとされています。ただし、低リソース言語では性能が下がる可能性も明記されています。モデル名や次元数だけで決めず、実際に扱う言語と検索対象を使って結果を比べることが重要です。
当社の見解
当社はAI用語集の意味検索にXenova/multilingual-e5-smallを実装し、本番サイトで運用しています。検索語と用語説明の役割を分け、384次元への変換、mean pooling、正規化、コサイン類似度の計算をブラウザ内で行い、上位5件を個別用語ページへのリンクとして表示しています。この実装により、正式な用語名と完全一致しない質問からも関連する解説へ移動できる導線を用意しました。この経験から、意味検索モデルは一般的な評価だけで選ばず、日本語の実際の検索文と自社の用語説明を使い、検索結果と導線を一緒に検証する必要があると判断しています。
