Dense Retrievalとは
Dense Retrievalとは、情報を検索する手法の一つである
読み: デンスリトリーバル
情報を検索する手法の一つである。従来のキーワードマッチングに頼らず、クエリとドキュメントの意味的な類似性を捉えることに重点を置く。これにより、より関連性の高い情報を効率的に見つけ出すことが可能になる。
かんたんに言うと
Dense Retrievalは、言葉の意味を理解して検索する賢い方法である。
Dense Retrievalの仕組み
Dense Retrievalでは、クエリとドキュメントをそれぞれベクトルと呼ばれる数値の配列に変換する。この変換には、Transformerモデルなどの深層学習モデルが用いられることが多い。ベクトル空間上でクエリとドキュメントのベクトル間の距離を計算し、距離が近いものを関連性が高いと判断する。これにより、キーワードが一致しなくても、意味的に関連する情報を検索できる。
Sparse Retrievalとの違い
従来の検索手法であるSparse Retrieval（疎な検索）は、キーワードの一致に基づいて検索を行う。例えば、TF-IDFやBM25などが代表的な手法である。Sparse Retrievalは高速に検索できるという利点がある一方、キーワードが一致しないと関連性の高い情報を見逃す可能性がある。Dense Retrievalは、この問題を解決するために開発された。
Dense Retrievalの応用
Dense Retrievalは、質問応答システム、情報検索システム、レコメンデーションシステムなど、幅広い分野で応用されている。特に、大量のテキストデータから情報を効率的に検索する必要がある場合に有効である。近年では、大規模言語モデル（LLM）と組み合わせることで、より高度な検索が可能になっている。
同じ失敗を二度としないAIエージェント
今のAIは、聞けば何でも答えてくれます。
でも、セッションが切れた瞬間に前回の失敗を忘れます。
当社が開発しているAIは、過去の経緯を念頭に置いて、
聞かれる前に「それは前回うまくいきませんでした」と声をかけます。
人間にも同じ失敗をさせず、AI自身も繰り返しません。
古参の社員が横にいるように、黙っていても気づいてくれる。
それが、当社が考える本当のAI社員です。