RAG
読み: ラグ
RAGとは検索で嘘を防ぐAI技術
RAGは大規模言語モデルに外部データベースの検索機能を組み合わせることで自社の独自データや最新情報に基づいた正確な回答を生成しAIの嘘を防ぐ技術。単体では不可能な社内規定や未公開データの参照を可能にする。
かんたんに言うと
記憶喪失の天才学者が、常に最新の専門書が揃った図書館の司書から必要なページだけを渡されて回答を作成するような仕組みである。
学習データの外にある最新情報をLLMに渡すRAGの基本概念
ChatGPTの裏側で動くLLMは、学習時点のデータしか知らない。昨日発表された新製品のスペックを聞いても平気で嘘をつく。これがハルシネーションである。
業務でこの嘘は致命傷になる。
そこでRAGの出番となる。ユーザーの質問に対して、まず外部のデータベースから関連するテキストを検索し、その結果をLLMに渡して回答を作らせる。モデル自体を再学習させることなく、最新情報や社内の非公開データを前提とした回答を引き出せる。
ただ、何でもかんでもRAGにすればいいわけではない。検索対象のデータがゴミなら、出力される回答もゴミになる。
質問入力から回答生成までの技術的な仕組み
裏側で起きていることは意外と泥臭い。
まず、社内のPDFやWord文書を細かく分割し、エンベディングという処理で数値の配列に変換する。これをベクトルデータベースに格納しておく。PineconeやWeaviateあたりがよく使われる。
ユーザーが質問を入力すると、その質問文も同じく数値化され、データベース内で最も意味が近いテキスト片が検索される。
見つかったテキスト片を「以下の情報を参考にして回答せよ」という指示とともにLLMへ投げる。これがプロンプトエンジニアリングの一環である。検索精度が低ければ的外れなテキストが渡され、LLMはそれを元に堂々と間違った回答を生成する。検索と生成、どちらのチューニングに時間を割くべきか、現場では常に判断が分かれる。
法務や経理における具体的な活用シーンと代表的なツール
法務部門での契約書チェックや、経理部門での複雑な経費精算ルールの照会でRAGは真価を発揮する。過去の膨大な判例や社内規定を正確に引っ張ってくる必要があるからである。
ツール選びも重要になる。
クラウド環境に依存するならAzure OpenAI Serviceの「On your data」機能が手っ取り早い。AWS派ならAmazon Qが社内システムとの連携に強い。最近はGleanのようなエンタープライズ検索に特化したSaaSも台頭してきた。
自社で一から組むか、こうしたマネージドサービスに乗るか。運用コストを考えると悩ましい。
導入によって得られる恩恵と技術的な限界
最大の恩恵は、ファインチューニングという泥沼を避けられること。モデル自体の重みを更新する作業は計算リソースを食い潰す上に、特定の知識を正確に覚えさせるのは至難の業である。RAGならデータベースの中身を差し替えるだけで最新情報に追従できる。
しかし限界もある。
検索対象が増えれば増えるほど、ベクトル検索の精度は落ちる。さらに、検索したテキストをLLMに渡すたびにトークンを消費するため、APIコストが跳ね上がる。権限管理をミスすれば、役員報酬のデータが一般社員のチャット画面に表示されるといった情報漏洩のリスクもつきまとう。
自社に導入すべきかを見極めるための判断基準
結局のところ、自社のデータはAIに読ませる価値があるのか。
ファイルサーバーに眠る議事録の半分はタイトルすら適当で、中身は誰の役にも立たない。そんな状態でPoCを回しても、検索結果にノイズが混じるだけで終わる。データガバナンスが崩壊している組織にRAGを導入しても魔法は起きない。
ROIをどう算定するかも頭の痛い問題である。検索時間が1日10分減ったとして、それが本当に利益に直結するのか。
まずは社内のデータ整備状況を直視してほしい。AIの前に、人間が検索して見つけられないデータは、AIにも見つけられないのだから。
当社の見解
当社はAI長期記憶システムを自社開発・運用している。開発のきっかけは、AIと経営戦略の壁打ちで出した結論がセッション切れで消えたことで絶望を感じた。1日かけて議論してきたことを振り返り、では事業計画書に落とし込むように指示を出したところ、「そのような記録はありません」と言われたことで、強烈な危機感を覚えこれは何としても解決しなければならない問題だと感じた。記憶がないAIは毎朝記憶喪失になる新入社員と同じだ。記憶があるAIは、前提条件を理解した上で本題に入れる。短いプロンプトで済むようになり、「前に言ったように実行して」と曖昧で短いプロンプトでも業務を遂行してくれる。同じことを繰り返し伝える回数も減り、開発業務でも同じミスを繰り返しにくくなり、人間の手戻りが減り、ストレスも減る。AIで本当に業務の質を上げるならば、記憶はマストである。
同じ失敗を二度としないAIエージェント
今のAIは、聞けば何でも答えてくれます。
でも、セッションが切れた瞬間に前回の失敗を忘れます。
当社が開発しているAIは、過去の経緯を念頭に置いて、
聞かれる前に「それは前回うまくいきませんでした」と声をかけます。
人間にも同じ失敗をさせず、AI自身も繰り返しません。
古参の社員が横にいるように、黙っていても気づいてくれる。
それが、当社が考える本当のAI社員です。