Router
読み: ルーター
RouterとはAI振り分けの要
Routerはユーザーの要求内容を解析し最適なAIモデルや処理経路へ自動で振り分けるAIエージェントの司令塔となるコンポーネントである。入力されたプロンプトの意図を解釈し適切な大規模言語モデルや外部APIへルーティングする役割を担う。
かんたんに言うと
大企業の総合受付のようなものである。来客の要件を聞き取り、法務部へ案内すべきか、経理部へ通すべきか、あるいは受付の回答だけで済ませるかを瞬時に判断して適切な担当窓口へ誘導する。
複数AIモデルを使い分けるRouterの司令塔としての役割
ユーザーが入力したプロンプトをそのまま単一のLLMに投げるだけのシステムは、もはや実務では通用しない。Routerは、リクエストの意図を解釈し、どのモデルやツールに処理を任せるべきかを判断するコンポーネントである。例えば法務部門の契約書チェックシステムを想像してほしい。単純な誤字脱字の修正なら軽量なClaude 3 Haikuで十分である。しかし、損害賠償条項の妥当性を問うような複雑な推論にはGPT-4oを割り当てる必要がある。この振り分けを静的なルールベースで行うか、あるいはLLM自身に意図分類させるかは設計者の腕の見せ所である。コストと精度のバランスをどう取るか、現場では常に悩ましい。
意図分類によるAPIルーティングの内部プロセス
Routerの内部では、自然言語処理を用いた意図分類が走っている。ユーザーからの入力テキストをベクトル化し、事前に定義されたカテゴリと照合して最も近い経路を選択する手法が一般的である。最近ではSemantic Routerのような専用ライブラリも登場し、処理の遅延を抑えつつ高精度なルーティングが可能になってきた。ただ、ここで落とし穴がある。ユーザーの入力が常に明確だとは限らない。複数の意図が混在するプロンプトを受け取った場合、Routerが混乱して見当違いのAPIを叩く事故は日常茶飯事である。経理の経費精算ポリシーを聞かれているのに、なぜか社内食堂のメニュー検索ツールを呼び出してしまう。こうした誤作動をどう防ぐかは、運用において判断が分かれる。
法務や経理の現場における実装とフレームワーク
実務でRouterを実装する際、LlamaIndexやSemantic Kernelといったフレームワークがよく使われる。ある製造業の経理部門では、社員からの問い合わせ対応にDifyを用いたワークフローを構築した。領収書の画像が添付されていればOCRツールとGPT-4 Visionの経路へ、単なる締め日の確認なら社内データベースの検索経路へRouterが振り分ける。これにより、高額なモデルのAPIコールを最小限に抑えつつ、必要な回答精度を維持している。すべてを巨大なモデルに任せれば楽かもしれない。だが、毎月のAPI利用料の請求書を見た途端、その考えは吹き飛ぶはずである。
APIコストの抑制とレイテンシ増大のトレードオフ
簡単なタスクをGPT-3.5-TurboやClaude 3 Haikuなどの軽量モデルへ回すことで、運用コストは劇的に下がる。しかし、Routerを挟むことによるレイテンシの増大は無視できない。振り分けの判断自体に時間がかかっては、ユーザー体験は著しく損なわれる。特に、LLMを使ってルーティングの判断を下す動的ルーティングを採用した場合、最初の応答が返ってくるまでに数秒のタイムラグが生じる。スピードが命の営業向けチャットボットなどでは、この遅延が致命傷になりかねない。精度を上げるために複雑なRouterを組むか、速度を優先してシンプルな条件分岐に留めるか。
複数モデルの使い分けがもたらす運用上の評価軸
すべてのシステムにRouterが必要なわけではない。単一のタスクしかこなさない社内ツールであれば、最初からモデルを固定しておけば済む話である。わざわざPoCの段階で複雑なルーティング機構を盛り込み、開発期間を延ばす意味はない。導入を検討すべきは、ユーザーの要求がバラバラで、かつコストの最適化が急務となっているフェーズである。情報システム部門が全社横断的なAI基盤を構築するようなケースでは、Routerの設計がシステムのROIを左右する。結局のところ、自社のユースケースにおいて誰に何を答えさせるかという要件定義から逃げることはできない。ツールを導入すればすべて解決するような魔法は、この業界には存在しないのである。
当社の見解
当社ではClaude Code・Antigravity・Codexの3つのAIエージェントを日常業務で併用している。記憶を共有しているため、別のAIに同じ説明を繰り返す必要がない。ただし、記憶共有だけでは足りなかった。一方のAIが他方の成果物を勝手に修正して壊す事故が起きた。これを受けてファイル所有権制度を導入し、どのAIがどのファイルを所有するかを定義した。AIの自主性に頼らず、仕組みで上書きや巻き戻りを防いでいる。
同じ失敗を二度としないAIエージェント
今のAIは、聞けば何でも答えてくれます。
でも、セッションが切れた瞬間に前回の失敗を忘れます。
当社が開発しているAIは、過去の経緯を念頭に置いて、
聞かれる前に「それは前回うまくいきませんでした」と声をかけます。
人間にも同じ失敗をさせず、AI自身も繰り返しません。
古参の社員が横にいるように、黙っていても気づいてくれる。
それが、当社が考える本当のAI社員です。