CRM・ヘルプデスクSaaS開発会社のLLM設計

LLMエージェント

CRM・ヘルプデスクSaaS開発会社のLLM設計

問題

ナレッジデータは蓄積されているにもかかわらず、因果関係を含む回答ができず精度は50%未満でした。チューニングリソースの不足に加え、精度改善のPDCAサイクルとオペレーションマニュアルも未整備でした。

課題

回答精度95%以上を達成し、継続的に精度を改善できる信頼性の高いAIエージェントにすることでした。

実施内容

検索判定と会話制御の責務分離を実施しました。全文検索APIのシノニム辞書設計と検索対象属性のチューニングでノイズを削減しました。ゴールデンセットによる回答精度のベンチマーク検証と、判定根拠のログトレース設計を構築しました。

成果

回答精度 95%以上 を達成しました。ログデータのフィードバックループにより改善サイクルを高速化しました。蓄積ログと設計仕様からオペレーションマニュアルを自動生成しました。

LLMナレッジ検索エンジン精度改善

問題

蓄積されたナレッジデータから因果関係を含む回答ができず、LLM回答精度は50%未満でした。精度改善のPDCAサイクルとオペレーションマニュアルも未整備で、改善の仕組み自体が存在しませんでした。

課題

回答精度95%以上を達成し、継続的に精度を改善できる信頼性の高いAIエージェントにすることでした。

実施内容

検索判定と会話制御を責務分離し、全文検索APIのシノニム辞書・検索対象属性をチューニングしました。ゴールデンセットによるベンチマーク検証と判定根拠のログトレース基盤を構築しました。

成果

回答精度 50%未満 → 95%以上 を達成しました。ログデータのフィードバックループにより改善サイクルを自走化しました。