ゴールデンセットとは
GOLDEN SET
読み: ゴールデンセット
ゴールデンセットとは、人間の専門家が「これが正解だ」と保証した評価用の基準データセット
読み: ゴールデンセット
AIの性能を客観的に測定するための「ものさし」であり、グラウンド・トゥルースとも呼ばれる。
かんたんに言うと
学校のテストでいう「模範解答集」。AIの出力をこの模範解答と照合して、何問正解したかで成績をつける。
RAG評価の3点セットとシルバーセット
RAGの評価では3要素で構成する。想定質問、専門家の期待回答、根拠ドキュメント。開発初期にはAIが生成するシルバーセットを使い、リリース判断には人間が保証したゴールデンセットで最終確認する。
ハルシネーション検知と継続更新
人間の「真実」とAI出力を照合しハルシネーションを定量的に検出する。ゴールデンセットは「生き物」で、AI進化に合わせて更新し続ける。学習データに含めると「カンニング」になり本当の性能が測れなくなる。
当社の見解
当社はOpenAI APIを完全廃止し、EmbeddingもLLMも全てローカルで稼働させている（2026年4月時点）。これにより月額のAPI費用がゼロになっただけでなく、機密情報や顧客データを外部に送信せずにAI処理できるようになった。クライアントのログデータをマスキングなしでそのまま分析に回せるのは、ローカルLLMだからこそ実現できる。2026年4月にはOllama常駐実行（CPU 25%、GPU 30%を常時占有）を廃止し、FastEmbed（ONNX Runtime）による非常駐型推論に移行。処理が必要な瞬間だけプロセスを起動し、完了後に即座に終了する設計で、アイドル時のリソース消費をゼロにした。あえて一般的なデスクトップPC環境で複数のローカルLLMを実機検証した経験から言えることは、ベンチマークスコアと実務での使い勝手、そして常駐時のリソース消費は全て別の指標だということだ。