Instruction Gapとは
Instruction Gapとは、AIが一般的な指示には高精度で応えるのに、特定の細かいルールやカスタム指示を守りきれなくなる現象
読み: インストラクションギャップ
ルールを増やすほど個別の遵守率が下がる反比例の関係が確認されている。企業のAI実務導入における主要な障壁。
かんたんに言うと
「300文字以内で」「JSON形式で」と指示しているのに、AIが勝手に文字数をオーバーしたり、余計な挨拶文を付けたりする現象。ルールが多いほど起きやすい。
3つの違反形態
Content Scope（範囲の逸脱）: 「資料の範囲内で回答せよ」という指示を無視して内部知識を混ぜる。Format Violations（書式の無視）: JSON形式や文字数制限を守れない。Tone and Style（トーンの不一致）: ブランドボイスの指定を無視して汎用的なAI口調に戻る。
ルールを増やすほど個別の遵守率が下がる。プロンプトが長すぎるとAIが優先順位をつけられなくなる。
解決アプローチ
Few-shotで「ルールを守った回答例」を含めると遵守率が劇的に改善する。DSPyなどのプロンプト最適化ツールで指示と意図の距離を自動調整する手法も主流に。
MARCHのように複数エージェントで回答とルールチェックを独立させる方法も有効。当社のhookシステムも、Instruction Gapを構造的に防ぐために設計されたもの。
当社の見解
当社はOpenAI APIを完全廃止し、EmbeddingもLLMも全てローカルで稼働させている（2026年4月時点）。これにより月額のAPI費用がゼロになっただけでなく、機密情報や顧客データを外部に送信せずにAI処理できるようになった。クライアントのログデータをマスキングなしでそのまま分析に回せるのは、ローカルLLMだからこそ実現できる。2026年4月にはOllama常駐実行（CPU 25%、GPU 30%を常時占有）を廃止し、FastEmbed（ONNX Runtime）による非常駐型推論に移行。処理が必要な瞬間だけプロセスを起動し、完了後に即座に終了する設計で、アイドル時のリソース消費をゼロにした。あえて一般的なデスクトップPC環境で複数のローカルLLMを実機検証した経験から言えることは、ベンチマークスコアと実務での使い勝手、そして常駐時のリソース消費は全て別の指標だということだ。