オーバーヘッドとは
オーバーヘッドとは、本来の処理に加えて発生する付随的な計算コストやリソース消費を指す
読み: オーバーヘッド
本来の処理に加えて発生する付随的な計算コストやリソース消費を指す。AIシステムにおいては、モデルのロード時間、メモリ管理、プロセス間通信、ログ記録などが該当する。オーバーヘッドの大小がシステム全体の応答速度と運用コストを左右する。
かんたんに言うと
荷物を運ぶトラックに例えると、荷物そのものが「本来の処理」で、トラックの燃料代や高速料金が「オーバーヘッド」である。荷物を運ぶこと自体は同じでも、どのトラックを使うか、どのルートを通るかでオーバーヘッドは変わる。
AIシステムにおける主なオーバーヘッド
LLMの推論では、モデルのVRAMへのロード、トークンの前処理（トークナイゼーション）、KVキャッシュの管理、出力のデコードがオーバーヘッドとなる。RAGシステムでは、エンベディングの計算、ベクトルデータベースへの問い合わせ、検索結果のリランキングが加わる。
常駐型のサービス（Docker、データベースサーバー等）は、アイドル時にもCPU・メモリを消費し続ける。これがアイドルオーバーヘッドであり、インプロセス・ベクトル検索のような非常駐型アーキテクチャが注目される理由となっている。
オーバーヘッドを削減する代表的な手法
モデルの量子化はVRAM消費を削減する。KVキャッシュの最適化はメモリオーバーヘッドを抑える。バッチ推論は1リクエストあたりの固定コストを分散する。Ollamaのようなローカル推論エンジンでは、モデルのロード/アンロードのタイミング制御がオーバーヘッド管理の鍵となる。
同じ失敗を二度としないAIエージェント
今のAIは、聞けば何でも答えてくれます。
でも、セッションが切れた瞬間に前回の失敗を忘れます。
当社が開発しているAIは、過去の経緯を念頭に置いて、
聞かれる前に「それは前回うまくいきませんでした」と声をかけます。
人間にも同じ失敗をさせず、AI自身も繰り返しません。
古参の社員が横にいるように、黙っていても気づいてくれる。
それが、当社が考える本当のAI社員です。