Sleep time Computeとは
Sleep time Computeとは、Sleep-time Computeとは
読み: スリープタイムコンピュート
Lettaチームとuc Berkeleyが2025年に提唱。同等精度でテスト時の計算コストを約5倍削減する。
かんたんに言うと
試験中にその場で公式を思い出すのではなく、試験前に十分な予習をして知識を整理しておく。AIにも同じことをさせる技術。
Sleep-timeフェーズとTest-timeフェーズ
Sleep-timeフェーズではAIがソースコードや会話履歴を読み込み、次の質問を予測して文脈を構造化する。Test-timeフェーズでは整理済みの文脈を参照して即応答。
研究（arXiv:2504.13171）によると同等精度でテスト時計算コストを約5倍削減。数学的推論やコード解析では正答率が13%から18%向上（出典: arXiv 2025年4月）。
記憶システムとの連携
Lettaの3層メモリと組み合わせると、予習した知識を長期記憶に蓄積し次のセッションでも活用できる。待機時間の有効活用は低レイテンシAIの実現手段としても注目されている。
当社の見解
当社はOpenAI APIを完全廃止し、EmbeddingもLLMも全てローカルで稼働させている（2026年4月時点）。これにより月額のAPI費用がゼロになっただけでなく、機密情報や顧客データを外部に送信せずにAI処理できるようになった。クライアントのログデータをマスキングなしでそのまま分析に回せるのは、ローカルLLMだからこそ実現できる。2026年4月にはOllama常駐実行（CPU 25%、GPU 30%を常時占有）を廃止し、FastEmbed（ONNX Runtime）による非常駐型推論に移行。処理が必要な瞬間だけプロセスを起動し、完了後に即座に終了する設計で、アイドル時のリソース消費をゼロにした。あえて一般的なデスクトップPC環境で複数のローカルLLMを実機検証した経験から言えることは、ベンチマークスコアと実務での使い勝手、そして常駐時のリソース消費は全て別の指標だということだ。