Sliding KV Cacheとは

SLIDING KV CACHE
読み: Sliding KV Cache

Sliding KV Cacheとは、LLMの推論処理において、過去の文脈情報を保持するメモリ領域を一定範囲内に限定し、古い情報を順次破棄する技術である

読み: Sliding KV Cache

長大な文章を扱う際のメモリ消費を抑え、安定した動作を実現する仕組みを指す。

同じ失敗を二度としないAIエージェント

今のAIは、聞けば何でも答えてくれます。
でも、セッションが切れた瞬間に前回の失敗を忘れます。

当社が開発しているAIは、過去の経緯を念頭に置いて、
聞かれる前に「それは前回うまくいきませんでした」と声をかけます。
人間にも同じ失敗をさせず、AI自身も繰り返しません。

古参の社員が横にいるように、黙っていても気づいてくれる。
それが、当社が考える本当のAI社員です。

相談する