コンテキスト
読み: コンテキスト
コンテキストとはAIの文脈理解
コンテキストはAIが応答を生成する際に参照する文脈情報の総称である。システムプロンプト、過去の会話履歴、外部から注入された参考情報など、モデルが「今何について話しているか」を判断するための材料がすべてコンテキストに含まれる。
かんたんに言うと
AIに渡す「前提情報」のことである。人間同士の会話で「話の流れ」や「前提知識」がないと会話が成立しないのと同じで、AIも文脈なしでは的確な応答を返せない。
AIの応答精度を左右するコンテキストウィンドウという制約
すべてのLLMにはコンテキストウィンドウと呼ばれる入力上限がある。これは一度に処理できるトークン数の上限であり、モデルの設計時に決まる。
GPT-4oは128Kトークン、Claude 3.5 Sonnetは200Kトークン、Gemini 1.5 Proは最大200万トークンに対応している。数字だけ見ると十分に思えるが、日本語は英語に比べてトークン効率が悪い。同じ文章量でもトークン消費が1.5倍から2倍になることがある。
社内の業務マニュアル200ページをまるごと放り込もうとすると、あっさり上限に達する。コンテキストは無限ではない。
Lost in the Middleと呼ばれる注意力の偏り
2023年にスタンフォード大学の研究チームが発表した論文で、LLMはコンテキストの先頭と末尾の情報に注意を集中させ、中間部分の情報を見落とす傾向があることが示された。これがLost in the Middle問題である。
20件の文書をコンテキストに入れた場合、正解が1件目や20件目にあれば正答率が高いが、10件目あたりに埋もれていると精度が大きく落ちる。
つまり、コンテキストに情報を詰め込めば詰め込むほど賢くなるわけではない。むしろ関連性の高い情報だけを選んで、適切な順序で配置する工夫が求められる。
<a href="/ai-glossary/rag/">RAG</a>によるコンテキストの動的構築
コンテキストウィンドウの制約を回避する代表的な手法がRAGである。ユーザーの質問に関連する情報だけをベクトルデータベースから検索し、必要な分だけコンテキストに注入する。
静的に大量の文書を詰め込むのではなく、質問ごとにコンテキストの中身を動的に入れ替える。これにより、限られたウィンドウサイズでも効率的に外部知識を活用できる。
とはいえ、検索精度が低ければ無関係な情報がコンテキストを埋め尽くす。セマンティック検索のチューニングがコンテキストの質を左右する。
<a href="/ai-glossary/prompt-engineering/">プロンプトエンジニアリング</a>とコンテキスト設計
コンテキストの質はプロンプトの設計で大きく変わる。システムプロンプトで役割を定義し、Few-shotの例示で回答形式を示し、ユーザーの過去の発言を会話履歴として保持する。これらすべてがコンテキストの構成要素である。
実務では「何を入れるか」より「何を入れないか」の判断が重要になる。不要な会話履歴を引きずると、トークンを浪費するだけでなく、モデルが古い文脈に引きずられて的外れな応答を返す原因にもなる。
会話が長くなるほどコンテキスト管理の難易度は上がる。要約して圧縮するか、古い履歴を切り捨てるか、外部の記憶システムに退避させるか。正解は用途によって異なる。
コンテキスト長の拡大がもたらす変化と実務への影響
2024年以降、100万トークン超のコンテキストウィンドウを持つモデルが登場し始めた。書籍1冊をまるごと入力できる規模である。
これにより「検索してから渡す」というRAGの発想自体が不要になるのではないか、という議論がある。全文を放り込めるなら検索の手間を省ける。
ただし現実には、コンテキストが長くなるほど推論コストは増大し、応答速度は低下する。Lost in the Middleの問題も完全には解消されていない。長いコンテキストを「処理できる」ことと「正確に活用できる」ことは別の話である。
当社の見解
当社はAI長期記憶システムを自社開発・運用している。開発のきっかけは、AIと経営戦略の壁打ちで出した結論がセッション切れで消えたことで絶望を感じた。1日かけて議論してきたことを振り返り、では事業計画書に落とし込むように指示を出したところ、「そのような記録はありません」と言われたことで、強烈な危機感を覚えこれは何としても解決しなければならない問題だと感じた。記憶がないAIは毎朝記憶喪失になる新入社員と同じだ。記憶があるAIは、前提条件を理解した上で本題に入れる。短いプロンプトで済むようになり、「前に言ったように実行して」と曖昧で短いプロンプトでも業務を遂行してくれる。同じことを繰り返し伝える回数も減り、開発業務でも同じミスを繰り返しにくくなり、人間の手戻りが減り、ストレスも減る。AIで本当に業務の質を上げるならば、記憶はマストである。
同じ失敗を二度としないAIエージェント
今のAIは、聞けば何でも答えてくれます。
でも、セッションが切れた瞬間に前回の失敗を忘れます。
当社が開発しているAIは、過去の経緯を念頭に置いて、
聞かれる前に「それは前回うまくいきませんでした」と声をかけます。
人間にも同じ失敗をさせず、AI自身も繰り返しません。
古参の社員が横にいるように、黙っていても気づいてくれる。
それが、当社が考える本当のAI社員です。