Token Usageとは
Token Usageとは、大規模言語モデル（LLM）を使用する際に、入力と出力で使用されるトークンの総数を指す
読み: トークンユーセージ
大規模言語モデル（LLM）を使用する際に、入力と出力で使用されるトークンの総数を指す。トークンは、テキストを分割した単位であり、単語や句読点、記号などが含まれる。Token Usageを理解することは、LLMの利用コストを把握し、効率的なプロンプト設計を行う上で重要である。
トークンとは何か
大規模言語モデルは、テキストを直接理解するのではなく、トークンと呼ばれる単位に分割して処理する。トークンは、英語では一般的に単語に近い単位となるが、日本語では文字や単語の一部となる場合がある。例えば、「こんにちは」という言葉は、3つのトークンに分割されるかもしれない。トークンの分割方法は、使用するモデルによって異なるため、注意が必要である。
Token Usageの重要性
Token Usageは、主にコストとパフォーマンスに影響を与える。多くのLLMサービスでは、使用したトークン数に応じて料金が課金されるため、Token Usageを削減することでコストを抑えることができる。また、モデルによっては、一度に処理できるトークン数に上限があるため、長すぎるプロンプトはエラーの原因となる。そのため、Token Usageを意識したプロンプト設計が重要になる。
Token Usageの削減方法
Token Usageを削減するためには、プロンプトを簡潔にすることが有効である。不要な情報を削除したり、指示を明確にすることで、モデルが処理するトークン数を減らすことができる。また、モデルによっては、トークン数を削減するためのテクニックや設定が用意されている場合がある。例えば、要約機能を利用したり、特定の単語を省略したりすることで、Token Usageを削減できる可能性がある。
同じ失敗を二度としないAIエージェント
今のAIは、聞けば何でも答えてくれます。
でも、セッションが切れた瞬間に前回の失敗を忘れます。
当社が開発しているAIは、過去の経緯を念頭に置いて、
聞かれる前に「それは前回うまくいきませんでした」と声をかけます。
人間にも同じ失敗をさせず、AI自身も繰り返しません。
古参の社員が横にいるように、黙っていても気づいてくれる。
それが、当社が考える本当のAI社員です。