Token Usageとは
TOKEN USAGE
読み: トークンユーセージ
Token Usageとは、大規模言語モデル（LLM）を使用する際に、入力と出力で使用されるトークンの総数を指す
読み: トークンユーセージ
トークンとは何か
大規模言語モデルは、テキストを直接理解するのではなく、トークンと呼ばれる単位に分割して処理する。トークンは、英語では一般的に単語に近い単位となるが、日本語では文字や単語の一部となる場合がある。例えば、「こんにちは」という言葉は、3つのトークンに分割されるかもしれない。トークンの分割方法は、使用するモデルによって異なるため、注意が必要である。
Token Usageの重要性
Token Usageは、主にコストとパフォーマンスに影響を与える。多くのLLMサービスでは、使用したトークン数に応じて料金が課金されるため、Token Usageを削減することでコストを抑えることができる。また、モデルによっては、一度に処理できるトークン数に上限があるため、長すぎるプロンプトはエラーの原因となる。そのため、Token Usageを意識したプロンプト設計が重要になる。
Token Usageの削減方法
Token Usageを削減するためには、プロンプトを簡潔にすることが有効である。不要な情報を削除したり、指示を明確にすることで、モデルが処理するトークン数を減らすことができる。また、モデルによっては、トークン数を削減するためのテクニックや設定が用意されている場合がある。例えば、要約機能を利用したり、特定の単語を省略したりすることで、Token Usageを削減できる可能性がある。