Token Limitとは
Token Limitとは、大規模言語モデル（LLM）が一度に処理できるテキストの最大量を指す
読み: トークンリミット
大規模言語モデル（LLM）が一度に処理できるテキストの最大量を指す。この制限は、モデルに入力できるプロンプトの長さや、モデルが出力できるテキストの長さに影響を与える。Token Limitを理解することは、LLMを効果的に活用するために重要である。
Tokenとは
Token（トークン）は、テキストを分割した単位であり、単語、文字、または単語の一部である場合がある。例えば、「おはようございます」という文章は、形態素解析によって複数のトークンに分割される。大規模言語モデルは、このトークン単位でテキストを処理し、学習する。Token Limitは、このトークン数で表される。
Token Limitの影響
Token Limitを超過するテキストを処理しようとすると、エラーが発生したり、テキストの一部が切り捨てられたりする可能性がある。そのため、プロンプトを作成する際には、Token Limitを考慮し、必要な情報を適切に含める必要がある。また、Token Limitは、モデルの性能や応答時間に影響を与える可能性がある。
Token Limitの確認方法
各大規模言語モデルには、それぞれ異なるToken Limitが設定されている。OpenAIのGPTモデルやGoogleのGeminiモデルなど、利用するモデルのドキュメントやAPIリファレンスを参照することで、Token Limitを確認できる。また、テキストをトークンに分割し、トークン数をカウントするツールも存在する。
同じ失敗を二度としないAIエージェント
今のAIは、聞けば何でも答えてくれます。
でも、セッションが切れた瞬間に前回の失敗を忘れます。
当社が開発しているAIは、過去の経緯を念頭に置いて、
聞かれる前に「それは前回うまくいきませんでした」と声をかけます。
人間にも同じ失敗をさせず、AI自身も繰り返しません。
古参の社員が横にいるように、黙っていても気づいてくれる。
それが、当社が考える本当のAI社員です。