Prompt Lengthとは
Prompt Lengthとは、大規模言語モデル（LLM）に入力するプロンプトのテキスト量を指す
読み: プロンプト レングス
大規模言語モデル（LLM）に入力するプロンプトのテキスト量を指す。プロンプトが長くなるほど、モデルはより多くの情報を考慮して応答を生成できる可能性がある。しかし、長すぎるプロンプトは計算資源を消費し、応答の品質を低下させる可能性もある。
かんたんに言うと
簡単に言うと、多モーダルAIへの指示文の長さのことである。長すぎると逆に良くない場合もある。
プロンプト長の重要性
適切なプロンプト長は、LLMの性能を最大限に引き出すために重要である。短すぎるプロンプトでは、モデルに必要な情報が不足し、不正確な応答を生成する可能性がある。一方、長すぎるプロンプトは、モデルの注意を散漫にし、重要な情報を埋もれさせてしまうかもしれない。最適なプロンプト長は、タスクの複雑さやモデルの能力によって異なる。
プロンプト長とトークン
プロンプト長は、通常、トークン数で測定される。トークンとは、テキストを分割した最小単位であり、単語や句読点などが含まれる。LLMには、一度に処理できるトークン数の上限が設定されている。この上限を超えると、プロンプトが切り捨てられたり、エラーが発生したりする。
プロンプト長の調整
プロンプト長を調整する際には、タスクの目的とモデルの能力を考慮する必要がある。複雑なタスクでは、より詳細な指示を与えるために、長いプロンプトが必要になる場合がある。しかし、モデルのトークン数上限を超えないように注意する必要がある。プロンプトを短くする際には、不要な情報を削除したり、指示を簡潔にしたりするなどの工夫が考えられる。
同じ失敗を二度としないAIエージェント
今のAIは、聞けば何でも答えてくれます。
でも、セッションが切れた瞬間に前回の失敗を忘れます。
当社が開発しているAIは、過去の経緯を念頭に置いて、
聞かれる前に「それは前回うまくいきませんでした」と声をかけます。
人間にも同じ失敗をさせず、AI自身も繰り返しません。
古参の社員が横にいるように、黙っていても気づいてくれる。
それが、当社が考える本当のAI社員です。