Frequency Penaltyとは
Frequency Penaltyとは、大規模言語モデル(LLM)における生成テキストの多様性を制御するためのパラメータの一つである
読み: フリークエンシーペナルティ
大規模言語モデル(LLM)における生成テキストの多様性を制御するためのパラメータの一つである。特定の単語やフレーズが過度に使用されるのを防ぎ、より自然で創造的なテキスト生成を促す。このペナルティを調整することで、モデルの出力のバランスを調整できる。
かんたんに言うと
Frequency Penaltyは、多モーダルAIが同じ言葉を使いすぎるのを防ぐための調整機能である。これを使うことで、AIはもっと色々な言葉を使って文章を作れるようになる。
Frequency Penaltyの仕組み
Frequency Penaltyは、生成されたテキストにおける単語の出現頻度に基づいてペナルティを課す仕組みである。特定の単語が既に出現している場合、その単語を再度生成する確率が低下する。このペナルティの強さを調整することで、モデルの出力における単語の繰り返しを制御できる。ペナルティが強いほど、モデルはより多様な単語を使用する傾向がある。
PositiveとNegativeのFrequency Penalty
Frequency Penaltyには、PositiveとNegativeの2種類が存在する。Positive Frequency Penaltyは、既に生成された単語の出現頻度に応じてペナルティを課す。一方、Negative Frequency Penaltyは、まだ生成されていない単語の出現を促進する。通常はPositive Frequency Penaltyが使用されることが多い。
Frequency Penaltyの調整
Frequency Penaltyの値は、0から2の範囲で調整可能である。0に近いほどペナルティは弱くなり、モデルはより頻繁に同じ単語を使用する可能性がある。2に近いほどペナルティは強くなり、モデルはより多様な単語を使用するようになる。適切な値は、タスクやモデルによって異なるため、実験を通じて最適な値を見つける必要がある。
同じ失敗を二度としないAIエージェント
今のAIは、聞けば何でも答えてくれます。
でも、セッションが切れた瞬間に前回の失敗を忘れます。
当社が開発しているAIは、過去の経緯を念頭に置いて、
聞かれる前に「それは前回うまくいきませんでした」と声をかけます。
人間にも同じ失敗をさせず、AI自身も繰り返しません。
古参の社員が横にいるように、黙っていても気づいてくれる。
それが、当社が考える本当のAI社員です。