Attention Sinksとは
ATTENTION SINKS
読み: Attention Sinks
Attention Sinksとは、LLMにおいて、文脈がどれほど長くなっても処理の安定性を保つために、特定のトークンを保持しておく仕組みを指す
読み: Attention Sinks
長文生成時の出力崩れを防ぐ技術である。

読み: Attention Sinks
長文生成時の出力崩れを防ぐ技術である。