Mixture of Depthsとは
MIXTURE OF DEPTHS
読み: Mixture-of-Depths
Mixture of Depthsとは、Mixture-of-Depthsは、LLMの計算過程において重要なトークンのみを選択的に処理することで、計算コストを抑えつつ推論能力を維持する技術である
読み: Mixture-of-Depths
モデルの深層部における計算の取捨選択を動的に行う手法を指す。
