L2正則化とは
L2 REGULARIZATION
読み: エルニセイソクカ
L2正則化とは、機械学習モデルの過学習を抑制するための手法の一つである
読み: エルニセイソクカ
モデルの複雑さを罰することで、汎化性能の向上を目指す。リッジ回帰とも呼ばれる。
L2正則化の仕組み
L2正則化では、損失関数に正則化項を加える。この正則化項は、モデルのパラメータ（重み）の二乗和に比例する。パラメータの絶対値が大きいほど、ペナルティが大きくなるため、モデルはより小さなパラメータを持つように学習される。これにより、モデルの複雑さが抑えられ、過学習を防ぐことができる。
L1正則化との違い
L1正則化も過学習を防ぐための手法だが、L2正則化とは異なるアプローチを取る。L1正則化では、パラメータの絶対値の和を正則化項として使用する。L1正則化は、一部のパラメータを完全に0にすることで、特徴選択の効果をもたらす。一方、L2正則化は、パラメータを0に近づけるものの、完全に0にすることは少ない。
ハイパーパラメータの調整
L2正則化の効果は、正則化の強さを調整するハイパーパラメータ（通常はλまたはαで表される）に依存する。このハイパーパラメータを大きくすると、正則化の効果が強まり、モデルはより単純になる。逆に、ハイパーパラメータを小さくすると、正則化の効果が弱まり、モデルはより複雑になる。適切なハイパーパラメータの値は、交差検証などの手法を用いて決定する必要がある。
L2正則化とL1正則化の比較
| 比較項目 | L1正則化 | L2正則化 |
|---|---|---|
| ペナルティの与え方 | 重みの絶対値の和をペナルティ項とする絶対値評価アプローチを採用 | 重みの二乗和をペナルティ項とする数学的に滑らかな評価アプローチを採用 |
| 特徴量選択の有無 | 一部の無駄な重みが完全にゼロになるスパース性という強力な特性を持つ | 特定の重みを完全にゼロにはせず全体的に滑らかに小さく保つ特性を持つ |
| 外れ値への強さ | 影響度の低い無駄なパラメータを削減し自動で特徴量を選択させたい場合用 | 重みの爆発を防ぎ過学習を抑えモデル全体の安定性を高めたい場合に使用 |
| 計算コスト | 初期導入から実運用までの学習・運用コスト | 複雑なカスタマイズに応じた拡張的な運用コスト確保 |
| スパース性の強制 | シンプルなユースケースに適合し利用シナリオが限定的 | エンタープライズや複雑なビジネス要件等に適合する |
不要な特徴量を完全に切り捨てるかどうかで決めます。影響度の低い無駄なパラメータを削減してスパース性を得たいならL1、重みを滑らかに小さく保ちモデル全体の安定性を高めたいならL2が適しています。