L1正則化とは
L1 REGULARIZATION
読み: エルイチセイソクカ
L1正則化とは、機械学習モデルの過学習を抑制するための正則化手法の一つである
読み: エルイチセイソクカ
モデルの複雑さを罰することで、汎化性能の向上を目指す。Lasso回帰と呼ばれる手法で用いられることが多い。
かんたんに言うと
L1正則化は、モデルの複雑さを抑えて、予測がより正確になるようにするテクニックのこと。不要な変数を減らす効果もある。
L1正則化の仕組み
L1正則化では、モデルのパラメータ（重み）の絶対値の和を損失関数に加える。これにより、重要度の低いパラメータが0に近づきやすくなる。結果として、モデルはより単純になり、過学習のリスクを低減できる。この特徴から、L1正則化はスパースモデリングに適していると言える。
L2正則化との違い
L1正則化と並んでよく用いられる正則化手法にL2正則化がある。L2正則化は、パラメータの二乗和を損失関数に加える。L2正則化はパラメータを0に近づけるものの、完全に0にすることは少ない。一方、L1正則化はパラメータを0にするため、特徴選択の効果が期待できる。
L1正則化のメリットとデメリット
L1正則化のメリットは、モデルの解釈性を高められる点である。不要な特徴量を削減することで、重要な特徴量に絞り込むことができる。デメリットとしては、最適化が難しい場合があることが挙げられる。また、特徴量間に相関がある場合、選択される特徴量が安定しないことがある。
L1正則化とL2正則化の比較
| 比較項目 | L1正則化 | L2正則化 |
|---|---|---|
| ペナルティの与え方 | 重みの絶対値の和をペナルティ項とする絶対値評価アプローチを採用 | 重みの二乗和をペナルティ項とする数学的に滑らかな評価アプローチを採用 |
| 特徴量選択の有無 | 一部の無駄な重みが完全にゼロになるスパース性という強力な特性を持つ | 特定の重みを完全にゼロにはせず全体的に滑らかに小さく保つ特性を持つ |
| 外れ値への強さ | 影響度の低い無駄なパラメータを削減し自動で特徴量を選択させたい場合用 | 重みの爆発を防ぎ過学習を抑えモデル全体の安定性を高めたい場合に使用 |
| 計算コスト | 初期導入から実運用までの学習・運用コスト | 複雑なカスタマイズに応じた拡張的な運用コスト確保 |
| スパース性の強制 | シンプルなユースケースに適合し利用シナリオが限定的 | エンタープライズや複雑なビジネス要件等に適合する |
不要な特徴量を完全に切り捨てるかどうかで決めます。影響度の低い無駄なパラメータを削減してスパース性を得たいならL1、重みを滑らかに小さく保ちモデル全体の安定性を高めたいならL2が適しています。