L2正則化(Ridge)とは
L2RIDGE
読み: エルニセイソクカ
L2正則化(Ridge)とは、L2正則化は、機械学習モデルの過学習を抑制するための手法の一つである
読み: エルニセイソクカ
モデルの複雑さを罰することで、汎化性能の向上を目指す。特に、線形回帰モデルにおいて、Ridge回帰として知られている。
かんたんに言うと
L2正則化は、モデルの重みを小さくすることで、複雑すぎるモデルを抑制する手法である。
L2正則化の仕組み
L2正則化では、損失関数に正則化項を加える。この正則化項は、モデルの重みの二乗和に比例する。重みが大きいほど、正則化項の値が大きくなり、損失関数全体の値が大きくなるため、モデルは重みを小さくするように学習される。これにより、モデルの複雑さが抑えられ、過学習を防ぐことができる。
L1正則化との違い
正則化にはL1正則化とL2正則化が存在する。L1正則化は、重みの絶対値の和を正則化項として用いる。L1正則化は、L2正則化よりも多くの重みを0にする傾向があるため、特徴選択の効果が期待できる。一方、L2正則化は、重みを均等に小さくする傾向がある。
ハイパーパラメータの調整
L2正則化の効果は、正則化項の係数(λ、ラムダ)によって調整される。λが大きいほど正則化の効果が強くなり、モデルはより単純になる。適切なλの値は、交差検証などの手法を用いて決定する必要がある。λの調整は、モデルの性能に大きな影響を与えるため、重要な作業である。
