Lasso回帰と他の回帰の比較表

Lasso回帰は比較的新しい方法で、L1正則化を行うRidge回帰は少し古く、L1正則化とL2正則化を組み合わせるElastic NetはLasso回帰より後の年代です。この2つに最小二乗法を加えた2種とLasso回帰を比較します。

最小二乗法
- 利点: 最も一般的な手法で、解釈が容易で計算が高速。
- 欠点: 外れ値、多重共線性に弱い。
Ridge回帰
- 誤差の二乗和に重みの二乗和を加えて最小化するL2正則化をで係数を推定する。
- 利点: 多重共線性に強く、汎化性能が高い。
- 欠点: 変数選択しないので、解釈性が低い。
Lasso回帰
- 誤差の二乗和に重みの絶対値の和を加えて最小化するL1正則化で係数を推定する。
- 利点: 疎な解になり、解釈性が高い。
- 欠点: 相関が高い同士の変数選択が任意になる。
Elastic Net回帰
- 誤差の二乗和に重みの絶対値の和と重みの二乗和の和を加えて最小化するように係数を推定する（L1正則化とL2正則化を組み合わせる）
- 利点: 疎な解になり、多重共線性に強い。
- 欠点: ハイパーパラメータのチューニングが必要、L1正則化とL2正則化のバランスが難しい。

手法	発見年代	正則化	特徴選択	パラメータ推定	多重共線性	ノイズ耐性	過学習防止	得意な分類問題
最小二乗法	1800年代	なし	非選択	解析的	弱い	弱い	なし	線形回帰、多重回帰
Ridge回帰	1970年代	L2正則化	非選択	最小化	強い	強い	あり	特徴量の縮小、回帰モデルの安定化
Lasso回帰	1996年	L1正則化	選択	最小化	弱い	強い	あり	特徴選択、遺伝子発現データ解析
Elastic Net回帰	2005年	L1正則化 + L2正則化	選択	最小化	強い	強い	あり	特徴選択、高次元データの回帰モデリング

日々のつれづれ