NAIAHD

정규화

Regularization

가중치를 이용하는 또 한가지 방법은 최소제곱법으로 구성한 방정식에 페널티를 부여하는 것입니다. 

페널티를 부여하는 방식은 L2 정규화, L1 정규화, L1 정규화와 L2 정규화를 선형 결합한 일래스틱 넷 Elastic Net등이 있습니다. 

페널티를 부여하는 항을 벌칙 항 penalty term 또는 정규화항 regularization term이라고 합니다. 

L2 정규화, Ridge regression, L2 노름(L2 norm)

L2정규화는 최소제곱법의 종속 변수인 잔차 제곱의 합에 가중치 계수인 w_i 제곱의 합을 페널티로 추가한 것입니다. 

보통 람다 값을 적용하면서 교차검증법 cro validation으로 최적값을 찾습니다. 

L1 정규화:

LASSO Least absolute shrinkage selection operator 

절댓값

L1정규화를 실행하면 일부 W는 0이 되어 밀도가 낮아지기 쉽습니다. 

L2정규화는 지금 까지 소개한 회귀 모델 analytic로 계산하며 L1정규화는 볼록 최적화의 추정 알고리즘을 사용합니다.

출처 :

처음 배우는 인공지능