NAIAHD

20211111

평균제곱오차 mean square error

평균제곱오차는 실제 값과 알고리즘이 반복마다 추정한 값 사이의 거리를 오차로 하는 값의 평균입니다.

회귀분석에서 함수에 피팅할 때는 잔차가 최소화되도록 함수를 조정합니다. 

이때 가장 일반적으로 사용하는 방법은 최소제곱법입니다. 

잔차 제곱의 합

최소제곱법도 단순회귀에서 소개한 연립 편미분 방정식을 만들어 답을 구할 수 있다. 

하지만 독립 변수가 늘고 비선형 함수 모델을 사용하면 대응 correspondence관계가 복잡해집니다.

로지스틱 회귀에서 최소제곱법을 이용해 회귀 식을 구하는 방법을 소개하였습니다. 

하지만 최소제곱법은 특잇값 singular value에 취약하다는 약점이 있습니다. 

데이터에 특잇값이 포함되면 회귀 식이 특잇값 때문에 예측 결과가 외곡되는 현상이 일어나 앞으로 수집할 데이터를 예측할 때 정확성을 잃습니다. 따라서 특잇값에 페널티를 부여하거나 아예 제외하는 방법 등으로 수정해야 합니다.

출처 :

1. 텐서플로 첫걸음

2. 처음 배우는 인공지능