NAIAHD

정규화

Regularization

가중치를 이용하는 또 한가지 방법은 최소제곱법으로 구성한 방정식에 페널티를 부여하는 것입니다. 

페널티를 부여하는 방식은 L2 정규화, L1 정규화, L1 정규화와 L2 정규화를 선형 결합한 일래스틱 넷 Elastic Net등이 있습니다. 

페널티를 부여하는 항을 벌칙 항 penalty term 또는 정규화항 regularization term이라고 합니다. 

L2 정규화, Ridge regression, L2 노름(L2 norm)

L2정규화는 최소제곱법의 종속 변수인 잔차 제곱의 합에 가중치 계수인 w_i 제곱의 합을 페널티로 추가한 것입니다. 

보통 람다 값을 적용하면서 교차검증법 cro validation으로 최적값을 찾습니다. 

L1 정규화:

LASSO Least absolute shrinkage selection operator 

절댓값

L1정규화를 실행하면 일부 W는 0이 되어 밀도가 낮아지기 쉽습니다. 

L2정규화는 지금 까지 소개한 회귀 모델 analytic로 계산하며 L1정규화는 볼록 최적화의 추정 알고리즘을 사용합니다.

출처 :

처음 배우는 인공지능

LOWESS분석:

Locally Weight Scatterplot Smoothing 분석은 어떤 한 지점에 가중회귀 함수를 사용해 평활화 smoothing를 실행한 회귀 식 도출 방법입니다. 

즉, LOWESS 분석은 독립 변수의 값에서 멀어져 있는 점의 기울기를 조절함으로써 특이점 때문에 받는 영향을 무시하도록 보장하는 것이고 , 로버스트 평활화는 변화 상태에서 크게 벗어났다고 예상되는 점이 특이점 때문에 받는 영향을 무시하도록 보정하는 것입니다. 

LOWESS분석은 단순회귀를 반복해 실행하므로 단순회귀를 사용합니다. 

하지만 실제로 직선이 나타나지는 않습니다. 

출처 : 

처음 배우는 인공지능

로지스틱 회귀

종속 변수에 약간의 수정을 가한 선형회귀로 다항식 회귀처럼 일반화 선형 모델의 하나로 분류합니다. 

Y = e^x / (1+ e^x)

로지스틱 모델 일반식의 종속 변수 y에 로그를 적용해 y'로 변환하는 것을 로짓 logit 변환이라고 합니다. 

로짓 함수를 이용해 함수를 피팅합니다. 

로짓 함수는 (0,1) 사이의 값들을 (-∞, ∞) 사이의 값으로 변환하는 함수로 로지스틱 함수의 역함수 입니다. 

출처 : 처음 배우는 인공지능

정규방정식

행렬 기반의 방정식으로 선형회귀상에서 알지 못하는 값 parameter을 예측하려는 방법을 정규방정식이라고합니다. 

출처 :

1. 처음 배우는 인공지능

회귀분석

주어진 데이터로 어떤 함수를 만들어 낸 후 , 이 함수를 피팅하는 작업입니다. 

피팅은 함수에서 발생하는 차이(잔차 Residual 의 크기)가 최소화되도록 함수를 조정해주는 것을 의미합니다. 

일반 선형 모델 General Linear Model : "잔차의 분포가 정규분포를 따른다 "

일반화 선형 모형 Generalized Linear Model : 임의의 분포로 만들어진 함수

단순회귀: 가장 기본적인 회귀분석은 요소들 사이의 비례 관계를 활용하는 단순회귀 분석(단일 회귀)입니다. 

출처 : 처음 시작하는 인공지능

비선형 계획법

Nonlinear Programming :

변숫값 쌍으로 구성하는 점의 분포를 선형 함수로 표현할 수 없을 때가 있습니다. 

볼록 함수와 오목 함수로 점의 분포를 나타낼 수 있을 때는 볼록 계획 문제라고 하며 볼록 최적화 라는 방법을 이용하여 해결할 수 있습니다. 

볼록 함수가 아닐 때는 선형 계획 문제를 조합한 분기 한정법으로 해결하는 방법 등이 있습니다. 

출처 : 처음 배우는 인공지능

사상

morphism

변숫값 쌍을 점 형태로 나타낼 수 있다면 함수 형태로 벼환된 것입니다. 이를 사상이라고 합니다. 

출처 : 처음 배우는 인공지능

선형 계획 문제

점의 분포를 선형 함수의 제약과 조건을 이용해 구할 수 있는 문제를 선형 계획 문제라고 합니다. 

선형 계획 문제 중 '배낭 문제' 가 있습니다. 

정수에 한정해서 문제를 해결할 때는 정수 계획 문제라고도 합니다.

출처 : 처음 배우는 인공지능