06. 통계 기반 머신러닝 1- 확률 분포와 모델링

01. 통계 모델과 확률 붙포

확률기반

설명 변수와 목적 변수가 갖는 어떤 확률에 근거한 관계를 '확률분포 모델'이라고 합니다.

 

머신러닝

입력 데이터의 특성과 분포 경향 등에서 자동으로 데이터를 나누거나 재구성을 합니다. 

통계 기반 머신러닝에서는 여기에 확률 개념이 크게 관여합니다.

 

지도 학습 Supervised Learning: 머신러닝 안에서는 데이터에 정답 정보가 결합된 학습 데이터(또는 훈련 데이터)로 데이터의 특징을 모델링하는 것 

자율 학습 Unsupervised Learning: 입력 데이터의 정답을 모르는 상태에서 사용하는 것으로 클러스터 분석 , 차원 압축, 밀도 추정 등이 해당됩니다.

식별 , 예측, 클러스터 분석 등을 실행해 데이터의 새로운 특징을 찾아내는 작업을 데이터 마이닝이라고 합니다.

 

기저 함수 basis function

정규 직교 기저 orthonormal basis: 설명 변수와 목적 변수가 1대1로 대응할 때를 그래프로 나타낸 것

이는 좌표축 각각이 직교하는 '선형 독립 linaearly independent'상태에서 백터로 나타내는 좌표축이라도 설명할 수 있습니다.

정규분포 이외의 분포를 다루는 일반화 선형 모델 generalized linear model과 혼합 정규분포 mixture normal distribution등의 혼합 모델은 기저 함수와 기저 함수의 선형 결합으로 모델을 나타내므로 중요한 개념입니다.

 

주요 기저 함수

연산 확률 분포

이산 확률 분포

 

정규분포 가우스분포 Gaussian distribution라고도 합니다.

감마분포 특정 수의 사건이 일어날 때 까지 걸리는 시간에 관한 연속확률분포입니다.

지수분포 : 감마분포의 특별한 형태로 사건이 일어나는 시간 간격의 확률분포인 지수분포가 있습니다. 푸아송 분포와도 깊은 연관이 있습니다.

베타 분포 : 2개의 변수를 갖는 특수 함수인 베타 함수를 이용한 분포

디리클레 분포 Dirichlet distribution는 베타 분포를 다변량으로 확장한 것으로 다변량 베타 분포라고도 합니다.

이항 분포 : 동전 던지기처럼 앞 뒤 두가지 종류 중 어느 하나가 나오는 가와 같은 실험을 베르누이 시행 이라고 합니다.

이 베르누이 시행을 여러 번 반복했을 때 확률분포가 이항분포입니다. 

음이항 분포: 이항분포와는 다르게 r번 성공하는 데 필요한 시행 횟수 k의 분포를 음이항분포라고 합니다.

푸아송 분포 : Poisson distribution는 일정 시간 간격에 걸쳐 평균 λ번 일어나는 현상이 k번 발생할 확률분포 (X)를 말합니다. 푸아송 분포가 단위 시간에 사건이 일어날 확률을 나타낸다면 , 지수분포는 사건이 일어난 후 다시 발생할 때까지의 시간 간격에 고나한 확률밀도를 나타냅니다. 이 때문에 "푸아송 분포와 지순분포는 같은 사건의 발생 확률을 다른 측면에서 본다"라고 합니다.

카이제곱 분포 chi-squared distribution는 감마 분포의 특별한 형태입니다. =>통계적 추론 에서 자주 이용

초기하분포 : 반복하지 않는 시동에서 사건이 발생할 확률분포입니다.

코시분포 : 로렌츠 분포 라고도 하며 물리학에서는 브라이트-위그너 분포라고도 합니다.

로지스틱 분포 : 확률분포의 확률 변수가 특정 값보다 작거나 같은 확률을 나타내는 누적분포 함수가 로지스틱 함수인 분포를 로지스틱 분포 Logistic distribution라고 합니다.

베이불 분포 Weibull distribution는 물체의 부피와 강도의 관계를 나타내는 분포입니다. 기기의 수명과 고장 시간 등의 신로성을 나타내는 지표로 이용할 수 있습니다.  베이불 분포의 특별한 형태로는 레일리 분포가 있습니다. 레이더 신호와 산란된 신호 강도의 분포 모델로 사용할 수 있습니다.

 

 

손실함수와 경사 하강법

회귀하려는 모델 함수가 있을 때 회귀분석은 오차를 제곱한 것의 합계인 함수를 목적 함수로 설정하고 목적 함수가 최솟값이 되도록 계산합니다.

목적 함수와 비슷한 함수로 손실 함수 loss function가 있습니다

손실 함수의 최솟값을 구할 때는 경사 하강법 gradient descent method또는 최대 가능도 방법 miximum likelihood method을 사용합니다.

 

 

02. 베이즈 통계학과 베이즈 추론

베이즈 정리는 두 종류의 조건부 확률 사이의 관계를 정의합니다.

 

최대가능도 방법과 EM알고리즘

 

베이즈 추론: 데이터의 모집단분포는 유일하지 않습니다.

베지즈 추정량: 사후분포의 평균 제곱 오차 average squared error를 최소화하는 값을 베이즈 추정량이라고 합니다. 사후분포의 평균값입니다.

사후 메디안 추정량 : 사후분포의 평균 절대  오차 mean absolute error를 최소화하는 값으로 사후분포의 중간값입니다.

 

MAP추정량: 최대 사후 확률이라고 합니다.

 

베이즈 판별 분석: 

판별 분석은 데이터 X가 어떤 모집단분포에서 유래했는지 파악하는 데 사용합니다.

 

03 . 마르코프 연쇄 몬테카를로 방법 MCMC

원쥬율의 근삿값 계산 문제:

 

몬테카를로 방법: 원주율의 근삿값 계산은 몬테카를로 방법 이라고 하는 알고리즘.

 

샘플의 열 생성 과정은 마르코프의 성질이 있는 마르코프 연쇄 Markov chain라고 합니다.

 

베이즈 계층 모델 : 

마르코프 연쇄 몬테카를로  방법을 활용하면 매개변수의 차원이 높은 복잡한 모델을 처리할 수 있습니다.

특히 베이즈 계층 모델 은 지금까지 소개한 모델 중에서 특히 자유도가 높은 통계 모델을 설계할 수있습니다.

 

04. 은닉 마르코프 모델과 베이즈 네트워크

시계열 데이터의 혼합 분포 추정에 사용되는 모델을 은닉 마르코프 모델 이라고 합니다.

 

베이즈 네트워크: 전문가 시스템은 주어진 조건에 적합한 답변을 합니다만 추론 규칙이 정교하지 않다는 약점이 있습니다. 그래서 확률 개념을 도입해 추론 규칙을 개선한 전문가 시스템으로 제안한 것을 베이즈 네트워크 라고 합니다.

 

 

출처 : 처음 배우는 인공지능