NAIAHD

볼츠만 머신 

노드들이 무향 그래프로 연결된 네트워크입니다. 

퍼셉트론처럼 입력과 출력을 하는 유향 그래프가 아니므로 계산하기 어렵습니다. 

그래서 제안한 것이 제한 볼츠만 머신입니다. 

제한 볼츠만 머신

Restricted Boltzmann Machine , RBM:

볼츠만 머신의 두 계층 중 같은 계층의 유닛은 서로 연결하지 않도록 구성되어 있습니다. 

출처 : 처음 배우는 인공지능

데이터 정규화

데이터의 평균과 분산을 이용하는 것을 정규화 normalization 또는 표준화 standardization 라고 합니다. 

"평균을 0으로 한다." "분산(표준 편차)을 1로 한다" 같은 작업을 할 때가 많습니다 

또한 "상관관계를 0으로 한다" 같은 백색화 whitedning라고 합니다. 

보통 이런 데이터 정규화를 전처리라고 하며 전처리 후 학습할때는 식별할 떄도 같은 전처리를 합니다.

출처 :

처음 배우는 인공지능

확률적 경사 하강법

SGD

Stochastic Gradient Descent

신경망 학습에서는 데이터 일부를 뽑은 이미 배치를 이용해 가중치를 반복해서 업데이트하는 확률적 경사 하강법을 이용합니다.

매개변수의 기울기를 구해 , 기울어진 방향으로 매개변수 값을 갱신하는 일을 몇 번이고 반복해서 점점 최적의 값에 다가갔습니다.

출처 :

처음 배우는 인공지능

밑바닥부터 시작하는 딥러닝

기울기 소실 문제

Vanishing gradient problem

심층 신경망은 시그모이드 함수에 전파와 역전파를 여러 번 적용하다 보면 가중치가 발산하거나 곡선의 기울기가 0이 되어 버리는 기울기 소실 문제 가 발생

출처 : 처음 배우는 인공지능

다층 퍼셉트론

신경망을 이용하는 지도학습은 입력 계층, 중간 계층, 출력 계층으로 구성된 다층 퍼셉트론을 이용하면서 큰 돌파구가 열렸습니다.

출처 : 처음 배우는 인공지능

멀티태스킹 학습

모든 도메인에서 학습기의 성능을 향상시키는 것을 목표로 합니다.

출처 : 

처음 배우는 인공지능

전이 학습

Transfer learning

새로운 작업을 효율적으로 해결하려고 기존 작업에서 얻은 학습 데이터와 학습 결과를 재사용 하는 것입니다.

원 도메인: source domain 사례 기반 방법과 특징 기반 방법을 검토할 수 있습니다 

목표 도메인: target domain 목표 도에인에서는 원도메인에서 정한 모델을 기반으로 대응합니다.

귀납 전이 학습 :

변환 전이 학습 :

자기 교시 학습 :

자율 전이 학습 :

출처 :

처음 배우는 인공지능

앙상블 학습

학습기 하나로 원하는 성능을 낼 수 없을 때

개별로 학습한 여러 학습기를 조합해 일반화 성능을 향상할 수 있습니다. 

배깅

앙상블 학습 중 하나로 Bagging입니다 

배깅은 부트스트랩 방법을 이용해 학습 데이터에서 m개의 복원 추출을 B회만큼 반복합니다 

그러면 작게 나눈 m개의 데이터를 포함하는 B회의 학습 데이터를 생성할 수 있습니다 .

랜덤포레스트와의 차이

랜덤포레스트도 배깅과 마찬가지로 무작위 데이터를 추출한 후 작은 데이터 세트에서 학습을 실행합니다 

배깅은 학습 데이터의 설명 변수를 모두 사용하며 랜덤 포레스트는 설명 변수도 무작위로 추출한다는 차이가 있습니다. 

부스팅

약학습기를 하나씩 결합해 강학습기를 얻는 방법입니다. 

대표적인 것은 에이다 부스트 가있다.

에이다부스트 

2개의 값 분류에 관한 약학습기 구축 알고리즘입니다. 

출처 : 처음 배우는 인공지능