선행 학습

선행 학습

pre-training:

다층 네트워크는 기울기 소실 문제가 발생해 학습이 제대로 되지 않을 때가 있습니다. 

계층을 깊게 할 수록 그 경향이 더 두드러집니다. 

가중치 매개변수의 초깃값을 무작위로 결정하는 것도 원인 중 하나입니다. 

이를 해결하는 방법으로 선행학습이 있습니다. 

선행 학습은 다층 네트워크를 입력 받은 순서대로 제한 볼츠만 머신 같은 두 계층의 네트워크로 분리(오토인코드로 설정)합니다. 

 

출처 : 처음 배우는 인공지능