심층신뢰망 (DBN, Deep Belief Network)

blog.skby.net/%EC%8B%AC%EC%B8%B5%EC%8B%A0%EB%A2%B0%EB%A7%9D-dbn-deep-belief-network/

I. Gradient descent vanishing 해결 위한 심층신뢰망

가. 심층신뢰망 (DBN, Deep Belief Network)의 개념

• 입력층과 은닉층으로 구성된 RBM을 블록처럼 여러 층으로 쌓인 형태로 연결된 신경망 (딥러닝의 일종)
• RBM: 제한된 볼츠만 머신(Restricted Boltzmann Machine

RBM(제한된 볼츠만 머신, Restricted Boltzmann machine)

은 차원 감소, 분류, 선형 회귀 분석, 협업 필터링(collaborative filtering), 특징값 학습(feature learning) 및 주제 모델링(topic modelling)에 사용할 수 있는 알고리즘으로 Geoff Hinton이 제안한 모델입니다. 

medium.com/@ahnchan2/%EC%B4%88%EB%B3%B4%EC%9E%90%EC%9A%A9-rbm-restricted-boltzmann-machines-%ED%8A%9C%ED%86%A0%EB%A6%AC%EC%96%BC-791ce740a2f0

Deep Belief Networks are stochastic algorithms, meaning that the algorithm utilizes random variables; 

thus, it is normal to obtain slightly different results when running the learning algorithm multiple times. 

To account for this, it is normal to obtain multiple sets of results and average them together prior to reporting final accuracies.

stochastic algorithms:tochastic optimization (SO) methods are optimization methods that generate and use random variables. : 랜덤 변수 사용하는 최적화 방법이다.

en.wikipedia.org/wiki/Stochastic_optimization

#“stochastic” means that the model has some kind of randomness in it

#https://machinelearningmastery.com/stochastic-in-machine-learning/