NAIAHD

ReLU

ReLU 함수

렐루 함수

Rectified Linear Unit

활성화 함수는 최근 심층 신경망의 계층에서 거의 기본적으로 사용되는 활성화 함수가 되었습니다. 

max(0,x)

즉 음수의 경우 0을 리턴하고 , 그 외에는 x를 리턴합니다. 

순전파 때의 입력인 x가 0보다 크면 역전파는 상류의 값을 그대로 하류로 흘립니다.

반면, 순전파 때 x가 0이하면 역전파 때는 하류로 신호를 보내지 않습니다.

출처 :

텐서플로 첫걸음

밑바닥부터 시작하는 딥러닝

Activation Function

neuron의 output y를 입력으로 f(y)를 계산

linear system , non-linear system

Sigmoid : 0~ 1사이

tanh (Hyperbolic Tangent) :  [−1.0,1.0] 의 범위로 output을 제한함

Step계단 함수: 0아니면 1

ReLU (Rectified Linear Unit) : 0 보다 작은 것을 0으로 수렴하고 0보다 큰것은 원래 값으로 

LeakyReLU :  negative input에 대해 ReLU는 0를 return하나, LeakyReLU는 ax를 return

Softmax: one-hot encoding => 모든 합이 1