NAIAHD

ReLU

ReLU 함수

렐루 함수

Rectified Linear Unit

활성화 함수는 최근 심층 신경망의 계층에서 거의 기본적으로 사용되는 활성화 함수가 되었습니다. 

max(0,x)

즉 음수의 경우 0을 리턴하고 , 그 외에는 x를 리턴합니다. 

순전파 때의 입력인 x가 0보다 크면 역전파는 상류의 값을 그대로 하류로 흘립니다.

반면, 순전파 때 x가 0이하면 역전파 때는 하류로 신호를 보내지 않습니다.

출처 :

텐서플로 첫걸음

밑바닥부터 시작하는 딥러닝