728x90
반응형
ReLU
ReLU 함수
렐루 함수
Rectified Linear Unit
활성화 함수는 최근 심층 신경망의 계층에서 거의 기본적으로 사용되는 활성화 함수가 되었습니다.
max(0,x)
즉 음수의 경우 0을 리턴하고 , 그 외에는 x를 리턴합니다.
순전파 때의 입력인 x가 0보다 크면 역전파는 상류의 값을 그대로 하류로 흘립니다.
반면, 순전파 때 x가 0이하면 역전파 때는 하류로 신호를 보내지 않습니다.
출처 :
텐서플로 첫걸음
밑바닥부터 시작하는 딥러닝
반응형
'개념 정리' 카테고리의 다른 글
| 오버피팅_20211004 (0) | 2021.10.13 |
|---|---|
| 드롭아웃_20211003 (0) | 2021.10.13 |
| 풀링 계층_20210929 (0) | 2021.10.12 |
| 특징 맵_20210927 (0) | 2021.10.12 |
| 커널 혹은 필터_20210926 (0) | 2021.10.12 |