NAIAHD

Activation function : ReLU

GPU 2개 병렬

Local Response norm

overlapping pooling

data augmentatin

dropout

모델 구조

손글씨 숫자를 인식하는 네트워크로 , 1998년에 제안 

Yann LeCun

합성곱 계층과 풀링 계층(정확히는 단순히 '원소를 줄이기'만 하는 서브샘플링 계층)을 반복하고 , 마지막으로 완전 연결 계층을 거치면서 결과를 출력

LeNet과 현재의 CNN과의 차이점

• LeNet는 활성화함수 :시그모이드 함수를 사용하고 현재는 ReLU를 사용한다.
• LeNet는 서브샘플링을 하여 중간데이터 크기가 작아지지만 현재는 최대 풀링이 주류다.

출처 : 밑바닥 부터 딥러닝

•LeCun에 의해 고안됨

•입력으로 32x32 픽셀 크기의 이미지를 받음

•C1, C3, C5: 컨볼루션 층( 5X5 크기의 Feature map)

•S2, S4 : 풀링 층( 인자 2에 의한 풀링, 피처의 크기가 절반으로 축소)

•F6: 단층 신경망 (fully-connected)

•장점: 물체의 위치와 각도 변화에 대한 불변성

•         노이즈와 왜곡에 대한 불변성

•단점 :

•메모리 관점에서 일반적인 다층 프셉트론보다 더 많은 용량을 차지함( 많은 수의 파라미터)

•실행시간 관점에서 컨볼루션 과정이 많은 계산을 필요하고 전체 실행 시간 중 약 2/3의 비중을 차지

•같은 개수의 파라미터를 갖는 신경망보다 3배 가까이 실행시간이 느림

https://www.youtube.com/watch?v=_6GwLjW9sbc&list=PL9mhQYIlKEheuxhyGbUIpKR1EFM-o0Br1&index=9