NAIAHD

드롭아웃

dropout

신경망에서 필요한 매개변수 수를 줄이는 것입니다. 

이는 노드를 삭제하여 입력과 출력 사이의 연결을 제거하는 것입니다 

어떤 뉴런을 제거하고 어떤 것을 유지할지는 무작위로 결정됩니다. 

뉴런이 제거되거나 그렇지 않을 확률은 코드로 처리하지 않고 텐서플로에 위임할 것입니다.

20211010

드롭아웃은 앞서 보았던 합성곱 신경망을 포함하여 일반적인 feedforward 신경망에서 모델이 학습 데이터에 과다하게 치중되어 만들어지는 것을 막아주는 좋은 방법입니다. 

출처 : 텐서플로 첫걸음

ReLU

ReLU 함수

렐루 함수

Rectified Linear Unit

활성화 함수는 최근 심층 신경망의 계층에서 거의 기본적으로 사용되는 활성화 함수가 되었습니다. 

max(0,x)

즉 음수의 경우 0을 리턴하고 , 그 외에는 x를 리턴합니다. 

순전파 때의 입력인 x가 0보다 크면 역전파는 상류의 값을 그대로 하류로 흘립니다.

반면, 순전파 때 x가 0이하면 역전파 때는 하류로 신호를 보내지 않습니다.

출처 :

텐서플로 첫걸음

밑바닥부터 시작하는 딥러닝

풀링 계층

pooling layer

합성곱 뒤에 따라 오는게 일반적입니다. 

합성곱 계층의 출력 값을 단순하게 압축하고 합성곱 계층이 생산한 정보를 컴팩트한 버전으로 만들어줍니다.

202110930

맥스 풀링

max-pooling

가장 큰 값을 선택해서 정보를 압축합니다.

단순히 이미지를 축소합니다. 

축소 처리는 필수는 아니지만 후속 네트워크에서의 처리 부담을 가볍게 하는 효과와 축소 처리에 의한 특징량의 압축 효과가 있습니다. 

특히 특징량의 압축은 사물 인식에 유리하게 작용합니다.

평균 룰링

최대 풀링

Lp 풀링: 주목 영영의 중심값을 더 강조해 반영하는 방식입니다. 

출처 :

텐스플로 첫걸음

처음 배우는 인공지능

특징 맵

feature map

하나의 가중치 행렬과 하나의 커널을 정의했습니다. 

하나의 커널은 이미지에서 한 종류의 특징만을 감지합니다. 

합성곱 계층과 풀링 계층을 거쳐 입력 이미지의 특징을 추출해서 출력하는 이미지인 특징맵을 얻습니다.

출처 :

텐서플로 첫걸음

처음 배우는 인공지능

커널 kernel

필터 filter

공유 W와 편향 b를 CNN에서는 커널 혹은 필터라고 부릅니다.

출처 : 텐스플로 첫걸음

패딩

padding

좀 더 좋은 결과를 내기 위해서는 이미지 바깥으로도 윈도가 넘어갈 수 있도록 하는게 좋을 것입니다. 이를 위해 0 (또는 다른 값)으로 이미지의 바깥 테두리를 채울 수 있습니다. 

이렇게 채울 테두리의 크기를 지정하는 매개변수를 패딩이라고 합니다. 

이미지 크기를 변화시키지 않으려면 필터를 적용하는 이미지에 패팅을 설정해야 합니다. 

패딩은 보통 0을 넣는데 이미지에 따라 다른 값을 주기도 합니다. 

출처 :

텐스플로 첫걸음

처음 배우는 인공지능

스트라이드

stride

한 번에 얼마큼 움직일지를 결정하는 이 매개변수를 스트라이드라고 부릅니다. 

출처 : 텐스플로 첫걸음

손실함수

loss function

즉 비용함수에 연관된 변수들을 알아서 인시가고 각각에 대해 기울기를 계산합니다 

출처 : 텐스플로 첫걸음