NAIAHD

LSTM

기본적인 순환 신경망은 단기기억 short-term memory을 저장할 수 있다고 표현합니다. 

멀리 떨어진 데이터 간의 연관 정보는 파악하기 어렵습니다. 

long short-term memory

단 기억을 더 길게 유지시켜주는 이 알고리즘은 기본 순환 신경망 알고리즘의 효과를 크게 향상시켜주므로 여러 분야에 걸쳐 널리 사용되고 있습니다. 

삭제 게이트 forget gate

입력 게이트 input gate 

20211009

오버피팅 문제 : 

lstm 순환 신경망에 대해 한 가지 더 살펴볼 것은 오버피팅을 막기 위한 드롭아웃 기법을 사용하는 방법에 대한 것입니다.

드롭아웃은 앞서 보았던 합성곱 신경망을 포함하여 일반적인 feedforward 신경망에서 모델이 학습 데이터에 과다하게 치중되어 만들어지는 것을 막아주는 좋은 방법입니다. 

하지만 순환 신경망 알고리즘에는 드롭아웃을 적용하여 효과를 보기가 어렵습니다. 

최근에 순환 신경망에 드롭아웃을 적용하는 방법이 새롭게 고안됬습니다. 

이 방법은 순환 신경망의 출력 값의 흐름 중 수직 방향에 대해서만 드롭아웃을 적용하는 것입니다. 

즉 순환되는 데이터에는 드롭아웃을 적용하여 효과를 보기가 어렵습니다.

최근에는 순환 방향으로도 정보를 누락하지 않으면서 드롭아웃을 적용하는 연구가 발표되는 등 다양한 방법으로 오버피팅을 막기 위한 방법이 시도되고 있다. 

출처 : 텐서플로 첫걸음