LSTM

LSTM

Long Short-Term Memory

순환 신경망은 거슬러 올라가는 단계 수가 많아지면 기울기 소실 문제 때문에 제대로 학습할 수 없습니다. 

이 문제를 개선하는 것이 LSTM입니다. 

LSTM은 신경망의 중간 계층에서의 각 유닛을 LSTM 블록이라는 메모리 유닛으로 치환한 구조입니다. 

LSTM 블록에는 입력 게이트 , 망각 게이트 출력 게이트 라는 세가지 게이트가 있으며 메모리 셀에 저장된 1단계 이전의 상태를 망각 게이트에 참조(요소곱)합니다. 

그리고 입력 게이트와 망각 게이트를 잘 여닫으면서 출력을 조정합니다. 

 

출처 : 처음 배우는 인공지능