[G검정/5장] LSTM, GRU

LSTM (Long Short-Term Memory)

: RNN의 한 종류로써,  출력과 멀리 있는 정보를 기억할 수 없다는 RNN의 단점을 보완하여 장, 단기 기억을 가능하게 설계한 신경망 구조.

• 3개의 gate로 구성되어 있음
  • forget gate (f) : 과거 정보를 잊기 위한 게이트
  • input gate (i) : 현재 정보를 기억하기 위한 게이트
  • output gate (o) : 최종 결과를 내보내기 위한 게이트
• 3개의 gate에는 공통적으로 시그모이드 함수 (0~1 사이의 값) 가 게이트 조절에 사용됨

 

CEC

: LSTM에서 오차를 내부에 유지해 기울기 소실을 방지하는 역할.

 

GRU (Gated Recurrent Unit)

: LSTM을 개선하기 위한 모델로 Reset Gate, Update Gate 라는 두 개의 게이트를 사용하여 작동함.

• LSTM과 비교해 어느 모델이 더 뛰어나다 라고 단적으로 말할 수는 없음 (데이터나 상황에 따라 다름)
• 하지만, LSTM과 GRU 모두 RNN 모델보다는 확실히 좋은 성능을 보이기 때문에 실제로 시계열 데이터를 활용해 모델을 적용할 때는 이 두개의 모델을 적절히 사용하는 것이 좋음