[G검정/5장] 순환 신경망 (RNN)

순환 신경망 (Recurrent Neural Network ; RNN)

: 시간에 따라 누적된 정보를 처리할 수 있는 신경망.

• 과거 입력에 따른 은닉층 (중간층) 의 상태를 현재 입력에 대한 출력을 구하기 위해 사용함
• 기울기 소실 등의 문제가 발생할 수 있음

 

通時的誤差逆転播 (BPTT ; Backpropagation Through Time)

: RNN 학습을 실시할 때 사용하는 기울기(gradient) 계산 방법.

• Long Term Dependency를 잘 모델링 하지 못함
• 시계열이 오래된 데이터일수록 기울기 소실이 발생하기 쉬움