[G검정/5장] Attention

seq2seq with Attention

seq2seq with Attention

seq2seq의 문제점

: seq2seq는 Encoder-Decoder 라고도 하는데 Encoder로 받은 input을 Context Vector 를 통해 고정된 사이즈로 만들기 때문에 문장이 길어질 경우, Context vector에 모든 정보를 담을 수 없게 된다는 문제 발생.

 

Attention

: 위와 같은 seq2seq의 문제점을 해결하기 위해 제안된 방식. Decoder에서 출력하는 매 시점마다 인코더의 전체 입력 문장을 다시 참고함. 이때, 모든 문장을 같은 비율로 참고하는 것이 아닌, 인코더의 입력 문장에서 예측하고자 하는 부분과 좀 더 연관이 높은 쪽을 더 집중적으로 참고함.

 

참고 영상

https://youtu.be/WsQLdu2JMgI?si=30nsAXSspWDqokea