목록attention (1)

도라에몽주머니

[G검정/5장] Attention

seq2seq with Attentionseq2seq의 문제점: seq2seq는 Encoder-Decoder 라고도 하는데 Encoder로 받은 input을 Context Vector 를 통해 고정된 사이즈로 만들기 때문에 문장이 길어질 경우, Context vector에 모든 정보를 담을 수 없게 된다는 문제 발생. Attention: 위와 같은 seq2seq의 문제점을 해결하기 위해 제안된 방식. Decoder에서 출력하는 매 시점마다 인코더의 전체 입력 문장을 다시 참고함. 이때, 모든 문장을 같은 비율로 참고하는 것이 아닌, 인코더의 입력 문장에서 예측하고자 하는 부분과 좀 더 연관이 높은 쪽을 더 집중적으로 참고함. 참고 영상https://youtu.be/WsQLdu2JMgI?si=30nsAXS..
Certificate/G検定 2024. 6. 14. 17:47
이전 Prev 1 Next 다음