목록NSP (1)

도라에몽주머니

[G검정/6장] BERT(Bidirectional Encoder Representations from Transformers)

BERT (Bidirectional Encoder Representations from Transformers): 2018년 Google이 공개한 자연어 처리를 위한 전이 학습 모델. 특징: 문맥을 이해하는 능력이 뛰어남양방향 Transformer 사용: 문장을 한 방향으로만 이해하는 것이 아니라 양방향으로 학습함. 즉, 왼쪽에서 오른쪽으로, 오른쪽에서 왼쪽으로 모두 읽어 각 단어의 문맥을 전체적으로 이해할 수 있음.마스킹 언어 모델 (MLM): BERT는 훈련 과정에서 입력 텍스트의 일부를 무작위로 가려(마스킹) 모델이 마스킹 된 단어를 예측하도록 함.Next Sentence Prediction (NSP): 두 문장이 실제로 연속적인 관계에 있는지를 예측함. 이를 통해 모델은 문장간의 관계를 이해할 수..
Certificate/G検定 2024. 7. 16. 11:27
이전 Prev 1 Next 다음