[G검정/6장] BERT(Bidirectional Encoder Representations from Transformers)

BERT (Bidirectional Encoder Representations from Transformers)

: 2018년 Google이 공개한 자연어 처리를 위한 전이 학습 모델.

 

특징

: 문맥을 이해하는 능력이 뛰어남

• 양방향 Transformer 사용: 문장을 한 방향으로만 이해하는 것이 아니라 양방향으로 학습함. 즉, 왼쪽에서 오른쪽으로, 오른쪽에서 왼쪽으로 모두 읽어 각 단어의 문맥을 전체적으로 이해할 수 있음.
• 마스킹 언어 모델 (MLM): BERT는 훈련 과정에서 입력 텍스트의 일부를 무작위로 가려(마스킹) 모델이 마스킹 된 단어를 예측하도록 함.
• Next Sentence Prediction (NSP): 두 문장이 실제로 연속적인 관계에 있는지를 예측함. 이를 통해 모델은 문장간의 관계를 이해할 수 있게 됨.