[G검정/5장] 딥러닝 모델 일반화 (드롭아웃, 조기종료, No Free Lunch 정리)

드롭아웃 (Dropout)

: 모델의 과적합을 방지하고, 일반화 능력을 향상시키기 위한 기법. 에포크마다 랜덤하게 뉴런을 드롭아웃 시켜서 계산한다.

• 앙상블 : 여러 모델을 종합적으로 고려해서 최적의 결과를 찾아내는 것을 의미
• 드롭아웃은 학습때마다 랜덤하게 특정 노드를 드롭아웃 시켜서 학습하기 때문에, 서로 다른 모델을 학습시킨다고 할 수 있다. (→ 앙상블 학습)

 

조기종료 (early stopping)

: 모델의 과적합을 방지하고, 일반화 능력을 향상시키기 위한 기법. 훈련 데이터(訓練データ) 와 검증 데이터(テストデータ) 를 준비하고, 매 에포크마다 검증 데이터에 대한 오차를 측정하여 검증 데이터에 대한 오차가 증가하는 시점에서 학습을 중단한다.

• 단순하고 어떤 모델에도 적용할 수 있는 기법이다.
• 제프리 힌튼(Geoffrey Hinton) 은 Beautiful FREE Lunch 라고 표현함.

 

No Free Lunch 정리

: 모든 문제에서 성능이 좋은 범용 최적화 전략은 이론상 불가능하다 라는 정리.