[G검정/5장] 최적화 개념 (모멘텀, AdaGrad, RMSProp, Adam)

모멘텀 (Momentum)

: 경사하강법으로 이동할 때, 관성을 부여하는 최적화 기법이다.

• 경사하강법의 문제점을 개선하기 위해 제시된 최적화 기법 중 하나
• 이전에 이동했던 방향을 기억하면서 이전 기울기의 크기를 고려하여 어느정도 추가로 이동
• Local Minimum에 대처 가능

 

AdaGrad

: feature 별로 학습률을 다르게 적용하는 최적화 기법

• feature 별로 학습률을 다르게 적용하기 때문에, 학습이 효율적
• 학습이 오래 진행되면 학습률이 점점 작아져 0에 가까워지기 때문에 더이상 학습이 진행되지 않을 수 있음

 

RMSProp

: AdaGrad의 단점을 극복하기 위해 제시된 최적화 기법. AdaGrad와 마찬가지로 학습률을 다르게 적용하지만 기울기를 단순히 같은 비율로 누적하지 않고 지수이동평균(Exponential Moving Average, EMA)을 활용하여 업데이트 함.

 

Adam

: 모멘텀(Momentum) + RMSProp

 

 

Optimizer를 한눈에!