목록AdaGrad (1)

도라에몽주머니

[G검정/5장] 최적화 개념 (모멘텀, AdaGrad, RMSProp, Adam)

모멘텀 (Momentum): 경사하강법으로 이동할 때, 관성을 부여하는 최적화 기법이다. 경사하강법의 문제점을 개선하기 위해 제시된 최적화 기법 중 하나이전에 이동했던 방향을 기억하면서 이전 기울기의 크기를 고려하여 어느정도 추가로 이동Local Minimum에 대처 가능 AdaGrad: feature 별로 학습률을 다르게 적용하는 최적화 기법feature 별로 학습률을 다르게 적용하기 때문에, 학습이 효율적학습이 오래 진행되면 학습률이 점점 작아져 0에 가까워지기 때문에 더이상 학습이 진행되지 않을 수 있음 RMSProp: AdaGrad의 단점을 극복하기 위해 제시된 최적화 기법. AdaGrad와 마찬가지로 학습률을 다르게 적용하지만 기울기를 단순히 같은 비율로 누적하지 않고 지수이동평균(Exponen..
Certificate/G検定 2024. 6. 6. 17:32
이전 Prev 1 Next 다음