[G검정/5장] 최적화 개념 (경사하강법, 확률적경사하강법)

勾配降下法 (경사하강법 ; Gradient Descent Method)

: 경사를 따라 내려가며 최소값을 찾아가는 방식으로 최적화를 하는 것

• 勾配降下法 의 종류로는 最急降下法 (경사하강법 ; Gradient Descent) 과 確率的勾配降下法 (확률적경사하강법 ; Stochastic Gradient Descent) 이 있다.

 

最急降下法 (경사하강법 ; Gradient Descent)

: 학습 데이터의 모든 오류의 합을 구한 뒤, 매개변수를 업데이트하는 방식으로 학습함. 勾配降下法 에서 기본으로 사용되는 방식.

• 학습 데이터가 많으면 계산비용이 매우 커짐
• 학습 데이터가 늘어날 때마다 모든 데이터에서 재학습이 필요

 

確率的勾配降下法 (확률적 경사하강법 ; Stochastic Gradient Descent)

: 학습 데이터를 셔플한 후, 학습 데이터 중에서 무작위로 하나를 추출하여 오차를 계산하고 파라미터를 업데이트 함. 

• 기본 경사하강법보다 정밀도는 조금 떨어지지만 재학습의 계산량이 줄어듦
• 운이 좋으면 기본 경사하강법보다 빨리 도착하지만 운이 나쁘면 시간을 많이 들여도 적절한 최적해를 얻을 수 없기도 함