[G검정/5장] 초기화 (Xavier, He)

Xavier 초기화

: 시그모이드 계열의 활성화 함수를 사용할 때 가중치를 초기화하는 방법. 가중치의 분산이 입력 데이터의 개수 n에 반비례하도록 초기화 함.

 

He 초기화

: ReLU를 활성화 함수로 사용할 때 가중치를 초기화하는 방법. Xavier의 가중치의 분산을 2배로 함.

• Xavier는 ReLU를 사용했을 때, 음수구간에서 입력 데이터가 0이 되면서 전체 입력 데이터의 50%가 0이 되어 분산이 절반으로 줄어드는 문제가 발생한다.
• 이러한 Xavier의 문제를 해결하기 위해 가중치의 분산을 두배로 키운 것이 He 초기화 방식이다.