목록Xavier (1)

도라에몽주머니

[G검정/5장] 초기화 (Xavier, He)

Xavier 초기화: 시그모이드 계열의 활성화 함수를 사용할 때 가중치를 초기화하는 방법. 가중치의 분산이 입력 데이터의 개수 n에 반비례하도록 초기화 함. He 초기화: ReLU를 활성화 함수로 사용할 때 가중치를 초기화하는 방법. Xavier의 가중치의 분산을 2배로 함.Xavier는 ReLU를 사용했을 때, 음수구간에서 입력 데이터가 0이 되면서 전체 입력 데이터의 50%가 0이 되어 분산이 절반으로 줄어드는 문제가 발생한다.이러한 Xavier의 문제를 해결하기 위해 가중치의 분산을 두배로 키운 것이 He 초기화 방식이다.
Certificate/G検定 2024. 6. 10. 11:59
이전 Prev 1 Next 다음