[G검정/5장] 배치 정규화

배치 정규화 (Batch Normalization)

: 학습 과정에서 Batch 마다 평균과 분산을 활용하여 데이터의 분포를 정규화 하는 과정.

• input data를 정규화를 통해 특정 분포를 띄도록 만들더라도, 활성화 함수를 통과하면 데이터의 분포가 바뀌게 된다.
• 이러한 문제를 해결하고자, 각 층에서 전달된 데이터에 대해 각각 정규화를 수행한다.
• 하지만 이렇게 계속 데이터를 정규화 하게 되면 활성화 함수의 비선형 성질을 잃게 되는 문제가 발생한다.
  • sigmoid 함수의 경우, 입력값이 N(0, 1) 이라면, 95%의 입력값은 sigmoid 함수의 그래프의 중간에 속하게 된다.

sigmoid 선형 구간

• 이러한 문제점을 해결하기 위해서 감마(γ), 베타(β) 값을 사용해 활성화 함수로 들어가는 값의 범위를 바꿔줌으로 비선형 성질을 보존하게 된다.
  • 감마(γ), 베타(β) 값은 학습 가능한 변수이고, 역전파 (Backpropagation) 를 통해서 학습된다.

배치 정규화

 

장점

• 기울기 소실 문제 개선
• 학습을 빨리 진행할 수 있음
• 초기값에 크게 의존하지 않음
• 통학습이 일어나기 어려움 (Overfitting이 감소)

 

단점

• 미니배치의 사이즈가 너무 작으면 동작이 잘 안됨
• 중간중간 BN이 적용되므로 모델이 복잡해짐