가중치 초기화, 배치 정규화

- 가중치 초기화: 기울기 소실/폭주(Gradient Vanishing/Exploding) 현상을 막고자 가중치를 정규분포(균등분포)를 활용하여 새로 초기화시킨 상태로 계산하는 방식 - Xavier, He 방식 (각각 Sigmoid, ReLU에 도입

- 배치 정규화: 학습 시마다 출력값을 정규화하므로 초기 가중치값에 크게 의존하지 않아 오버피팅 가능성을 줄임

단, 학습 시마다 정규화된 가중치가 기존의 가중치의 입력분포와 많이 상이해질 경우 엉뚱한 방향으로 학습될 가능성이 있음(신경망의 깊이가 깊어질수록 가능성은 높아지는 경향)

- 정리

 1. 학습시에는 mini-batch의 평균 및 분산으로 정규화하고, 검증 시 이미 구해놓은 평균, 분산을 활용해 정규화를 수행

  : 주의점은 미니배치의 크기가 너무 작을 경우 분산값을 사용하는 의미가 퇴색되므로 유의.

 2. 이후 Scale(람다), Shift(베타) 인자를 활용하여 변환을 수행하며 이 값은 역전파에서도 학습되어져 정확도에 도움

 

wikidocs.net/61375

위키독스

seongkyun.github.io/blog/page13/

Blog · Seongkyun Han's blog