Archive: 2019/4

Gradient Vanishing

gradient vanishing problem신경망에서는 SGD(Stochastic Gradient Descent) 방법을 사용해 모델을 훈련시킨다. gradient의 Back Propagation을 통해 weight 값을 업데이트하며 오차가 작아지도록 훈련하게 된다. 신경망에 층을 많이 추가할수록 더 많은 데이터셋을 다룰 수 있는 복잡한 모델을 만들 수