뉴런
-
[확률적 경사 하강법(SGD)] 2. 확률적 경사 하강법전공공부/Deep Learning 2021. 7. 25. 23:00
안녕하세요. 개알못입니다~ 저번에 이어 확률적 경사 하강법에 대하여 이야기 해보겠습니다. 1. 배치 학습 (batch learning) 저번 시간에 모든 훈련 샘플(n =1~N)에 관하여 오차함수 E(w)를 최적화하는 법을 배웠습니다. 이때 회귀문제와 다클래스 분류 문제 모두 E(w)는 각 샘플 한개에 대해서만 계산된 오차 En의 합으로 주어집니다. 즉, 이러한 방법을 배치 학습(batch learning)이라고 부릅니다. 또다른 말로는 epach learning 이라고도 부릅니다. 저번 시간에 살펴본 식 에서는 E(w)의 기울기를 사용합니다. 2. 확률적 경사 하강법 (stochastic gradient descent) 배치 학습과 대조적으로, 샘플의 일부 혹은 샘플 하나만을 사용하여 파라미터를 업데이..