deep learning
-
[확률적 경사 하강법(SGD)] 1. 경사 하강법전공공부/Deep Learning 2021. 7. 22. 23:00
안녕하세요. 개알못입니다~~ 이번 시간에는 딥러닝에서 자주 쓰이는 확률적 경사 하강법에 대하여 이야기 하겠습니다. 총 6~7번의 포스팅으로 마무리 될 것으로 예상됩니다. 1. 앞먹임 신경망의 사전 지식 1.1 앞먹임 신경망 경사 하강법에 들어가기 앞서, 앞먹임 신경망의 대한 사전 지식일 필요합니다. 간단히 설명하면, 앞먹임 신경망 학습 : 주어진 다음의 훈련 데이터로부터 계산되는 오차함수 E(w)를 신경망의 파라미터 w에 대하여 최소화하는 과정 1.2 훈련 데이터 하나의 입력 x에 대한 출력을 d 일때, 이러한 입출력이 쌍으로 있는 경우 아래 처럼 표현합니다. 각 입출력 쌍 (x, d)를 훈련 샘플(training samples)이라, 전체 집합 D를 훈련 데이터(training data)라고 부릅니다...