역전파법
-
[역전파법(backpropagation)]전공공부/Deep Learning 2021. 8. 17. 23:00
안녕하세요 개알못입니다~ 저번 SGD 시리즈에 이어 이번에는 역전파법에 관하여 이야기 하겠습니다 :) SGD 시리즈에서 나와 있다시피, 앞먹임 신경망(feedforward neural network)에서는 weight와 bias에 대한 오차함수의 미분을 계산해야합니다. 역전파법(backpropagation)은 이러한 미분을 효율적으로 계산하는 방법입니다. 앞으로 역전파법과 계산식 유도에 대해 알아보겠습니다. 1. 역전파법을 왜 사용하는가? 예를 들어 샘플 Xn에 대한 제곱오차를 (식 1)라 할 때, (식1)를 l번째 층의 가중치 W(l)의 한 성분인 Wji로 미분하겠습니다. En을 편미분 하면 (식 2)이 나옵니다. 여기서 우변의 두번째 항은 미분형태 이므로 다시 한번 구해야됩니다. 그러기 위해 y(x)..