가중치 상한
-
[확률적 경사 하강법(SGD)] 4. 과적합 완화(규제화)전공공부/Deep Learning 2021. 8. 2. 23:00
안녕하세요. 개알못입니다~ 어느덧 8월입니다...허허 시간 참 빠릅니다 :) 오늘은 저번시간에 배운 과적합을 줄이는 방법에 대해 알아보겠습니다. 1. 규제화 저번 시간에 살펴본 '과적합'은 학습 시 오차함수 값이 local minimum에 갇힌 상황이라고 볼 수 있습니다. 주로 가중치의 수가 많고, 신경망의 자유도가 높을 수록 그럴 확률이 높습니다. 고로 가중치의 자유도를 제약하는 규제화(Regularization)에 의해 과적합을 안화시킬 수 있습니다. 앞으로 '가중치 감쇠', '가중치 상한', '드롭아웃'이라는 3가지 규제화 방법에 대해 알아보겠습니다. 2. 가중치 감쇠 3가지 방법 중 가장 간단한 것이 바로 '가중치 감쇠'입니다. 가중치 감쇠란, 이름 그대로 가중치에 어떠한 제약을 가하는 것입니다...