과적합
-
[확률적 경사 하강법(SGD)] 5. 과적합 완화(학습을 위한 트릭)전공공부/Deep Learning 2021. 8. 3. 23:00
안녕하세요. 개알못입니다~~ 갑자기 장마가 시작 되었네요 허허 오늘은 저번 시간에 이어 과적합을 완화시켜주는 법에 대해 알아보겠습니다 :) 이번 5번째 글을 마지막으로 SGD를 마무리하겠습니다!! 저번 시간에는 규제화를 통해 과적합을 완화시켜주었습니다. 규제화를 크게 3가지로, 가중치감쇠 / 가중치 상한 / 드롭아웃이 있습니다. 그중에서 드롭아웃+가중치 상한을 함께 사용하는 것이 효과가 높음을 보았습니다. 이번 시간에는 학습 시에 적용하는 것만으로도 일반화 성능을 향상시키거나, 학습을 빨리 진행할 수 있게 하는 여러 방법에 대해 알아보겠습니다. 1. 전처리 훈련 데이터에 어떠한 경향이 포함될 때, 이러한 경향이 학습에 방해를 줄 수 있습니다. 이를 제거하기 위해 진처리(Preprocessing) 과정을 ..
-
[확률적 경사 하강법(SGD)] 4. 과적합 완화(규제화)전공공부/Deep Learning 2021. 8. 2. 23:00
안녕하세요. 개알못입니다~ 어느덧 8월입니다...허허 시간 참 빠릅니다 :) 오늘은 저번시간에 배운 과적합을 줄이는 방법에 대해 알아보겠습니다. 1. 규제화 저번 시간에 살펴본 '과적합'은 학습 시 오차함수 값이 local minimum에 갇힌 상황이라고 볼 수 있습니다. 주로 가중치의 수가 많고, 신경망의 자유도가 높을 수록 그럴 확률이 높습니다. 고로 가중치의 자유도를 제약하는 규제화(Regularization)에 의해 과적합을 안화시킬 수 있습니다. 앞으로 '가중치 감쇠', '가중치 상한', '드롭아웃'이라는 3가지 규제화 방법에 대해 알아보겠습니다. 2. 가중치 감쇠 3가지 방법 중 가장 간단한 것이 바로 '가중치 감쇠'입니다. 가중치 감쇠란, 이름 그대로 가중치에 어떠한 제약을 가하는 것입니다...