[3/8] 딥러닝 심화2 (모델의 과소적합, 과대적합을 방지하기 위한 방법 3가지)

모델의 과소적합, 과대적합을 방지하기 위한 방법 3가지

- 크기 변경

- 규제 적용

- 드롭아웃

 

1. 모델 크기조절과 규제

- 딥러닝 모델의 크기를 조절하는 방법 2가지 : 레이어의 unit 수, 레이어의 수 

- 모델이 크다 : 모델의 파라미터가 너무 많다는 거. 과대적합.

 

 

| 규제 (L2 를 더 많이 사용한다)

 

- 규제화 : 큰 가중치 값은 큰 규제를 가하는 방법

- 가중치의 분포를 균일하게 만들고, 네트워크의 복잡도에 제한을 두어 가중치가 작은 값을 갖도록 한다.

- 적절한 규제값을 찾기

 

기본 loss function + 알파*(규제) : 규제를 얼만큼 적용할건지 정한다

 

 

 

| 드롭아웃 

: 드롭아웃은 아주 간편하게 모델에 적용할 수 있다는 점에서 활용도가 크다

 

 

 

- 20~50% 사이의 비율의 노드를 dropout 한다

- 과대적합을 방지하는 규제다