-31일차- 정규화와 정칙화

Regularization, Normalization

정칙화

오버피팅을 해결하기 위한 방법중의 하나로

L1, L2 Regularization, Dropout, Batch normalization등이 있음

train set의 정답을 맞히지 못하도록 오버피팅을 방해(train loss가 증가)하지만

결과적으로 test loss를 감소시키려는 목적

 

정규화

데이터의 형태를 좀 더 의미있게 혹은 트레이닝에 적합하게 전처리하는 과정

데이터를 z-score로 바꾸거나 minmax scaler를 사용하여 0과 1사이의 값으로 분포를 조정

금액과 같은 큰범위의 값과 시간값이 들어갈 경우, 초반에는 데이터 거리간의 측정이 범위 분포특성에 대해 왜곡됨

 

Regularization : 오버피팅 막기

Normalization : 다른 범위 데이터를 같은 범위로 바꾸는 전처리과정

 

L1 regularization (Lasso) 정의

이 부분만 제외한다면 Linear regression과 동일

L2 regularization과 차이를 나타내는 중요한 부분

 

코드로 전체 실습해보기

 

GitHub - dlfrnaos19/FundamentalOfMachineLearning: Machine Learning study notes