딥러닝 모델 개선 방법
- Epoch 수와 과적합
- DNN 모델 크기 변경
- Dropout Layer 추가를 통한 Overfitting 규제
- Batch Normalization (배치정규화)
- Optimizer의 Learning rate(학습율) 조정을 통한 성능 향상
- Hyper parameter tuning
Hyper parameter tuning
Parameters
- 모델이 학습하여 데이터에 가장 적합한 값을 찾아내는 파라미터
- Weights
- Bias
Hyper parameters
- 모형의 구조를 결정하거나 optimization 방법을 결정하는 변수들로 개발자가 직접 설정하는 파라미터
- Optimizer의 종류
- learning rate()
- Hidden layer의 수
- Layer들의 unit(node)의 수
- Activation function의 종류
- Epoch 수
- Mini batch size
- Regularization
- dropout rate
- 다양한 조합의 hyper parameter를 시도해서 loss 함수가 빠르게 감소하는 hyper parameter를 찾아내는 시도가 필요
하이퍼파라미터 최적화 방법
- Manual Search
- Grid Search⭐
- Random Search
- Bayesian Optimization ⭐
- Non-Probabilistic
- Evolutionary Optimization
- Gradient-based Optimization
- Early Stopping
하이퍼 파라미터 최적화를 자동화해주는 프레임워크
- Optuna ⭐
- 파라미터의 범위를 지정해주거나, 파라미터가 될 수 있는 목록을 설정하면 매 Trial마다 파라미터를 변경하면서 최적의 파라미터 찾음
하이퍼파라미터 튜닝
캐글 노트북으로 하이퍼파라미터 튜닝 공부
velog.io
하이퍼 파라미터 최적화 정복하기 : Random Search부터 Optuna까지!
dacon.io
[2019] 하이퍼파라미터 튜닝으로 모델 성능 개선하기
[2019] 하이퍼파라미터 튜닝으로 모델 성능 개선하기 - Download as a PDF or view online for free
www.slideshare.net
'Data Science > ML & DL' 카테고리의 다른 글
| Pretrained Model | 2. Transfer Learning(전이학습)과 Fine tuning을 사용하자 (0) | 2023.10.31 |
|---|---|
| Image Augmentation | 1. 이미지에 효과를 주어 CNN small datasets의 데이터를 늘려보자 (0) | 2023.10.31 |
| 딥러닝 모델 개선 | 5. Learning rate(학습율) 조정 (0) | 2023.10.30 |
| 딥러닝 모델 개선 | 4.Batch Normalization (배치정규화) (0) | 2023.10.30 |
| 딥러닝 모델 개선 | 3. Dropout Layer 추가를 통한 Overfitting 규제 (1) | 2023.10.30 |
