본문 바로가기

Data Science

 (51)
주요 CNN 모델 | VGGNet , ResNet , Mobilenet ImageNet Dataset - https://www.image-net.org/ - 페이페이 리 교수가 이끄는 Stanford Vision Lab에서 - 웹상에서 수집한 약 1500만장의 라벨링된 고해상도 이미지로 약 22,000개 카테고리로 구성된 대규모 Image 데이터셋. ILSVRC(ImageNet Large Scale Visual Recognition Challenge) 대회 - https://image-net.org/challenges/LSVRC/ - 2010년 부터 2017년 까지 진행된 컴퓨터 비전 경진대회. - ImageNet의 이미지중 1000개 카테고리 약 120만장의 학습용이미지, 5만장의 검증 이미지, 15만장의 테스트 이미지를 이용해 대회를 진행한다. - 2012년 CNN기반 ..
💻 데이콘 강연 : 데이콘 랭커 1위 'datu' 강연 보호되어 있는 글입니다.
Pretrained Model | 2. Transfer Learning(전이학습)과 Fine tuning을 사용하자 Data 양이 많지 않아 딥러닝 모델의 학습에 어려움이 있을 때 사용 가능한 방법 1) Image augmentation 활용 - Image에 다양한 효과를 주어 데이터양을 늘린다. 2) Pre-trained network의 활용한 Transfer learning (전이학습) - 매우 큰 데이터셋으로 미리 Training한 모델을 이용해 모델을 정의한다. - 성능이 좋은모델을 다량의 데이터로 학습시킨 모델을 사용하므로 적은 데이터에도 좋은 성능을 낼 수있다. summary Transfer Learning : pre-trained model에서 feature extracxtor를 가져와 일반적인 특징을 추출하고 직접 구성한 new classfier에서 학습을 진행해 업데이트한다. - Backbone ( T..
Image Augmentation | 1. 이미지에 효과를 주어 CNN small datasets의 데이터를 늘려보자 Data 양이 많지 않아 딥러닝 모델의 학습에 어려움이 있을 때 사용 가능한 방법 1) Image augmentation 활용 - Image에 다양한 효과를 주어 데이터양을 늘린다. 2) Pre-trained network의 활용한 Transfer learning (전이학습) - 매우 큰 데이터셋으로 미리 Training한 모델을 이용해 모델을 정의한다. - 성능이 좋은모델을 다량의 데이터로 학습시킨 모델을 사용하므로 적은 데이터에도 좋은 성능을 낼 수있다. ⭐Summary dataset객체에 1.전처리 함수 와 2. transform함수를 적용함으로써 데이터를 처리할 수 있다. - transforms.Compose([함수, 함수, 함수, ...])형식으로 적용할 함수(image augmentation함..
딥러닝 모델 개선 | 6. Hyper parameter tuning 딥러닝 모델 개선 방법 Epoch 수와 과적합 DNN 모델 크기 변경 Dropout Layer 추가를 통한 Overfitting 규제 Batch Normalization (배치정규화) Optimizer의 Learning rate(학습율) 조정을 통한 성능 향상 Hyper parameter tuning Hyper parameter tuning Parameters - 모델이 학습하여 데이터에 가장 적합한 값을 찾아내는 파라미터 - Weights - Bias Hyper parameters - 모형의 구조를 결정하거나 optimization 방법을 결정하는 변수들로 개발자가 직접 설정하는 파라미터 - Optimizer의 종류 - learning rate() - Hidden layer의 수 - Layer들의 un..
딥러닝 모델 개선 | 5. Learning rate(학습율) 조정 딥러닝 모델 개선 방법 Epoch 수와 과적합 DNN 모델 크기 변경 Dropout Layer 추가를 통한 Overfitting 규제 Batch Normalization (배치정규화) Optimizer의 Learning rate(학습율) 조정을 통한 성능 향상 Hyper parameter tuning Optimizer의 Learning rate(학습율) 조정을 통한 성능 향상 Optimizer의 Learning rate이 너무 크거나 너무 작으면 최적의 파라미터를 찾지 못할 수 있다. 그래서 Learning rate는 모델 성능과 밀접한 관계가 있는 아주 중요한 Hyper Parameter이다. 학습률이란? 오차함수의 최적점의 기울기로 Gradient를 찾아가는데, 이때 최적점을 향해 움직이는 비율이 L..
딥러닝 모델 개선 | 4.Batch Normalization (배치정규화) 딥러닝 모델 개선 방법 Epoch 수와 과적합 DNN 모델 크기 변경 Dropout Layer 추가를 통한 Overfitting 규제 Batch Normalization (배치정규화) Optimizer의 Learning rate(학습율) 조정을 통한 성능 향상 Hyper parameter tuning Batch Normalization (배치정규화) 각 Layer에서 출력된 값을 평균 = 0 ,표준편차 =1 로 정규화하여 각 Layer의 입력 분포를 균일하게 만들어 준다. 적용 방식 :배치정규화는 입력 데이터와 파라미터의 가중합을 구한 결과에 적용한 뒤 그 결과를 Activation 함수에 전달한다. 가중합 결과에 대해서 -> 미니배치의 평균과 분산을 구한 다음-> 감마를 곱하고 베타를 더해서 정규화를 ..
딥러닝 모델 개선 | 3. Dropout Layer 추가를 통한 Overfitting 규제 딥러닝 모델 개선 방법 Epoch 수와 과적합 DNN 모델 크기 변경 Dropout Layer 추가를 통한 Overfitting 규제 Batch Normalization (배치정규화) Optimizer의 Learning rate(학습율) 조정을 통한 성능 향상 Hyper parameter tuning Dropout Layer 추가를 통한 Overfitting 규제 Neural networkdml Overfitting을 방지하기 위한 기법 과대적합 Overfitting : 모델이 너무 복잡해서 발생 → Train dataset의 너무 많은 특성을 학습하여 데이터에 대한 일반성이 떨어짐 Dropot Node 학습 시에 1) 일부 Unit(노드)들을 2)Random하게 3)빼고 학습함. (Weight → 0으..

티스토리툴바