Data Science/ML & DL (22) 썸네일형 리스트형 RNN 개요 | RNN Sequential 데이터란 - 데이터의 순서 정보가 중요한 데이터셋으로 순서가 달라질 경우 의미가 바뀌거나 손상되는 데이터를 말한다. - 예 - 자연어 텍스트 - 일정한 주기로 샘플링된 영상, 음성 - 시계열(time series) 데이터 :순서 + 데이터가 발생한 시점 정보가 중요한 데이터셋 RNN (Recurrent Neural Network) 구조 - RNN은 Feature 추출기로 Recurrent Layer을 사용하는 딥러닝 모델을 말한다.. - Recurrent Layer는 sequential 데이터 처리에 좋은 성능을 낸다. Recurrent Layer 구조 - RNN은 순서대로 입력되는 데이터를 반복 처리하는 Recurrent Layer를 이용해 Feature vector를 추출하고+ 그.. 주요 CNN 모델 | VGGNet , ResNet , Mobilenet ImageNet Dataset - https://www.image-net.org/ - 페이페이 리 교수가 이끄는 Stanford Vision Lab에서 - 웹상에서 수집한 약 1500만장의 라벨링된 고해상도 이미지로 약 22,000개 카테고리로 구성된 대규모 Image 데이터셋. ILSVRC(ImageNet Large Scale Visual Recognition Challenge) 대회 - https://image-net.org/challenges/LSVRC/ - 2010년 부터 2017년 까지 진행된 컴퓨터 비전 경진대회. - ImageNet의 이미지중 1000개 카테고리 약 120만장의 학습용이미지, 5만장의 검증 이미지, 15만장의 테스트 이미지를 이용해 대회를 진행한다. - 2012년 CNN기반 .. Pretrained Model | 2. Transfer Learning(전이학습)과 Fine tuning을 사용하자 Data 양이 많지 않아 딥러닝 모델의 학습에 어려움이 있을 때 사용 가능한 방법 1) Image augmentation 활용 - Image에 다양한 효과를 주어 데이터양을 늘린다. 2) Pre-trained network의 활용한 Transfer learning (전이학습) - 매우 큰 데이터셋으로 미리 Training한 모델을 이용해 모델을 정의한다. - 성능이 좋은모델을 다량의 데이터로 학습시킨 모델을 사용하므로 적은 데이터에도 좋은 성능을 낼 수있다. summary Transfer Learning : pre-trained model에서 feature extracxtor를 가져와 일반적인 특징을 추출하고 직접 구성한 new classfier에서 학습을 진행해 업데이트한다. - Backbone ( T.. Image Augmentation | 1. 이미지에 효과를 주어 CNN small datasets의 데이터를 늘려보자 Data 양이 많지 않아 딥러닝 모델의 학습에 어려움이 있을 때 사용 가능한 방법 1) Image augmentation 활용 - Image에 다양한 효과를 주어 데이터양을 늘린다. 2) Pre-trained network의 활용한 Transfer learning (전이학습) - 매우 큰 데이터셋으로 미리 Training한 모델을 이용해 모델을 정의한다. - 성능이 좋은모델을 다량의 데이터로 학습시킨 모델을 사용하므로 적은 데이터에도 좋은 성능을 낼 수있다. ⭐Summary dataset객체에 1.전처리 함수 와 2. transform함수를 적용함으로써 데이터를 처리할 수 있다. - transforms.Compose([함수, 함수, 함수, ...])형식으로 적용할 함수(image augmentation함.. 딥러닝 모델 개선 | 6. Hyper parameter tuning 딥러닝 모델 개선 방법 Epoch 수와 과적합 DNN 모델 크기 변경 Dropout Layer 추가를 통한 Overfitting 규제 Batch Normalization (배치정규화) Optimizer의 Learning rate(학습율) 조정을 통한 성능 향상 Hyper parameter tuning Hyper parameter tuning Parameters - 모델이 학습하여 데이터에 가장 적합한 값을 찾아내는 파라미터 - Weights - Bias Hyper parameters - 모형의 구조를 결정하거나 optimization 방법을 결정하는 변수들로 개발자가 직접 설정하는 파라미터 - Optimizer의 종류 - learning rate() - Hidden layer의 수 - Layer들의 un.. 딥러닝 모델 개선 | 5. Learning rate(학습율) 조정 딥러닝 모델 개선 방법 Epoch 수와 과적합 DNN 모델 크기 변경 Dropout Layer 추가를 통한 Overfitting 규제 Batch Normalization (배치정규화) Optimizer의 Learning rate(학습율) 조정을 통한 성능 향상 Hyper parameter tuning Optimizer의 Learning rate(학습율) 조정을 통한 성능 향상 Optimizer의 Learning rate이 너무 크거나 너무 작으면 최적의 파라미터를 찾지 못할 수 있다. 그래서 Learning rate는 모델 성능과 밀접한 관계가 있는 아주 중요한 Hyper Parameter이다. 학습률이란? 오차함수의 최적점의 기울기로 Gradient를 찾아가는데, 이때 최적점을 향해 움직이는 비율이 L.. 이전 1 2 3 다음
