본문 바로가기

전체 글

 (85)
딥러닝 모델 개선 | 5. Learning rate(학습율) 조정 딥러닝 모델 개선 방법 Epoch 수와 과적합 DNN 모델 크기 변경 Dropout Layer 추가를 통한 Overfitting 규제 Batch Normalization (배치정규화) Optimizer의 Learning rate(학습율) 조정을 통한 성능 향상 Hyper parameter tuning Optimizer의 Learning rate(학습율) 조정을 통한 성능 향상 Optimizer의 Learning rate이 너무 크거나 너무 작으면 최적의 파라미터를 찾지 못할 수 있다. 그래서 Learning rate는 모델 성능과 밀접한 관계가 있는 아주 중요한 Hyper Parameter이다. 학습률이란? 오차함수의 최적점의 기울기로 Gradient를 찾아가는데, 이때 최적점을 향해 움직이는 비율이 L..
딥러닝 모델 개선 | 4.Batch Normalization (배치정규화) 딥러닝 모델 개선 방법 Epoch 수와 과적합 DNN 모델 크기 변경 Dropout Layer 추가를 통한 Overfitting 규제 Batch Normalization (배치정규화) Optimizer의 Learning rate(학습율) 조정을 통한 성능 향상 Hyper parameter tuning Batch Normalization (배치정규화) 각 Layer에서 출력된 값을 평균 = 0 ,표준편차 =1 로 정규화하여 각 Layer의 입력 분포를 균일하게 만들어 준다. 적용 방식 :배치정규화는 입력 데이터와 파라미터의 가중합을 구한 결과에 적용한 뒤 그 결과를 Activation 함수에 전달한다. 가중합 결과에 대해서 -> 미니배치의 평균과 분산을 구한 다음-> 감마를 곱하고 베타를 더해서 정규화를 ..
딥러닝 모델 개선 | 3. Dropout Layer 추가를 통한 Overfitting 규제 딥러닝 모델 개선 방법 Epoch 수와 과적합 DNN 모델 크기 변경 Dropout Layer 추가를 통한 Overfitting 규제 Batch Normalization (배치정규화) Optimizer의 Learning rate(학습율) 조정을 통한 성능 향상 Hyper parameter tuning Dropout Layer 추가를 통한 Overfitting 규제 Neural networkdml Overfitting을 방지하기 위한 기법 과대적합 Overfitting : 모델이 너무 복잡해서 발생 → Train dataset의 너무 많은 특성을 학습하여 데이터에 대한 일반성이 떨어짐 Dropot Node 학습 시에 1) 일부 Unit(노드)들을 2)Random하게 3)빼고 학습함. (Weight → 0으..
딥러닝 모델 개선 | 2. DNN 모델의 크기를 변경하는 방법 딥러닝 모델 개선 방법 Epoch 수와 과적합 DNN 모델 크기 변경 Dropout Layer 추가를 통한 Overfitting 규제 Batch Normalization (배치정규화) Optimizer의 Learning rate(학습율) 조정을 통한 성능 향상 Hyper parameter tuning 2. DNN 모델의 크기를 변경하는 방법 DNN 모델 크기 모델의 layer나 unit 수가 많을 수록 복잡한 모델이 된다. Overfitting일 경우 모델을 간단하게 만들고 Underfitting일 경우 모델을 크게 만든다 ⇒ 큰 모델에서 시작하여(overfitting 발생, 최적화 가능) ⇒ layer나 unit수를 줄여가며 validation loss의 감소 추세를 관찰해 최적화 - linear에서는..
딥러닝 모델 개선 | 1. Epoch수와 과적합 Epoch과 과적합 데이터셋을 여러번 반복 학습을 하게 되면 초반에는 train, validation 성능이 모두 개선된다. 그러나 학습이 계속 반복되면 train 의 성능은 계속 좋아지지만 어느시점부터는 Overfitting이 발생하여 validation 의 성능은 나빠진다. Epoch을 반복하는 것은 같은 데이터셋을 반복적으로 학습하는 것이기 때문에 적절한 Epoch수를 넘어가면 Overfitting이 발생한다. ⇒ Validation set의 성능이 나빠지기 전의 반복 횟수를 모델의 최적의 Epoch으로 선택한다.
딥러닝 모델 성능 개선 | 과대적합과 과소적합의 문제 해결하기 모델을 만들기 전 목표 평가 지표를 정한다 → 그 목표의 정확도를 달성하면 모델을 선택 1. 어떤 모델을 선택해야하는가? 일반화된 모델 최적화 : trian data에서 최고의 성능을 얻으려고 파라미터들을 조정 = 모델을 학습 일반화된 모델 ⇒ 모델링을 통해 찾아야하는 목표 훈련된 모델이 처음 보는 데이터에 대해서도 잘 추론할 수 있는 특징을 찾음 = 학습을 통해 일반화된 특징 찾음 2. 모델 성능 문제와 개선 방향 Summary 과소적합문제와 과대적합 문제를 해결하여 그 중간의 적절한 정확도를 가지는 ‘일반화된 모델’을 선택해야한다. 2.1 과소적합 검증 결과 학습이 덜되어서(underfitting) Train set과 Validation 모두 성능이 안좋음 모델이 Train dataset 크기에 비해..
딥러닝 개요 1. 인공지능 인공지능 (AI-aritificial Intelligence) 기계가 사람의 지능을 모방하게 하는 기술 규칙 기반, 데이터 학습기반 1.1 Strong AI( 강 인공지능 ) vs Weak AI (약 인공지능) 강 인공지능 AGI성능을 가지는 인공지능 인공지능 연구가 목표하는 방향 약 인공지능 인간은 쉽게 처리할 수 있었지만 컴퓨터로 처리하기 어려웠던 일을 컴퓨터가 수행할 수 있도록 하는 것 지각을 가지고 있지 않으며 특정한 업무를 처리하는데 집중 1.2 인공지능의 발전을 가능하게만든 세가지 요소 데이터의 급격한 증가 사진, 동영상,IoT 기기, SNS컨텐츠 등으로 데이터가 증가 전 세계 디지털데이터의 90%가 최근 2년동안 생성 알고리즘의 발전 급증한 데이터를 이용한 기존 알고리즘 개선 ..
[python] 03.자료구조 | Set 4. Set 구문 { 값 , 값 , 값 } - { } 빈 set이 아니라 빈 dictionary를 생성 s2 = {1,1,1,1,1,2,2,2,2,3,3,3,3,4,4,5,5,5,5} s2 #중복을 허용하지 않아 unique value만 남긴다 > {1, 2, 3, 4, 5} s2[0] #개별 원소 조회 불가(식별자=index가 없음) 연산자 in, not in 연산자 값 in Set Set의 원소로 값이 있으면 True, 없으면 False 반환 값 not in Set Set의 원소로 값이 없으면 True, 있으면 False 반환 len(Set) Set의 원소의 개수 반환 1 in s2,10 in s2 > (True,False) 연산자 - 추가 : add, update - 제거 : pop, remove ..

티스토리툴바