Optimizer
-
Generalization 학습된 모델이 다른 새로운 데이터에 관해서도 잘 작동하도록 하는 것이 일반화이다. 학습 Iteratiion이 늘어남으로 인해 무조건 training error가 낮아진다고 해서 test error도 낮아진다는 보장이 없다. Generalization Gap Training error와 test error의 차이로 인해 실제 테스트 결과가 검증 결과와 차이가 생기는 것이다. Overfitting 모델이 학습 데이터에 관해서만 너무 학습되어서 예측률이 떨어져서 새로운 데이터에 관해서는 좋은 결과를 보이지 못하는 현상이다. Underfitting Network가 단순하거나 일반화에 너무 치중한 나머지 모델이 학습 데이터에 관해 덜 학습된 현상이다. Cross-validation 데이..
딥 러닝에서의 일반화(Generalization)와 최적화(Optimization)Generalization 학습된 모델이 다른 새로운 데이터에 관해서도 잘 작동하도록 하는 것이 일반화이다. 학습 Iteratiion이 늘어남으로 인해 무조건 training error가 낮아진다고 해서 test error도 낮아진다는 보장이 없다. Generalization Gap Training error와 test error의 차이로 인해 실제 테스트 결과가 검증 결과와 차이가 생기는 것이다. Overfitting 모델이 학습 데이터에 관해서만 너무 학습되어서 예측률이 떨어져서 새로운 데이터에 관해서는 좋은 결과를 보이지 못하는 현상이다. Underfitting Network가 단순하거나 일반화에 너무 치중한 나머지 모델이 학습 데이터에 관해 덜 학습된 현상이다. Cross-validation 데이..
2022.02.16 -
Deep Learning에서 중요한 요소 The data that the model can learn from The model how to transform the data The loss function that quantifies the badness of the model The algorithm to adjust the parameters to minimize the loss Data 데이터는 해결해야 할 문제에 의존적이다. Classification 이미지에 대한 label 찾기 예) 개·고양이 분류 문제 Sementic Segmentation 픽셀이 어떠한 개체에 속하는지를 분류 이미지 내 요소 구분 문제 Detection 이미지에서 개체에 대한 bounding box 찾기 사물 감지 문제 ..
딥 러닝에서 알아두어야 할 요소와 역사적으로 중요한 모델Deep Learning에서 중요한 요소 The data that the model can learn from The model how to transform the data The loss function that quantifies the badness of the model The algorithm to adjust the parameters to minimize the loss Data 데이터는 해결해야 할 문제에 의존적이다. Classification 이미지에 대한 label 찾기 예) 개·고양이 분류 문제 Sementic Segmentation 픽셀이 어떠한 개체에 속하는지를 분류 이미지 내 요소 구분 문제 Detection 이미지에서 개체에 대한 bounding box 찾기 사물 감지 문제 ..
2022.02.16