Generalization 학습된 모델이 다른 새로운 데이터에 관해서도 잘 작동하도록 하는 것이 일반화이다. 학습 Iteratiion이 늘어남으로 인해 무조건 training error가 낮아진다고 해서 test error도 낮아진다는 보장이 없다. Generalization Gap Training error와 test error의 차이로 인해 실제 테스트 결과가 검증 결과와 차이가 생기는 것이다. Overfitting 모델이 학습 데이터에 관해서만 너무 학습되어서 예측률이 떨어져서 새로운 데이터에 관해서는 좋은 결과를 보이지 못하는 현상이다. Underfitting Network가 단순하거나 일반화에 너무 치중한 나머지 모델이 학습 데이터에 관해 덜 학습된 현상이다. Cross-validation 데이..

2022년 1월 24일(월)부터 28일(금)까지 네이버 부스트캠프(boostcamp) AI Tech 강의를 들으면서 개인적으로 중요하다고 생각되거나 짚고 넘어가야 할 핵심 내용들만 간단하게 메모한 내용입니다. 틀리거나 설명이 부족한 내용이 있을 수 있으며, 이는 학습을 진행하면서 꾸준히 내용을 수정하거나 추가해 나갈 예정입니다. PyTorch로 딥러닝 하는 과정에서 문제 발생 시 해결하기 ERROR: Unexpected bus error encountered in worker. This might be caused by insufficient shared memory DL 모델링을 하면서 자주 보게 될 오류로 GPU 상에서의 OOM(Out Of Memory)가 있다. 이는 다음과 같은 문제를 지닌다. 왜..

2022년 1월 24일(월)부터 28일(금)까지 네이버 부스트캠프(boostcamp) AI Tech 강의를 들으면서 개인적으로 중요하다고 생각되거나 짚고 넘어가야 할 핵심 내용들만 간단하게 메모한 내용입니다. 틀리거나 설명이 부족한 내용이 있을 수 있으며, 이는 학습을 진행하면서 꾸준히 내용을 수정하거나 추가해 나갈 예정입니다. Hyperparameter Tuning 모델의 Parameter는 학습 과정에서 조정되는 값이지만, Hyperparameter(하이퍼파라미터)는 사용자가 직접 설정하는 값이다. 모델이 스스로 학습하지 않는 learning rate, 모델의 크기, optimizer의 종류 등이 이에 해당된다. 최적의 Hyperparameter는 데이터마다 다르며, 이에 대한 튜닝은 성능을 높일 수..

2022년 1월 24일(월)부터 28일(금)까지 네이버 부스트캠프(boostcamp) AI Tech 강의를 들으면서 개인적으로 중요하다고 생각되거나 짚고 넘어가야 할 핵심 내용들만 간단하게 메모한 내용입니다. 틀리거나 설명이 부족한 내용이 있을 수 있으며, 이는 학습을 진행하면서 꾸준히 내용을 수정하거나 추가해 나갈 예정입니다. Multi GPU 오늘날의 딥러닝은 엄청난 데이터와의 싸움이며, 다양한 컴퓨팅 리소스와 파워를 사용해서 모델에 데이터를 학습시켜야 한다. 그중 중요한 컴퓨팅 리소스인 GPU를 딥러닝에서 어떻게 다룰 것인가가 중요하다. Node: 시스템 또는 하나의 컴퓨터 Single Node Single GPU Single Node Multi GPU Multi Node Multi GPU 필요 시..

2022년 1월 24일(월)부터 28일(금)까지 네이버 부스트캠프(boostcamp) AI Tech 강의를 들으면서 개인적으로 중요하다고 생각되거나 짚고 넘어가야 할 핵심 내용들만 간단하게 메모한 내용입니다. 틀리거나 설명이 부족한 내용이 있을 수 있으며, 이는 학습을 진행하면서 꾸준히 내용을 수정하거나 추가해 나갈 예정입니다. Monitoring Tools for PyTorch 모델 학습은 보통 아주 오랜 시간이 걸리므로 올바른 방향으로 학습이 진행되고 있는지 확인할 수 있는 기록이 필요한데, 이를 위해 자주 쓰이는 도구로는 크게 TensorBoard와 Weight & Biases가 존재한다. TensorBoard TensorFlow의 프로젝트로 만들어진 시각화 도구이다. Pytorch도 연결 가능해서..

2022년 1월 24일(월)부터 28일(금)까지 네이버 부스트캠프(boostcamp) AI Tech 강의를 들으면서 개인적으로 중요하다고 생각되거나 짚고 넘어가야 할 핵심 내용들만 간단하게 메모한 내용입니다. 틀리거나 설명이 부족한 내용이 있을 수 있으며, 이는 학습을 진행하면서 꾸준히 내용을 수정하거나 추가해 나갈 예정입니다. PyTorch에서 Model의 학습 과정 [출처] BITAmin 연합동아리 PyTorch 실습 세션에서 발표용으로 직접 제작한 자료 전반적인 모델 제작 및 학습 과정 전반적으로 PyTorch 모델을 제작하고 학습시키는 과정을 요약하면 다음과 같다. Dataset 정의 DataLoader를 정의하여 Dataset을 업로드 학습할 Model 정의 Loss와 Optimizer 정의 설..

2022년 1월 24일(월)부터 28일(금)까지 네이버 부스트캠프(boostcamp) AI Tech 강의를 들으면서 개인적으로 중요하다고 생각되거나 짚고 넘어가야 할 핵심 내용들만 간단하게 메모한 내용입니다. 틀리거나 설명이 부족한 내용이 있을 수 있으며, 이는 학습을 진행하면서 꾸준히 내용을 수정하거나 추가해 나갈 예정입니다. Dataset & DataLoader [출처] BITAmin 연합동아리 PyTorch 실습 세션에서 발표용으로 직접 제작한 자료 Model에 데이터를 학습시키기 전에 우선 훈련용, 검증용 데이터에 관한 Dataset과 DataLoader를 지정해줘야 한다. Dataset 데이터를 모델에 feeding할 때 사용하는 API이다. 또한 모델에 입력으로 주어지는 데이터의 형태와 방식을..

2022년 1월 24일(월)부터 28일(금)까지 네이버 부스트캠프(boostcamp) AI Tech 강의를 들으면서 개인적으로 중요하다고 생각되거나 짚고 넘어가야 할 핵심 내용들만 간단하게 메모한 내용입니다. 틀리거나 설명이 부족한 내용이 있을 수 있으며, 이는 학습을 진행하면서 꾸준히 내용을 수정하거나 추가해 나갈 예정입니다. PyTorch에서의 Model [출처] https://commons.wikimedia.org/wiki/File:Example_of_a_deep_neural_network.png, BrunelloN DNN 모델은 여러 레이어(블록)의 연속으로 이루어질 수 있으며, 이를 구성하는 레이어에는 Softmax Layer, Linear Layer, Normalization Layer 등이 ..