저번 글의 연장선이지만, 이번에도 연합동아리 세션에서 과제로 만들었던 자료를 정리하여 글로 남기고자 한다. [PyTorch RNN 모델 사용 예제 - AG NEWS 기사 주제 분류] https://glanceyes.tistory.com/entry/PyTorch로-RNN-모델-구현해보기-AG-NEWS-뉴스-기사-주제-분류?category=1057558 PyTorch RNN 모델 사용 예제 - AG NEWS 뉴스 기사 주제 분류 현재 활동 중인 빅데이터 연합동아리인 BITAmin에서 RNN에 관한 세션에서 발표를 진행했는데, 그때 Vanilla RNN 사용과 함께 PyTorch로 RNN을 사용한 모델을 구현하는 내용도 같이 강의하려고 실습 자료 glanceyes.tistory.com 현재 활동 중인 빅데이터..

현재 활동 중인 빅데이터 연합동아리인 BITAmin에서 RNN에 관한 세션에서 발표를 진행했는데, 그때 Vanilla RNN 사용과 함께 PyTorch로 RNN을 사용한 모델을 구현하는 내용도 같이 강의하려고 실습 자료를 직접 만들었다. 네이버 부스트캠프 AI Tech에서 유명한 과제 중 하나인 '부덕이 🦆'에 매우 큰 영감을 받아서 이 발표 자료를 제작할 때도 코드 한 줄마다 빼곡히 주석을 넣었을 뿐만이 아니라 대화체로 연관 개념들을 마크다운으로 설명을 적어놓았다. 처음에는 필자인 나 자신도 자료를 제작하면서 고통스럽고 오글거리는 말투로 인해 반응이 좋지 않을까 많이 걱정했는데, 다행히 강의에서 동아리원들이 괜찮은 반응을 보여줘서 굉장히 뿌듯했던 것 같다. 사실 어떠한 발표 자료를 만들 때 개인적으로 ..

2022년 1월 24일(월)부터 28일(금)까지 네이버 부스트캠프(boostcamp) AI Tech 강의를 들으면서 개인적으로 중요하다고 생각되거나 짚고 넘어가야 할 핵심 내용들만 간단하게 메모한 내용입니다. 틀리거나 설명이 부족한 내용이 있을 수 있으며, 이는 학습을 진행하면서 꾸준히 내용을 수정하거나 추가해 나갈 예정입니다. PyTorch로 딥러닝 하는 과정에서 문제 발생 시 해결하기 ERROR: Unexpected bus error encountered in worker. This might be caused by insufficient shared memory DL 모델링을 하면서 자주 보게 될 오류로 GPU 상에서의 OOM(Out Of Memory)가 있다. 이는 다음과 같은 문제를 지닌다. 왜..

2022년 1월 24일(월)부터 28일(금)까지 네이버 부스트캠프(boostcamp) AI Tech 강의를 들으면서 개인적으로 중요하다고 생각되거나 짚고 넘어가야 할 핵심 내용들만 간단하게 메모한 내용입니다. 틀리거나 설명이 부족한 내용이 있을 수 있으며, 이는 학습을 진행하면서 꾸준히 내용을 수정하거나 추가해 나갈 예정입니다. Hyperparameter Tuning 모델의 Parameter는 학습 과정에서 조정되는 값이지만, Hyperparameter(하이퍼파라미터)는 사용자가 직접 설정하는 값이다. 모델이 스스로 학습하지 않는 learning rate, 모델의 크기, optimizer의 종류 등이 이에 해당된다. 최적의 Hyperparameter는 데이터마다 다르며, 이에 대한 튜닝은 성능을 높일 수..

2022년 1월 24일(월)부터 28일(금)까지 네이버 부스트캠프(boostcamp) AI Tech 강의를 들으면서 개인적으로 중요하다고 생각되거나 짚고 넘어가야 할 핵심 내용들만 간단하게 메모한 내용입니다. 틀리거나 설명이 부족한 내용이 있을 수 있으며, 이는 학습을 진행하면서 꾸준히 내용을 수정하거나 추가해 나갈 예정입니다. Multi GPU 오늘날의 딥러닝은 엄청난 데이터와의 싸움이며, 다양한 컴퓨팅 리소스와 파워를 사용해서 모델에 데이터를 학습시켜야 한다. 그중 중요한 컴퓨팅 리소스인 GPU를 딥러닝에서 어떻게 다룰 것인가가 중요하다. Node: 시스템 또는 하나의 컴퓨터 Single Node Single GPU Single Node Multi GPU Multi Node Multi GPU 필요 시..

2022년 1월 24일(월)부터 28일(금)까지 네이버 부스트캠프(boostcamp) AI Tech 강의를 들으면서 개인적으로 중요하다고 생각되거나 짚고 넘어가야 할 핵심 내용들만 간단하게 메모한 내용입니다. 틀리거나 설명이 부족한 내용이 있을 수 있으며, 이는 학습을 진행하면서 꾸준히 내용을 수정하거나 추가해 나갈 예정입니다. Monitoring Tools for PyTorch 모델 학습은 보통 아주 오랜 시간이 걸리므로 올바른 방향으로 학습이 진행되고 있는지 확인할 수 있는 기록이 필요한데, 이를 위해 자주 쓰이는 도구로는 크게 TensorBoard와 Weight & Biases가 존재한다. TensorBoard TensorFlow의 프로젝트로 만들어진 시각화 도구이다. Pytorch도 연결 가능해서..

2022년 1월 24일(월)부터 28일(금)까지 네이버 부스트캠프(boostcamp) AI Tech 강의를 들으면서 개인적으로 중요하다고 생각되거나 짚고 넘어가야 할 핵심 내용들만 간단하게 메모한 내용입니다. 틀리거나 설명이 부족한 내용이 있을 수 있으며, 이는 학습을 진행하면서 꾸준히 내용을 수정하거나 추가해 나갈 예정입니다. PyTorch에서 Model의 학습 과정 [출처] BITAmin 연합동아리 PyTorch 실습 세션에서 발표용으로 직접 제작한 자료 전반적인 모델 제작 및 학습 과정 전반적으로 PyTorch 모델을 제작하고 학습시키는 과정을 요약하면 다음과 같다. Dataset 정의 DataLoader를 정의하여 Dataset을 업로드 학습할 Model 정의 Loss와 Optimizer 정의 설..

2022년 1월 24일(월)부터 28일(금)까지 네이버 부스트캠프(boostcamp) AI Tech 강의를 들으면서 개인적으로 중요하다고 생각되거나 짚고 넘어가야 할 핵심 내용들만 간단하게 메모한 내용입니다. 틀리거나 설명이 부족한 내용이 있을 수 있으며, 이는 학습을 진행하면서 꾸준히 내용을 수정하거나 추가해 나갈 예정입니다. Dataset & DataLoader [출처] BITAmin 연합동아리 PyTorch 실습 세션에서 발표용으로 직접 제작한 자료 Model에 데이터를 학습시키기 전에 우선 훈련용, 검증용 데이터에 관한 Dataset과 DataLoader를 지정해줘야 한다. Dataset 데이터를 모델에 feeding할 때 사용하는 API이다. 또한 모델에 입력으로 주어지는 데이터의 형태와 방식을..