Generative Model Generative Model이란? Discriminative Model과 Generative Model 일반적으로 머신러닝에서 모델을 크게 두 범주로 분류하자면 discriminative model과 generative model로 구분할 수 있다. Discriminative model은 데이터의 레이블링을 예측하는 것처럼 decision boundary를 잘 결정하는 것이 목표인 모델이며, 우리가 일반적으로 잘 아는 classficiation, segmentation, detection과 같은 task를 잘 수행하는 모델로 볼 수 있다. 그에 반해 생성 모델(generative model)은 기본적으로 어떠한 입력이 주어졌을 때 이를 모델에 통과하여 output을 내는데..

Sequential Model Sequential Model이 어려운 이유 언어 문장을 예로 들면 완벽한 문장 구조에 대응되도록 문장을 만드는 경우는 흔치 않은데, 이러한 문제는 sequential model에 있어서 난관이다. 또한 기존 Seq2Seq 모델은 고정된 크기의 context vector에 source 문장 정보를 압축하는데, 이는 병목(bottleneck)을 발생시켜 성능 하락의 원인이 된다. 하나의 문맥 vector가 source 문장의 모든 정보를 가지고 있어야 하므로 성능이 저하된다는 문제가 있다. 그래서 매번 source 문장에서의 출력 전부를 입력으로 받는 것이 transformer의 아이디어이다. 최근 트렌드는 입력 시퀀스 전체에서 정보를 추출하는 모델로 발전하는 방향이다. Tr..

Sequential Model Sequential Data [출처] https://machinelearningmastery.com/multivariate-time-series-forecasting-lstms-keras 일상적으로 접하는 데이터는 대부분 sequential data이다. (예: 음성, 비디오 등) Naive Sequence Model $$ p(x_t | x_{t-1}, x_{t-2}, \cdots) $$ 시간이 지남에 따라 고려해야 하는 데이터의 개수가 계속 증가한다. 길이가 주어지지 않아서 받아들여야 하는 데이터의 입력의 차원을 알 수 없다는 단점이 있다. Autoregressive Model [출처] https://www.researchgate.net/figure/Autoregressi..

Generalization 학습된 모델이 다른 새로운 데이터에 관해서도 잘 작동하도록 하는 것이 일반화이다. 학습 Iteratiion이 늘어남으로 인해 무조건 training error가 낮아진다고 해서 test error도 낮아진다는 보장이 없다. Generalization Gap Training error와 test error의 차이로 인해 실제 테스트 결과가 검증 결과와 차이가 생기는 것이다. Overfitting 모델이 학습 데이터에 관해서만 너무 학습되어서 예측률이 떨어져서 새로운 데이터에 관해서는 좋은 결과를 보이지 못하는 현상이다. Underfitting Network가 단순하거나 일반화에 너무 치중한 나머지 모델이 학습 데이터에 관해 덜 학습된 현상이다. Cross-validation 데이..

Neural Networks Neural Networks are computing systems vaguely inspired by the biological neural networks that constitute animal brains. - WikiPedia - 인간의 뇌를 모방해서 성능이 좋다는 게 아니라 그 모델 자체를 수학적으로 분석하는 게 바람직하다. 비행기의 발명이 새가 나는 모습을 보고 영감을 받은 건 맞지만, 비행기가 나는 원리가 새가 나는 원리와 일치한 것은 아닌 것과 유사하다. Neural networks are function approximators that stack affine transformations followed by nonlinear transformations. ..

Deep Learning에서 중요한 요소 The data that the model can learn from The model how to transform the data The loss function that quantifies the badness of the model The algorithm to adjust the parameters to minimize the loss Data 데이터는 해결해야 할 문제에 의존적이다. Classification 이미지에 대한 label 찾기 예) 개·고양이 분류 문제 Sementic Segmentation 픽셀이 어떠한 개체에 속하는지를 분류 이미지 내 요소 구분 문제 Detection 이미지에서 개체에 대한 bounding box 찾기 사물 감지 문제 ..

2022년 2월 3일(목)부터 4일(금)까지 네이버 부스트캠프(boostcamp) AI Tech 강의를 들으면서 개인적으로 중요하다고 생각되거나 짚고 넘어가야 할 핵심 내용들만 간단하게 메모한 내용입니다. 틀리거나 설명이 부족한 내용이 있을 수 있으며, 이는 학습을 진행하면서 꾸준히 내용을 수정하거나 추가해 나갈 예정입니다. Seaborn 파이썬 데이터 분석에서 한 번 즈음은 꼭 쓰게 되며, Matplotlib 기반의 통계 시각화 라이브러리이다. 구성, 분포 관계 등 통계 정보를 파악하는 데 유용하다. Matplotlib 기반이라서 Matplotlib으로 커스텀할 수 있다. 쉬운 문법과 깔끔한 디자인을 특징으로 갖는다. import seaborn as sns처럼 관용적으로 sns로 import 한다. 왜..

2022년 2월 3일(목)부터 4일(금)까지 네이버 부스트캠프(boostcamp) AI Tech 강의를 들으면서 개인적으로 중요하다고 생각되거나 짚고 넘어가야 할 핵심 내용들만 간단하게 메모한 내용입니다. 틀리거나 설명이 부족한 내용이 있을 수 있으며, 이는 학습을 진행하면서 꾸준히 내용을 수정하거나 추가해 나갈 예정입니다. More Tips for Chart Grid 이해하기 기본적인 Grid는 축과 평행한 선을 사용하여 거리 및 값 정보를 보조적으로 제공한다. Grid의 요소 다음은 기본적인 Grid의 요소이다. color 색은 다른 표현들을 방해하지 않도록 무채색으로 만든다. zorder 항상 Layer 순서 상 맨 밑에 오도록 조정한다. 예시 코드 np.random.seed(970725) x = ..