2022년 1월 24일(월)부터 28일(금)까지 네이버 부스트캠프(boostcamp) AI Tech 강의를 들으면서 개인적으로 중요하다고 생각되거나 짚고 넘어가야 할 핵심 내용들만 간단하게 메모한 내용입니다. 틀리거나 설명이 부족한 내용이 있을 수 있으며, 이는 학습을 진행하면서 꾸준히 내용을 수정하거나 추가해 나갈 예정입니다. PyTorch에서의 Tensor PyTorch의 특징 = Numpy + AutoGrad + Function [출처] BITAmin 연합동아리 PyTorch 실습 세션에서 발표용으로 직접 제작한 자료 Tensor란? Pytoch의 다차원 array이며, numpy 구조를 가지는 Tensor 객체로 array를 표현한다. numpy의 ndarray와 유사하며, numpy ndarra..

2022년 1월 24일(월)부터 28일(금)까지 네이버 부스트캠프(boostcamp) AI Tech 강의를 들으면서 개인적으로 중요하다고 생각되거나 짚고 넘어가야 할 핵심 내용들만 간단하게 메모한 내용입니다. 틀리거나 설명이 부족한 내용이 있을 수 있으며, 이는 학습을 진행하면서 꾸준히 내용을 수정하거나 추가해 나갈 예정입니다. Deep Learning의 프레임워크 프레임워크와 라이브러리의 차이 요약하자면, 제어의 흐름에 대한 틀이 짜여져 있으면 프레임워크, coder 자신이 작성한 코드가 직접 제어의 흐름을 담당하면 라이브러리라고 할 수 있다. https://youtu.be/t9ccIykXTCM Keras wrapper TensorFlow와 Pytorch를 사용자가 보다 편하게 사용할 수 있게 감싼 h..

2022년 1월 17일(월)부터 21일(금)까지 네이버 부스트캠프(boostcamp) AI Tech 강의를 들으면서 개인적으로 중요하다고 생각되거나 짚고 넘어가야 할 핵심 내용들만 간단하게 메모한 내용입니다. 틀리거나 설명이 부족한 내용이 있을 수 있으며, 이는 학습을 진행하면서 꾸준히 내용을 수정하거나 추가해 나갈 예정입니다. RNN(Recurrent Neural Network) RNN이란? [출처] https://commons.wikimedia.org/wiki/File:Recurrent_neural_network_unfold.svg, fdeloche 시계열 데이터는 시간 순서에 따라 나열된 데이터이며, 소리, 문자열, 주가 등의 순서가 있는 시퀀스(sequence) 데이터이다. 시퀀스 데이터는 독립동..

2022년 1월 17일(월)부터 21일(금)까지 네이버 부스트캠프(boostcamp) AI Tech 강의를 들으면서 개인적으로 중요하다고 생각되거나 짚고 넘어가야 할 핵심 내용들만 간단하게 메모한 내용입니다. 틀리거나 설명이 부족한 내용이 있을 수 있으며, 이는 학습을 진행하면서 꾸준히 내용을 수정하거나 추가해나갈 예정입니다. CNN(Convolutional Neural Network) CNN이란? [출처] https://commons.wikimedia.org/wiki/File:Convolutional_Neural_Network_NeuralNetworkFilter.gif, Cecbur 다층신경망(MLP)에는 각 뉴런들이 선형 모델과 활성 함수로 모두 연결된 구조도 존재하지만, 커널(kernel)이란 것을..

통계적 모델링 통계적 모델링은 적절한 가정 위에서 확률분포를 추정하는 것이 목표이며, 이는 기계학습이 추구하는 목표와 동일하다. 관찰만으로는 모집단의 분포를 정확하게 알아내는 것은 불가능하므로 근사적으로 확률분포를 추정해야 한다. 그래서 유한한 갯수의 데이터를 통해서 확률분포를 추정하고 근사하여 앞으로에 대한 예측과 의사결정 등에 활용할 수 있다. 모델링은 데이터의 확률분포를 정확히 맞추는 것보다는 추정방법의 불확실성을 고려한 상태에서 위험을 최소화 하는 방향으로 진행된다. 즉, 틀릴 확률을 낮추고자 하는 것이다. 데이터가 특정 확률분포를 따른다고 선험적으로 가정하고 그 분포를 결정하는 모수를 추정하는 방법을 모수적 방법론이라 하라고 한다. 특정 확률분포를 가정하지 않고 데이터에 따라 모델의 구조 및 모..

딥 러닝과 확률론 딥러닝의 학습 방법은 확률론에 기반을 두고 있다. 특히, 기계학습의 손실함수는 데이터 공간을 통계적으로 해석하여 유도하게 된다. 즉, 예측이 틀리는 것을 최소화하도록 데이터를 학습하는 원리를 가진다. 예를 들어, 회귀 분석에서 손실함수로 사용되는 $L_2$ Norm은 예측오차의 분산을 가장 최소화하는 방향으로 학습하도록 유도한다. 또한 분류 문제에서 사용되는 교차엔트로피(cross-entropy)는 모델 예측의 불확실성을 최소화하는 방향으로 학습을 유도한다. 기계학습에서 사용되는 모든 손실함수는 실제 데이터의 분포와 모델을 예측하는 분포의 차이를 줄이려고 하는 것이며, 이 두 대상을 측정하는 방법은 통계학을 기반으로 한다. 확률분포(Probability Distribution) [출처]..

신경망(Neural Network) [출처] https://commons.wikimedia.org/wiki/File:Multilayer_Neural_Network.png, John Salatas 선형모델은 단순 데이터를 해석하는데 유용하지만 복잡한 패턴에는 적합하지 않은데, 이러한 복잡한 패턴을 근사할 수 있는 비선형적인 함수가 필요하다. 신경망은 여러 계층의 선형 모델과 비선형성을 부여하는 활성함수(activation function)을 혼합한 합성함수이다. Feed Forward [출처] https://commons.wikimedia.org/wiki/File:Artificial_neural_network.png, Geetika saini 신경망에 입력되는 input 데이터가 존재한다. Input Da..

미분 (Differentiation) 미분의 정의 [출처] https://commons.wikimedia.org/wiki/File:Derivative1.png, Koantum 미분은 다음과 같이 정의할 수 있다. 변수의 변화에 따른 함수값의 변화량 함수 위의 주어진 점에서의 접선의 기울기 변화율의 극한 함수 내에서 미분을 사용하면 변수의 특정 값에서의 기울기를 구할 수 있다. 한 점에서 기울기를 알면 어느 방향으로 점을 움직여야 함수값이 증가 또는 감소하는지를 알 수 있다. $$f'(x) = lim_{h\rightarrow0}\frac{f(x + h) - f(x)}{h}$$ $$f(x) = x^2 + 2x + 3$$ $$f'(x) = 2x + 2$$ $f(x) = x^2 + 2x + 3$의 미분은 $f'..