2022년 1월 17일(월)부터 21일(금)까지 네이버 부스트캠프(boostcamp) AI Tech 강의를 들으면서 개인적으로 중요하다고 생각되거나 짚고 넘어가야 할 핵심 내용들만 간단하게 메모한 내용입니다. 틀리거나 설명이 부족한 내용이 있을 수 있으며, 이는 학습을 진행하면서 꾸준히 내용을 수정하거나 추가해나갈 예정입니다. CNN(Convolutional Neural Network) CNN이란? [출처] https://commons.wikimedia.org/wiki/File:Convolutional_Neural_Network_NeuralNetworkFilter.gif, Cecbur 다층신경망(MLP)에는 각 뉴런들이 선형 모델과 활성 함수로 모두 연결된 구조도 존재하지만, 커널(kernel)이란 것을..

통계적 모델링 통계적 모델링은 적절한 가정 위에서 확률분포를 추정하는 것이 목표이며, 이는 기계학습이 추구하는 목표와 동일하다. 관찰만으로는 모집단의 분포를 정확하게 알아내는 것은 불가능하므로 근사적으로 확률분포를 추정해야 한다. 그래서 유한한 갯수의 데이터를 통해서 확률분포를 추정하고 근사하여 앞으로에 대한 예측과 의사결정 등에 활용할 수 있다. 모델링은 데이터의 확률분포를 정확히 맞추는 것보다는 추정방법의 불확실성을 고려한 상태에서 위험을 최소화 하는 방향으로 진행된다. 즉, 틀릴 확률을 낮추고자 하는 것이다. 데이터가 특정 확률분포를 따른다고 선험적으로 가정하고 그 분포를 결정하는 모수를 추정하는 방법을 모수적 방법론이라 하라고 한다. 특정 확률분포를 가정하지 않고 데이터에 따라 모델의 구조 및 모..

딥 러닝과 확률론 딥러닝의 학습 방법은 확률론에 기반을 두고 있다. 특히, 기계학습의 손실함수는 데이터 공간을 통계적으로 해석하여 유도하게 된다. 즉, 예측이 틀리는 것을 최소화하도록 데이터를 학습하는 원리를 가진다. 예를 들어, 회귀 분석에서 손실함수로 사용되는 $L_2$ Norm은 예측오차의 분산을 가장 최소화하는 방향으로 학습하도록 유도한다. 또한 분류 문제에서 사용되는 교차엔트로피(cross-entropy)는 모델 예측의 불확실성을 최소화하는 방향으로 학습을 유도한다. 기계학습에서 사용되는 모든 손실함수는 실제 데이터의 분포와 모델을 예측하는 분포의 차이를 줄이려고 하는 것이며, 이 두 대상을 측정하는 방법은 통계학을 기반으로 한다. 확률분포(Probability Distribution) [출처]..

신경망(Neural Network) [출처] https://commons.wikimedia.org/wiki/File:Multilayer_Neural_Network.png, John Salatas 선형모델은 단순 데이터를 해석하는데 유용하지만 복잡한 패턴에는 적합하지 않은데, 이러한 복잡한 패턴을 근사할 수 있는 비선형적인 함수가 필요하다. 신경망은 여러 계층의 선형 모델과 비선형성을 부여하는 활성함수(activation function)을 혼합한 합성함수이다. Feed Forward [출처] https://commons.wikimedia.org/wiki/File:Artificial_neural_network.png, Geetika saini 신경망에 입력되는 input 데이터가 존재한다. Input Da..

미분 (Differentiation) 미분의 정의 [출처] https://commons.wikimedia.org/wiki/File:Derivative1.png, Koantum 미분은 다음과 같이 정의할 수 있다. 변수의 변화에 따른 함수값의 변화량 함수 위의 주어진 점에서의 접선의 기울기 변화율의 극한 함수 내에서 미분을 사용하면 변수의 특정 값에서의 기울기를 구할 수 있다. 한 점에서 기울기를 알면 어느 방향으로 점을 움직여야 함수값이 증가 또는 감소하는지를 알 수 있다. $$f'(x) = lim_{h\rightarrow0}\frac{f(x + h) - f(x)}{h}$$ $$f(x) = x^2 + 2x + 3$$ $$f'(x) = 2x + 2$$ $f(x) = x^2 + 2x + 3$의 미분은 $f'..

Bayes 정리와 사후 확률, 증거에 관한 자세한 내용은 아래의 글을 참고하시기 바랍니다. https://glanceyes.tistory.com/entry/인공지능-기초-Uncertainty-1-확률적인-추정을-위한-확률과-사건-그리고-명제 [인공지능 기초] Uncertainty (1) - 확률적인 추정을 위한 확률과 사건, 그리고 명제 들어가기 전에 이 세상의 많은 일들은 확률적인 경우가 많다. 그 상황에서 우리는 자신의 목적에 가장 부합하면서 확률적으로 발생 가능성이 높거나 낮은 것을 고려하여 최선의 선택을 하려고 glanceyes.com https://glanceyes.tistory.com/entry/인공지능-기초-Uncertainty2-결합-확률과-조건부-확률-그리고-베이즈-정리 [인공지능 기초]..

BOJ 백준 23242 Histogram 문제: https://www.acmicpc.net/problem/23242 23242번: Histogram For a range of $[1, n]$, the natural numbers in the interval are called the data values and let $f_i$ be the frequency count of the data value $i$ in the range. The frequency of a data value $i$ is the number of occurrences of the data value $i$ in the lis www.acmicpc.net 길이가 n인 수열을 B개의 bucket으로 나누었을 때, 각 bucket의 ..

BOJ 백준 20047 동전 옮기기 문제: https://www.acmicpc.net/problem/20047 20047번: 동전 옮기기 입력은 표준입력을 사용한다. 첫 번째 줄에 나열된 동전 개수를 나타낸 양의 정수 n (3 ≤ n ≤ 10,000)이 주어진다. 다음 두 줄에 n 개의 동전이 나열된 상태인 S 와 T 가 각각 주어지며, 이 때 S와 T www.acmicpc.net 두 개의 동전을 서로 순서를 바꾸지 않고 자리를 이동하여 문제에서 주어지는 동전 배치를 만들 수 있는지 묻는 문제이다. 학회에서 ACM ICPC 예선을 준비하면서 팀원과 같이 풀었던 문제이다. 처음에는 Queue를 이용하여 푸는 구현 문제인 줄 알고 시도했는데, 계속 채점을 돌려봐도 86퍼센트에서 틀렸다고 떠서 접근 자체가 틀..