Eigenvalue와 Eigenvector 선형대수학을 공부할 때 가장 중요하면서도 기초가 되는 내용 중 하나이며, 실제로 AI에서 자주 등장하는 개념이기도 하다. 기본이지만 그만큼 여러 번 짚고 가도 부족할 정도로 강조되므로 이를 간략한 글로 정리할 필요성이 있다고 느꼈다. 빠르게 내용을 복습하면서 필요할 때 가져다 사용할 수 있도록 하자. Eigenvalue와 Eigenvector 정의 먼저 알아두어야 할 점은 특이값 분해와는 달리 반드시 square matrix(정방행렬)에 관해서만 적용되는 개념이다. Let $A$ be a $n \times n$ matrix. ($A \in \mathbb{R}^{n \times n}$) A nonzero vector $x$ in $\in \mathbb{R}^n$ ..

지난 글에서 우리는 이 세상의 많은 일들이 확률에 의존한다는 것을 알았고, 사건에 관한 확률을 다룰 때 명제로 표현하여 사용한다는 점을 확인했다. 또한 증거(evidence)가 기존에 알고 있던 정보를 달라지게 할 수 있으므로 앞으로 증거에 유의해서 보자는 말을 덧붙였다. 이 글에서는 확률을 공부할 때 필수로 알아두면 좋을 몇 가지 정리를 살펴보고, 새로운 지식(결과)인 증거가 주어졌을 때 그 이전의 지식(원인)이 무엇인지를 추정하는 데 도움이 되는 베이즈 정리에 관해 알아보고자 한다. 지난 글에서 이어지는 내용이므로 좀 더 명확한 이해를 원한다면 이전 글을 참고하는 것을 추천한다. 확률적인 추정을 위한 확률과 사건 그리고 명제 [인공지능 기초] Uncertainty (1) - 확률적인 추정을 위한 확률..

들어가기 전에 이 세상의 많은 일들은 확률적인 경우가 많다. 그 상황에서 우리는 자신의 목적에 가장 부합하면서 확률적으로 발생 가능성이 높거나 낮은 것을 고려하여 최선의 선택을 하려고 한다. 그러면 그 확률이란 것에 주목해야 할 필요가 있지 않을까? 이번 시리즈 글에서는 확률에 관한 정의와 이와 관련한 대표적인 정리들을 소개하고자 한다. 그전에 확률과 관련한 정의를 알아보고, 확률과 명제가 어떠한 관계가 있는지 알아보자. 불확실성과 결정 우리는 일상 생활에서 여러 문제점들을 맞닥뜨리고 이를 해결하고자 노력한다. 꼭 중요한 시험 문제를 풀어서 맞추는 것 뿐만이 아니라 출근해야 하는데 늦게 기상을 해서 어떠한 교통 수단을 이용해야 할지, 어떤 점심 메뉴를 선택해야 좀 더 맛있는 음식을 저렴하게 먹을 수 있는..

통계적 모델링 통계적 모델링은 적절한 가정 위에서 확률분포를 추정하는 것이 목표이며, 이는 기계학습이 추구하는 목표와 동일하다. 관찰만으로는 모집단의 분포를 정확하게 알아내는 것은 불가능하므로 근사적으로 확률분포를 추정해야 한다. 그래서 유한한 갯수의 데이터를 통해서 확률분포를 추정하고 근사하여 앞으로에 대한 예측과 의사결정 등에 활용할 수 있다. 모델링은 데이터의 확률분포를 정확히 맞추는 것보다는 추정방법의 불확실성을 고려한 상태에서 위험을 최소화 하는 방향으로 진행된다. 즉, 틀릴 확률을 낮추고자 하는 것이다. 데이터가 특정 확률분포를 따른다고 선험적으로 가정하고 그 분포를 결정하는 모수를 추정하는 방법을 모수적 방법론이라 하라고 한다. 특정 확률분포를 가정하지 않고 데이터에 따라 모델의 구조 및 모..

딥 러닝과 확률론 딥러닝의 학습 방법은 확률론에 기반을 두고 있다. 특히, 기계학습의 손실함수는 데이터 공간을 통계적으로 해석하여 유도하게 된다. 즉, 예측이 틀리는 것을 최소화하도록 데이터를 학습하는 원리를 가진다. 예를 들어, 회귀 분석에서 손실함수로 사용되는 $L_2$ Norm은 예측오차의 분산을 가장 최소화하는 방향으로 학습하도록 유도한다. 또한 분류 문제에서 사용되는 교차엔트로피(cross-entropy)는 모델 예측의 불확실성을 최소화하는 방향으로 학습을 유도한다. 기계학습에서 사용되는 모든 손실함수는 실제 데이터의 분포와 모델을 예측하는 분포의 차이를 줄이려고 하는 것이며, 이 두 대상을 측정하는 방법은 통계학을 기반으로 한다. 확률분포(Probability Distribution) [출처]..

미분 (Differentiation) 미분의 정의 [출처] https://commons.wikimedia.org/wiki/File:Derivative1.png, Koantum 미분은 다음과 같이 정의할 수 있다. 변수의 변화에 따른 함수값의 변화량 함수 위의 주어진 점에서의 접선의 기울기 변화율의 극한 함수 내에서 미분을 사용하면 변수의 특정 값에서의 기울기를 구할 수 있다. 한 점에서 기울기를 알면 어느 방향으로 점을 움직여야 함수값이 증가 또는 감소하는지를 알 수 있다. $$f'(x) = lim_{h\rightarrow0}\frac{f(x + h) - f(x)}{h}$$ $$f(x) = x^2 + 2x + 3$$ $$f'(x) = 2x + 2$$ $f(x) = x^2 + 2x + 3$의 미분은 $f'..

Bayes 정리와 사후 확률, 증거에 관한 자세한 내용은 아래의 글을 참고하시기 바랍니다. https://glanceyes.tistory.com/entry/인공지능-기초-Uncertainty-1-확률적인-추정을-위한-확률과-사건-그리고-명제 [인공지능 기초] Uncertainty (1) - 확률적인 추정을 위한 확률과 사건, 그리고 명제 들어가기 전에 이 세상의 많은 일들은 확률적인 경우가 많다. 그 상황에서 우리는 자신의 목적에 가장 부합하면서 확률적으로 발생 가능성이 높거나 낮은 것을 고려하여 최선의 선택을 하려고 glanceyes.com https://glanceyes.tistory.com/entry/인공지능-기초-Uncertainty2-결합-확률과-조건부-확률-그리고-베이즈-정리 [인공지능 기초]..