AI에서 주로 사용하는 기본적인 자료구조인 vector에 관해 알아보고, vector를 이해하는 데 필요한 norm, inner product, orthogonal 등 여러 개념을 살펴보고자 한다. 벡터(Vector)의 정의 벡터는 다음과 같이 다양하게 정의할 수 있다. 크기(길이)와 방향을 가지는 직선 벡터 공간(Vector Space)을 이루는 원소 공간에서의 한 점 원점으로부터의 상대적 위치 수를 원소로 가지는 리스트 또는 배열 종합하면 벡터는 수를 원소로 가지는 list 또는 array를 의미하며, $n$차원 공간에서의 한 점을 의미한다. 이 때 점은 원점으로부터의 상대적 위치를 의미한다. numpy에서는 보통 행벡터로 값을 처리한다. Vector의 element는 $[x_1, x_2, ..., ..

이 글 시리즈는 'Fourier Features Let Networks Learn High Frequency Functions in Low Dimensional Domains' 논문과 이를 이해하는 데 필요한 선수 내용을 소개한 'Neural Tangent Kernel: Convergence and Generalization in Neural Networks' 논문을 기반으로 한다. 하나의 글로 작성하면 내용이 너무 길어질 것 같아서 '(1) Kernel Method', '(2) Neural Tangent Kernel', 그리고 '(3) Fourier Features Let Networks Learn High Frequency Functions in Low Dimensional Domains'의 세 부분..

사람을 촬영한 이미지만 사용하여 그 사람의 3D Human을 모델링하는 digitization은 metaverse의 AR, VR 등 다양한 사례에 응용하여 적용할 수 있다. 예를 들어, 우리 각자 개인의 selfi만을 사용하여 가상환경에서의 캐릭터를 바로 생성할 수 있는 것처럼 말이다. PIFu는 2D 이미지만을 input으로 받아서 implicit function을 학습하는 neural network를 통해 그에 대응되는 사람의 3D model을 reconstruction 할 수 있는데, naked body 뿐만이 아니라 옷과 악세사리를 착용한 모습도 기존에 제안된 방법들보다 높은 quality로 모델링할 수 있다. 이번 논문에서는 PIFu(PIFu: Pixel-Aligned Implicit Funct..

이 글은 아직 완성이 되지 않았으며, 곧 마무리할 예정이므로 양해 바랍니다. 이번 리뷰에서는 NeRF와 GAN의 특징을 결합시킨 GRAF(Generative Radiance Fields for 3D-Aware Image Synthesis) 논문에 관해 살펴보고자 한다. 2020년 NeRF가 2D image로부터 새로운 viewing direction에서 바라 본 이미지를 생성할 수 있는 novel view synthesis에서 괄목할 만한 결과를 보였고, 이후 여러 연구자들에 의해 NeRF에서 파생된 다양한 모델들이 제안되었다. GRAF도 그중 하나에 속하며, NeRF에서 단순히 MLP를 사용하여 radiance field를 학습하는 방법에서 더 발전시켜 adversarial network를 통해 gen..

이 글 시리즈는 'Fourier Features Let Networks Learn High Frequency Functions in Low Dimensional Domains' 논문과 이를 이해하는 데 필요한 선수 내용을 소개한 'Neural Tangent Kernel: Convergence and Generalization in Neural Networks' 논문을 기반으로 한다. 하나의 글로 작성하면 내용이 너무 길어질 것 같아서 '(1) Kernel Method', '(2) Neural Tangent Kernel', 그리고 '(3) Fourier Features Let Networks Learn High Frequency Functions in Low Dimensional Domains'의 세 부분..

Positional encoding은 AI 모델링 분야에서 많이 쓰이는 기법 중 하나이다. 대표적으로 transformer에서도 데이터를 병렬 처리하여 학습하는 단점을 보완하여 데이터를 구성하는 각 token에 위치 정보를 부여하고자 input을 sinusoidal 등 어떠한 함수에 통과시켜 모델에 넣는 과정을 positional encoding이라고 한다. 컴퓨터 비전에서는 목적은 다르지만 이와 유사하게 사용되는 Fourier feature를 이용한 positional encoding이 존재하는데, 좀 더 high frequency 정보를 잘 학습할 수 있도록 하기 위함이다. 그러나 개인적으로 여태까지 이를 여과없이 단지 "적용하면 좋다"라는 '카더라' 식의 얘기로만 이해했지, 구체적으로 왜 그런 건지..

Eigenvalue와 Eigenvector 선형대수학을 공부할 때 가장 중요하면서도 기초가 되는 내용 중 하나이며, 실제로 AI에서 자주 등장하는 개념이기도 하다. 기본이지만 그만큼 여러 번 짚고 가도 부족할 정도로 강조되므로 이를 간략한 글로 정리할 필요성이 있다고 느꼈다. 빠르게 내용을 복습하면서 필요할 때 가져다 사용할 수 있도록 하자. Eigenvalue와 Eigenvector 정의 먼저 알아두어야 할 점은 특이값 분해와는 달리 반드시 square matrix(정방행렬)에 관해서만 적용되는 개념이다. Let $A$ be a $n \times n$ matrix. ($A \in \mathbb{R}^{n \times n}$) A nonzero vector $x$ in $\in \mathbb{R}^n$ ..

이번 글에서는 일명 StyleGAN이라고 불리는 'A Style-Based Generator Architecture for Generative Adversarial Network' 논문에 관해 핵심 위주로 리뷰 해 보고자 한다. StyleGAN은 출판 당시에도 회자되었던 논문이고, 특히 논문에서 추가로 제공한 StyleGAN을 통해 생성한 고해상도의 이미지 데이터 셋인 FFHQ(Flickr-Faces-HQ)는 이 글을 쓰는 시점에도 많이 쓰인다고 알려져 있다. 사실 StyleGAN 논문을 처음부터 리뷰 해야겠다고 생각한 것은 아니다. GRAF(Generative Radiance Fields for 3D-Aware Image Synthesis) 논문을 공부하다가 기존에 제안된 HoloGAN의 한계를 지적하..