Diffusion Model의 시초인 Diffusion Probabilistic Models부터 Score-based Generative Model(NCSN), Denoising Diffusion Probabilistic Models(DDPM) 그리고 Denoising Diffusion Implicit Models(DDIM)까지 정리하는 시리즈의 세 번째 글에서는 Score-based Generative Model(NCSN)에 관해 리뷰해 볼 것이다. 이 논문을 이해하는 데 도움을 주는 전반적인 배경 지식과 내용은 아래 저자의 웹사이트에 잘 소개되어 있다. https://yang-song.net/blog/2021/score/ Generative Modeling by Estimating Gradients ..

Diffusion Model의 시초인 Diffusion Probabilistic Models부터 Score-based Generative Model(NCSN), Denoising Diffusion Probabilistic Models(DDPM) 그리고 Denoising Diffusion Implicit Models(DDIM)까지 정리하는 시리즈의 두 번째 글에서는 DDPM과 DDIM에 관해 리뷰해 볼 것이다. 1. DDPM(Denoising Diffusion Probabilistic Models) (1) Key Point (2) Review DDPM에 관해 수식적으로 자세히 정리한 글은 아래 링크를 참조. https://glanceyes.tistory.com/entry/Generative-Model%EA..

Diffusion Model의 시초인 Diffusion Probabilistic Models부터 Score-based Generative Model(NCSN), Denoising Diffusion Probabilistic Models(DDPM) 그리고 Denoising Diffusion Implicit Models(DDIM)까지 정리하는 시리즈의 첫 번째 글에서는 Diffusion Models를 위한 preliminaries와 Diffusion Probabilistic Models에 관해 리뷰한다. 1. Preliminaries (1) Generative Model vs. Discriminative Model (2) Explicit Density Approach vs. Implicit Density Ap..

Generative Model Generative Model이란? 이에 관한 자세한 내용은 아래 글의 'Generative Model' section을 참고하면 된다. 생성 모델(Generative Model)과 VAE, 그리고 GAN Generative Model Generative Model이란? Discriminative Model과 Generative Model 일반적으로 머신러닝에서 모델을 크게 두 범주로 분류하자면 discriminative model과 generative model로 구분할 수 있다. Discriminative model은 glanceyes.com 글 작성 시점 기준으로는 diffusion model이 큰 각광을 받고 있다. 이번 글에서는 diffusion model이 무엇이..

이번 글에서는 DiffRF에 관해서 리뷰를 해 볼 것이다. DiffRF 논문을 고른 이유는 voxel grid의 radiance field 자체에 diffusion과 denoising을 적용했다는 점이 주목할 만하고, 단순히 diffusion model에서 사용되는 loss 뿐만이 아니라 photometric 2D rendering loss를 도입하여 새로운 view에서의 이미지 생성 quality를 높였다는 점이 주목할 만하다. 또한 DreamFusion에 관해 공부하면서 classifier free guidance를 찾아보다가 classifier guidance에 관해 알아보았고, 이를 conditional generation의 응용에서 사용한 모델이 바로 DiffRF여서다. 그래서 현재 연구실에서도..

이 글 시리즈는 'Fourier Features Let Networks Learn High Frequency Functions in Low Dimensional Domains' 논문과 이를 이해하는 데 필요한 선수 내용을 소개한 'Neural Tangent Kernel: Convergence and Generalization in Neural Networks' 논문을 기반으로 한다. 하나의 글로 작성하면 내용이 너무 길어질 것 같아서 '(1) Kernel Method', '(2) Neural Tangent Kernel', 그리고 '(3) Fourier Features Let Networks Learn High Frequency Functions in Low Dimensional Domains'의 세 부분..

사람을 촬영한 이미지만 사용하여 그 사람의 3D Human을 모델링하는 digitization은 metaverse의 AR, VR 등 다양한 사례에 응용하여 적용할 수 있다. 예를 들어, 우리 각자 개인의 selfi만을 사용하여 가상환경에서의 캐릭터를 바로 생성할 수 있는 것처럼 말이다. PIFu는 2D 이미지만을 input으로 받아서 implicit function을 학습하는 neural network를 통해 그에 대응되는 사람의 3D model을 reconstruction 할 수 있는데, naked body 뿐만이 아니라 옷과 악세사리를 착용한 모습도 기존에 제안된 방법들보다 높은 quality로 모델링할 수 있다. 이번 논문에서는 PIFu(PIFu: Pixel-Aligned Implicit Funct..

이 글은 아직 완성이 되지 않았으며, 곧 마무리할 예정이므로 양해 바랍니다. 이번 리뷰에서는 NeRF와 GAN의 특징을 결합시킨 GRAF(Generative Radiance Fields for 3D-Aware Image Synthesis) 논문에 관해 살펴보고자 한다. 2020년 NeRF가 2D image로부터 새로운 viewing direction에서 바라 본 이미지를 생성할 수 있는 novel view synthesis에서 괄목할 만한 결과를 보였고, 이후 여러 연구자들에 의해 NeRF에서 파생된 다양한 모델들이 제안되었다. GRAF도 그중 하나에 속하며, NeRF에서 단순히 MLP를 사용하여 radiance field를 학습하는 방법에서 더 발전시켜 adversarial network를 통해 gen..