DiffRF: Rendering-Guided 3D Radiance Field Diffusion

 

이번 글에서는 DiffRF에 관해서 리뷰를 해 볼 것이다. DiffRF 논문을 고른 이유는 voxel grid의 radiance field 자체에 diffusion과 denoising을 적용했다는 점이 주목할 만하고, 단순히 diffusion model에서 사용되는 loss 뿐만이 아니라 photometric 2D rendering loss를 도입하여 새로운 view에서의 이미지 생성 quality를 높였다는 점이 주목할 만하다. 또한 DreamFusion에 관해 공부하면서 classifier free guidance를 찾아보다가 classifier guidance에 관해 알아보았고, 이를 conditional generation의 응용에서 사용한 모델이 바로 DiffRF여서다. 그래서 현재 연구실에서도 이 논문을 세미나 주제로 정해서 발표하기로 결정했다. 사실 DreamFusion과 같이 발표하려고 했는데, 내용이 너무 길어질 것 같아서 따로 발표하기로 결정했다. 발표가 끝나는대로 발표 자료 이미지에 관해 간략히 설명을 추가하여 글을 완성하고자 한다.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

출처
1. https://sirwyver.github.io/DiffRF, Norman Mu ̈ller, DiffRF: Rendering-Guided 3D Radiance Field Diffusion
2. Direct Voxel Grid Optimization: Super-fast Convergence for Radiance Fields Reconstruction
3. A Survey of Voxel Interpolation Methods and an Evaluation of Their Impact on Volumetric Map-Based Visual Odometry 
4. Denoising Diffusion Probabilistic Models
5. PhotoShape: Photorealistic Materials for Large-Scale Shape Collections
6. Learning Representations and Generative Models for 3D Point Clouds
7. Score-Based Generative Modeling through Stochastic Differential Equations
8. Diffusion Models Beat GANS on Image Synthesis
9. Conditional Generative Adversarial Nets
10. High-Resolution Image Synthesis with Latent Diffusion Models