Paper Review (16) 썸네일형 리스트형 [Paper Review] FFHQ-UV: Normalized Facial UV-Texture Dataset for 3D Face Reconstruction (CVPR' 23) 안녕하세요. :) 얼마 전 유명한 Human Face dataset인 FFHQ로부터 uv-texture를 추출한 FFHQ-UV라는 데이터셋이 공개되었습니다. 다양한 방향으로 활용이 가능할 것 같습니다만, 본 리뷰에서는 연구에서 제시하는 texture generation관점에서 서술해보고자 합니다. 그럼 시작하겠습니다 :) 1. Introduction 본 연구는 3D Face Reconstruction을 위한 Public & High Quality & High Fidelity UV-Texture Dataset를 공개했다는 것에 의의가 있다. 실제로 기존에도 비전 및 그래픽스 커뮤니티에서 Face의 3d shape( identity & expression )과 texture를 reconstruction하는 .. [Paper Review] Plenoxels: Radiance Fields without Neural Networks ( CVPR' 22 Oral ) 최근 NeRF의 renerding 및 training 속도를 높이기 위해서 explicit representation 혹은 hybrid representation ( 더 나아가서 효율적인 자료구조를 함께 ) 사용하고 있습니다. 가장 유명한 것 중 하나가 hash table을 활용하는 InstantNGP일 것입니다. 오늘은 plenoptic volume element를 뜻하는 Plenoxel을 활용해 Rendering을 하는 Plenoxels: Radiance Fields without Neural Networks를 살펴보도록 하겠습니다. 1. Introduction 기존의 NeRF는 Training 과 Rendering에서 모두 extensive computation time을 요구했다. 다양한 연구들에.. [Concept] Diffusion Models ( with. DDPM ) 근래에( 이미 조금 되었지만 ) Generative Model로 연구가 무척 활발히 이루어지고 있는 Diffusion Model에 대해서 살펴보도록 하겠습니다. 본 아티클에서는 Diffusion에 대한 직관부터 DDPM 그리고 DDIM까지 다루고자 합니다. 그럼 시작하도록 하겠습니다. :) 1. Diffusion with Physical Intuition 1.1. Diffusion Destroys Structure Diffusion은 우리가 가지고 있는 데이터 분포를 destroy하기 위해서 사용된다. 상단의 이미지에서 염료의 분포를 probablilty of denstiy funtion 즉 PDF로 생각해볼 수 있다. 즉, 염료의 density는 probablilty density를 나타낸다. 이때 M.. [Paper Review] VideoINR: Learning Video Implicit Neural Representation for Continuous Space-Time Super-Resolution Introduction 비디오는 현실의 continous한 visual data를 discrete한 consecutve frame들로 저장하는 방법이다. High fidelity & frame rate을 가진 video를 저장하는 것은 현실적으로 매우 큰 비용이 들기 때문에, 상대적으로 low resolution & frame rate으로 저장하게 된다. ( = limited spatial resolution & temporal frame rate ) 하지만, 이러한 video가 human에게 보여질 때는 high level 정보를 가지도록 복원되기를 원한다. 본 논문에서는 이와 같이 space & time 관점에서 high resoluton & frame rate으로 비디오를 복원하는 방법을 Impli.. [Paper Review] Neural nano-optics for high-quality thin lensimaging ( Nature Communicatons' 21 ) 간단히 적은 후 추후에 내용을 자세히 보충해서 설명해두려고 합니다. 최근 아이폰의 카툭튀 현상처럼 스마트폰과 같은 consumer device에서 camera는 점점 더 정교해지고 복잡해지고 있다. 이는 더 좋은 이미지 퀄리티를 위해서 bulky camera bumps를 계속 쌓고 있기 때문이다. ( Bulky Compound Optics ) 이러한 이유로 실제로 Medical & Astronomy 등의 ( microscope & telescope ) 도메인에서는 metasurface optics을 활발히 연구하고 있다. 이러한 metasurface optics가 정말 작은 nano 혹은 ultra-small optical element로 사용될 수 있을지라도 실제로 얻게 되는 이미지의 퀄리티는 기존의 .. [Paper Review] StyleSpace Analysis : Disentangled Controls for StyleGAN Image Generation (CVPR'21 Oral) TL;DR: StyleSpace is more appropriate for manipulation, beacuse of disentanglement and completeness. 본 논문에서는 StyleGAN2의 Style Space에 대해 분석하며 기존의 Z, W, W+ space보다 더 disentangle 한 space임을 보이고, 따라서 해당 space의 channel을 manipulation 하는 것이 disentangled image manipulation에 적합하다고 주장합니다. 이러한 disentanglement와 completeness를 가진 style space상의 style vector의 특정 channel이 특정 attribute에 대응되기에 특정 attribute에 대응되는 st.. [Paper Review] pi-GAN: Periodic Implicit Generative Adversarial Networks for 3D- 안녕하세요. 최근 generative model과 neural rendering의 빠른 발전 속도로 인해 연구되고 있는 3d-aware image synthesis에서 추후 등장하는 후속 논문들의 큰 뼈대와 같은 역할을 하는 pi-GAN을 살펴보도록 하겠습니다. 3d aware image synthesis는 Stanford에서 많이 연구하는 주제로 해당 분야에서 주목을 받는 후속 논문들도 대부분 같은 저자들이 내고 있습니다. ( EG3D 등 ) pi -gan은 최근 연구되는 3d aware gan들을 읽기 위해서 근본적으로 알아야 한다고 생각하는 논문입니다. 좋은 3d aware gan의 뼈대에 대한 내용이 많아 꼼꼼히 읽어보시면 좋을 것 같습니다. 읽으시기 전에 반드시 3d aware gan 컨셉을 읽.. [Paper Review] NeRF : Representing Scenes as Neural Radiance Field for View Synthesis 안녕하세요 :) 이번에는 3d vision과 Graphics에서 새로운 지평을 가져다준 NeRF에 대해서 설명해보고자 합니다. 실제로 SLAM과 같이 결합되어 사용하는 등 다양한 방향으로 NeRF를 활용한 연구가 진행되고 있습니다. 이러한 NeRF를 명확히 이해하기 위해서는 다른 논문들에 비해 비교적 많은 Background가 필요하다고 생각합니다. 따라서 기존의 다른 논문 리뷰들과는 다르게 Background를 먼저 설명하고 NeRF에 대해서 설명하는 방향성으로 서술하도록 하겠습니다. 그럼 시작하겠습니다. 1. Background Novel View Synthesis 처음 nerf가 등장했을 때 vanila nerf의 목적성은 view synthesis에 있었습니다. View Synthesis란 뭘까요.. 이전 1 2 다음
