Paper Review/Generative Model (8) 썸네일형 리스트형 [Concept] Diffusion Models ( with. DDPM ) 근래에( 이미 조금 되었지만 ) Generative Model로 연구가 무척 활발히 이루어지고 있는 Diffusion Model에 대해서 살펴보도록 하겠습니다. 본 아티클에서는 Diffusion에 대한 직관부터 DDPM 그리고 DDIM까지 다루고자 합니다. 그럼 시작하도록 하겠습니다. :) 1. Diffusion with Physical Intuition 1.1. Diffusion Destroys Structure Diffusion은 우리가 가지고 있는 데이터 분포를 destroy하기 위해서 사용된다. 상단의 이미지에서 염료의 분포를 probablilty of denstiy funtion 즉 PDF로 생각해볼 수 있다. 즉, 염료의 density는 probablilty density를 나타낸다. 이때 M.. [Paper Review] StyleSpace Analysis : Disentangled Controls for StyleGAN Image Generation (CVPR'21 Oral) TL;DR: StyleSpace is more appropriate for manipulation, beacuse of disentanglement and completeness. 본 논문에서는 StyleGAN2의 Style Space에 대해 분석하며 기존의 Z, W, W+ space보다 더 disentangle 한 space임을 보이고, 따라서 해당 space의 channel을 manipulation 하는 것이 disentangled image manipulation에 적합하다고 주장합니다. 이러한 disentanglement와 completeness를 가진 style space상의 style vector의 특정 channel이 특정 attribute에 대응되기에 특정 attribute에 대응되는 st.. [Paper Review] pi-GAN: Periodic Implicit Generative Adversarial Networks for 3D- 안녕하세요. 최근 generative model과 neural rendering의 빠른 발전 속도로 인해 연구되고 있는 3d-aware image synthesis에서 추후 등장하는 후속 논문들의 큰 뼈대와 같은 역할을 하는 pi-GAN을 살펴보도록 하겠습니다. 3d aware image synthesis는 Stanford에서 많이 연구하는 주제로 해당 분야에서 주목을 받는 후속 논문들도 대부분 같은 저자들이 내고 있습니다. ( EG3D 등 ) pi -gan은 최근 연구되는 3d aware gan들을 읽기 위해서 근본적으로 알아야 한다고 생각하는 논문입니다. 좋은 3d aware gan의 뼈대에 대한 내용이 많아 꼼꼼히 읽어보시면 좋을 것 같습니다. 읽으시기 전에 반드시 3d aware gan 컨셉을 읽.. [Paper Review] Multimodal Conditional Image Synthesis with Product-of-Experts GANs 보호되어 있는 글입니다. [Paper Review] StyleGAN2 : Analyzing and Improving the Image Quality of StyleGAN StyleGAN2 ( A Style-Based Generator Architecture for Generative Adversarial Networks ), CVPR 2020에 소개되었으며 추후 다양한 후속 연구 및 생성 모델 연구에 큰 기여를 한 논문입니다. 본 논문 이후에 언급되는 StyleGAN은 모두 StyleGAN2를 지칭합니다. 본 논문에서는 기존의 StyleGAN에서 관찰됐던 다양한 artifact들을 분석하고 해결합니다. 또한, 생성 모델의 Metric에 대한 고찰과 함께 이러한 metric을 학습에 녹여 더 개선된 이미지를 생성해내도록 하고 있습니다. 그럼 시작하겠습니다. :) 1. Abstract 본 논문에서는 State of Art를 달성했던 StyleGAN을 분석하며 찾은 2가지의 .. [Paper Review] Style Transformer : Style Transformer for Image Inversion and Editing 이번에는 기존의 GAN Inversion 방법론들이 가지던 문제를 transformer를 통한 새로운 접근 및 해석을 통해 개선하고, Reference-based editing을 위한 네트워크까지 제안한 Style Transformer : Style Transformer for Image Inversion and Editing을 살펴보도록 하겠습니다. 그럼 시작하겠습니다 :) 1. Abstract 본 논문에서는 기존의 GAN Inversion 방법들이 가졌던 distortion-editability의 trade-off 관계를 지적하며 less distortion을 가진 이미지를 생성해내면서도 image editing에서도 flexibility를 가지도록 네트워크를 설계했습니다. 이를 위해 기존의 enco.. [Code Review] StyleGAN : A Style-Based Generator Architecture for Generative Adversarial Networks (2) 앞서 리뷰했던 StyleGAN 논문에 대한 Pytorch 구현체를 통해 어떻게 구현되어있는지를 세세히 살펴보도록 하겠습니다 리뷰하게 된 코드는 star도 많고 다른 repo들에서도 많이 재사용되는 구현체인 https://github.com/rosinality/style-based-gan-pytorch입니다. 라인별 코드를 더 자세히 이해하시고 싶다면 코드 블록에 주석을 달아놓은 영문 comment를 참고해주세요. 전체적인 코드 리뷰 방식은 논문의 아이디어가 구현체 상에서 어떤 방식으로 구현되어 있는지를 확인하고 추가적으로 설명이 필요한 부분을 보충하는 방식입니다. 또한 논문의 아키텍처 혹은 수식에 대응되는 부분은 기호 A, B, C 등을 통해 주석 앞에 [A] 기호를 붙였으니 잘 대응시키면서 확인하시면 .. [Paper Review] StyleGAN : A Style-Based Generator Architecture for Generative Adversarial Networks (1) StyleGAN ( A Style-Based Generator Architecture for Generative Adversarial Networks ), CVPR 2019에 소개되었으며 추후 다양한 후속 연구 및 생성 모델 연구에 큰 기여를 한 논문입니다. ProGAN 혹은 PGGAN으로 불리는 논문의 저자들이 progressive growing의 아이디어와 함께 style transfer의 architecture로부터 영감을 받아 혁신적인 generator를 고안해냈습니다. 최근에 언급되는 stylegan은 대부분 stylegan2를 의미하고 활용되지만 전체적인 연구의 흐름을 따라가기 위해서 읽어보기를 추천하고 이에 앞서 AdaIN의 개념을 간단히 알고 ProGAN을 읽어봤다면 좋을 것 같습니다. 본.. 이전 1 다음
