전체 글 (43) 썸네일형 리스트형 [Concept] 3DMM : 3D Morphable Face Models Morphing이란? Metamorphosis(변형)에서 유래된 말로 한 영상에서 다른 영상 사이를 연속적으로 변형시키는 형상변형이다. 즉, 서로 다른 2개의 이미지나 3차원 모델 사이의 변화하는 과정을 연속적으로 서서히 나타내는 effect를 Morphing이라고 한다. 즉, 이렇게 첫 영상과 마지막 영상 ( 프레임 )을 지정해주면 컴퓨터가 animation혹은 motion pictures와 같은 Morphing이란 special effect를 만들어낸다. 앞으로 살펴볼 3DMM에서 Morphing이란 결국 형상 변형이 일어나는 것이라고 생각하면 되겠다. 3DMM : 3d Morphable (Face) Model 일반적으로 3d face modeling에서 데이터는 3d face를 scan한 set으로.. [Paper Review] DeiT : Training data-efficient image transformers & distillation through attention 2020년 Vision Transformer가 등장하면서 Vision task에서도 Transformer가 큰 격변을 가져오기 시작했습니다. 하지만, 이러한 Vision task에서의 Transformer들은 1. 거대 데이터셋으로 학습 필요 2. 매우 무거움 등의 문제로 인해 활발히 활용되기 어려웠습니다. 이번에는 이러한 Transformer를 실질적으로 활용하기 위해서 Efficiency에 집중한 Efficient Transformer들의 시초 격인 DeiT : Training data-efficient image transformers& distillation through attention를 살펴보도록 하겠습니다. 1. Abstract 최근에는 NLP뿐 아니라 Audio, Computer Visi.. [Concept] Knoewledge Distillation 오늘은 현재는 다양한 연구 방향성에서 사용되고 있는 Knowledge Distillation 기법에 대해서 시작과 함께 알아보도록 하겠습니다. 그러기 위해서 우선 Knowledge Distillation이 처음 제시될 당시의 목적이었던 Model Compression에 대해서 먼저 간단히 살펴보겠습니다. Model Compression 일반적으로 ML/DL에서 모델이 Performance와 Computational Cost 및 Time은 Trade-off관계인 경우가 많습니다. 그래서 아무리 좋은 performance를 가진 모델이더라도 현실적으로 사용하기에 너무 무겁거나, 학습 및 추론 과정에서 시간이 너무 오래 걸린다면 사용되지 않습니다. 이를 위한 다양한 해결 방법들이 존재하지만, 이번에는 모델을 .. [Paper Review] Multimodal Conditional Image Synthesis with Product-of-Experts GANs 보호되어 있는 글입니다. [Paper Review] StyleGAN2 : Analyzing and Improving the Image Quality of StyleGAN StyleGAN2 ( A Style-Based Generator Architecture for Generative Adversarial Networks ), CVPR 2020에 소개되었으며 추후 다양한 후속 연구 및 생성 모델 연구에 큰 기여를 한 논문입니다. 본 논문 이후에 언급되는 StyleGAN은 모두 StyleGAN2를 지칭합니다. 본 논문에서는 기존의 StyleGAN에서 관찰됐던 다양한 artifact들을 분석하고 해결합니다. 또한, 생성 모델의 Metric에 대한 고찰과 함께 이러한 metric을 학습에 녹여 더 개선된 이미지를 생성해내도록 하고 있습니다. 그럼 시작하겠습니다. :) 1. Abstract 본 논문에서는 State of Art를 달성했던 StyleGAN을 분석하며 찾은 2가지의 .. [Paper Review] Style Transformer : Style Transformer for Image Inversion and Editing 이번에는 기존의 GAN Inversion 방법론들이 가지던 문제를 transformer를 통한 새로운 접근 및 해석을 통해 개선하고, Reference-based editing을 위한 네트워크까지 제안한 Style Transformer : Style Transformer for Image Inversion and Editing을 살펴보도록 하겠습니다. 그럼 시작하겠습니다 :) 1. Abstract 본 논문에서는 기존의 GAN Inversion 방법들이 가졌던 distortion-editability의 trade-off 관계를 지적하며 less distortion을 가진 이미지를 생성해내면서도 image editing에서도 flexibility를 가지도록 네트워크를 설계했습니다. 이를 위해 기존의 enco.. [Paper Review] Making Convolutional Networks Shift-Invariant Again Making Convolutional Networks Shift-Invariant Again는 ICML 2019에 소개된 논문으로 약간은 신호처리적인 관점에서 CNN을 다룬 논문입니다. aliasing과 shift-invariant에 대해서 소개하고 있습니다. 이번에는 세세히 리뷰보다는 얻어가야 할 아이디어와 중요한 background위주로 서술해보겠습니다. 다만, 저는 신호처리에 대한 깊은 이해를 가지고 있지는 못하기에 부족한 부분이나 잘못된 부분이 있을 수 있습니다.(피드백은 언제든지 환영! )또한, 논문에 대한 저자의 발표의 흐름과 유사하게 서술할 예정이니 필요하다면 영상 또한 참고하셔도 좋을 것 같습니다. 1. Abstract We show that classic antialiasing appli.. [Code Review] StyleGAN : A Style-Based Generator Architecture for Generative Adversarial Networks (2) 앞서 리뷰했던 StyleGAN 논문에 대한 Pytorch 구현체를 통해 어떻게 구현되어있는지를 세세히 살펴보도록 하겠습니다 리뷰하게 된 코드는 star도 많고 다른 repo들에서도 많이 재사용되는 구현체인 https://github.com/rosinality/style-based-gan-pytorch입니다. 라인별 코드를 더 자세히 이해하시고 싶다면 코드 블록에 주석을 달아놓은 영문 comment를 참고해주세요. 전체적인 코드 리뷰 방식은 논문의 아이디어가 구현체 상에서 어떤 방식으로 구현되어 있는지를 확인하고 추가적으로 설명이 필요한 부분을 보충하는 방식입니다. 또한 논문의 아키텍처 혹은 수식에 대응되는 부분은 기호 A, B, C 등을 통해 주석 앞에 [A] 기호를 붙였으니 잘 대응시키면서 확인하시면 .. 이전 1 2 3 4 5 6 다음
