Concept (7) 썸네일형 리스트형 [Concept] Depth from Defocus 우리는 defocus 이미지를 활용해서 scene point의 depth를 계산할 수 있다. 이는 이미지가 얼마나 defocus되어 있는지를 알 수 있다면 즉 how much a scene point is blur point of spread functoin PSF를 알 수 있다면 depth를 구할 수 있다는 것이다. 결국 scene point가 얼마나 blur되었는지를 확인하면 depth정보를 찾을 수 있다는 것이다. 위와 같이 특정 이미지를 패치단위로 쪼개보면서 확인해보게 되면 특정 patch는 defocus되어 있고 특정 patch는 focus되어 있는 것을 확인할 수 있다. 이런식으로 각 pixel들 혹은 패치들에 해당하는 scene point들의 실제 depth가 다르다보니 object dist.. [Concept] Lens related Issues Compound Lenses Lens는 무조건 abberation을 발생키기게 된다. 현실의 카메라 시스템에서는 일반적으로 7-15개의 lens를 혼합해서 사용하고 있는데, 이런 시스템을 사용하는 이유는 다음과 같다. 현실의 이미징 시스템의 문제점은 spatially same quality를 얻기 힘들다는 것이다. 즉, image plane 전체에 대해서 same quality를 얻고싶은데 이는 현실적으로어렵다. 실제로 center에 가까울 경우 high quality를 유지하는 반면에 periphery에 대해서는 low quality를 얻게 된다. 이를 해결하기 위해서 series of lenses를 사용하게 되면 이러한 문제를 어느정도 개선할 수 있게 된다. 그렇다면 실제로 lens로 인해서 발생하는.. [Concept] Image Formation using Lens 최근 진행중인 연구에서 Computational Imaging with Optics와 관련된 분야에 대한 이해가 필요해 내용을 정리하고 있는 중이다. 우선적으로 중요하거나 당장 정리하고 싶은 내용위주로 서술해나갈 예정이다. Camera와 같은 Imaging System에서 Image Formation과정을 떠올려보자. 현실의 scene으로부터 들어오는 빛이 렌즈에 의해서 모아지고 이는 우리의 이미지 센서( 카메라 센서 )에 맺히게 되고 필름 카메라라면 필름, 디지털 카메라라면 일반적으로 CCD와 같은 전자결합소자를 이용해서 image를 구성하게 된다. 간단히 Figure를 통해 살펴보도록 하자. 다음과 같이 현실의 scene의 p_0라는 point로부터 오는 빛은 lens에 의해 refraction or.. [Concept] 3D Aware Image Synthesis ( or 3D Aware GAN ) 3d aware image synthesis란? 3d aware image synthesis란, image synthesis를 함에 있어서 3d aware 한 정보들을 학습함으로써 합성해내는 이미지들이 3d 공간의 정보와 consistent 하게 image를 합성하는 task입니다. 다시 말해 2d image들로부터 unsupervised하게 neural scene representatoin을 학습해 3d aware image를 합성하는 것입니다. 기존의 이미지 합성 분야에서 GAN 혹은 adversarial training방식은 다양한 image synthesis task들(Image Generation, Image to Image Translation, Image Editing)의 상당한 발전에 큰 .. [Concept] GAN Inversion GAN Inversion 이란? GAN Inversion이란 입력 이미지와 유사한 결과 이미지를 얻을 수 있도록 하는 latent vector를 찾는 과정입니다. 일반적으로 GAN이 학습되면 random latent vector로부터 이미지를 생성해낼 수 있게 됩니다.GAN Inversion은 이의 역과정입니다. 우리가 latent vector를 알기 원하는 이미지를 넣었을 때 GAN의 latent space의 latent vector로 input image를 inverting시키는 것입니다.그렇다면 이러한 이미지의 latent vector를 왜 알고 싶은 것일까요? Why GAN Inversion? 이러한 GAN Inversion은 StyleGAN이 등장하면서 학습된 StyleGAN을 downstrea.. [Concept] 3DMM : 3D Morphable Face Models Morphing이란? Metamorphosis(변형)에서 유래된 말로 한 영상에서 다른 영상 사이를 연속적으로 변형시키는 형상변형이다. 즉, 서로 다른 2개의 이미지나 3차원 모델 사이의 변화하는 과정을 연속적으로 서서히 나타내는 effect를 Morphing이라고 한다. 즉, 이렇게 첫 영상과 마지막 영상 ( 프레임 )을 지정해주면 컴퓨터가 animation혹은 motion pictures와 같은 Morphing이란 special effect를 만들어낸다. 앞으로 살펴볼 3DMM에서 Morphing이란 결국 형상 변형이 일어나는 것이라고 생각하면 되겠다. 3DMM : 3d Morphable (Face) Model 일반적으로 3d face modeling에서 데이터는 3d face를 scan한 set으로.. [Concept] Knoewledge Distillation 오늘은 현재는 다양한 연구 방향성에서 사용되고 있는 Knowledge Distillation 기법에 대해서 시작과 함께 알아보도록 하겠습니다. 그러기 위해서 우선 Knowledge Distillation이 처음 제시될 당시의 목적이었던 Model Compression에 대해서 먼저 간단히 살펴보겠습니다. Model Compression 일반적으로 ML/DL에서 모델이 Performance와 Computational Cost 및 Time은 Trade-off관계인 경우가 많습니다. 그래서 아무리 좋은 performance를 가진 모델이더라도 현실적으로 사용하기에 너무 무겁거나, 학습 및 추론 과정에서 시간이 너무 오래 걸린다면 사용되지 않습니다. 이를 위한 다양한 해결 방법들이 존재하지만, 이번에는 모델을 .. 이전 1 다음
