간단히 적은 후 추후에 내용을 자세히 보충해서 설명해두려고 합니다.
최근 아이폰의 카툭튀 현상처럼 스마트폰과 같은 consumer device에서 camera는 점점 더 정교해지고 복잡해지고 있다. 이는 더 좋은 이미지 퀄리티를 위해서 bulky camera bumps를 계속 쌓고 있기 때문이다. ( Bulky Compound Optics )
이러한 이유로 실제로 Medical & Astronomy 등의 ( microscope & telescope ) 도메인에서는 metasurface optics을 활발히 연구하고 있다. 이러한 metasurface optics가 정말 작은 nano 혹은 ultra-small optical element로 사용될 수 있을지라도 실제로 얻게 되는 이미지의 퀄리티는 기존의 bulky refractive alternatives보다 무척이나 떨어지게 된다. 그 근본적인 이유는 large apertures에 의한 abberation때문일 것입니다. 즉, aperture를 크게 할수록 blur circle이 커지게되기 때문이다.
본 연구에서는 neural nano optics imager를 사용해서 thin lens를 사용함으로써 발생하는 abberation을 해결해 performance gap을 개선한다. 결국에는 이러한 nano optics와 sensor에서하는 software processing을 jointly design하고 특히 neural algorithm을 활용해서 이러한 processing system을 optimization해서 performace gap문제를 해소한다.
이를 위해서 저자들은 전체 프레임워크를 differentiable하게 즉 learnable하게 구성한다. 즉, 실제 카메라 시스템에서 사용하게 된다면 하단의 오른쪽 figure와 같이 meta-optics를 앞에 두고 뒤에서 software procesisng을 할 것이다. 저자들은 우선적으로 이러한 meta-optics의 역할을 simulation을 해야하니 meta-optics simulation f_proxy를 먼저 구성한다. 그 후에 이 proxy function을 활용해서 실제로 meta-optics로부터 나오는 abberation가득한 이미지를 실제 sharp한 이미지가 되도록 optimization해준다. 이러한 proxy function은 다음과 같이 light가 실제로 wave이기 때문에 이러한 wave가 meta-optics에 들어왔을 때 diffraction등의 interaction을 하면서 구성된 phase가 어떨지를 differentiable하게 simulation하고 이러한 pahse로부터 RGB 3 channel의 다른 wavelength에 따른 모델링을 통해 chromatic abberation을 없애기 위해서 다른 wavelength에 대해서 다른 모델링을 진행한다. 그렇게 된 결과를 electric field로 만들어 이로부터 PSF까지 모델링을 진행한다. 이 모든 과정은 differentiable하다.
그 후에 이러한 PSF를 활용해서 GT Image와 convolution을 진행해서 meta-optics로부터 캡쳐될 image를(blur한) simulation한다. 우리의 목표는 이러한 blur image를 GT처럼 sharp하게 optimization하는 것이다. 이때 optimization할 파라미터는 PSF를 구성하는데 사용된 phase의 파라미터이다. 이렇게 파라미터를 optimization함과 동시에 지금 사용하는 blur image가 conovlution된 결과이기 때문에 deconvolution( neural net )을 통해서 추가적인 작업을 거쳐 이렇게 deconvoled 된 이미지를 실제 GT Image와 loss로 measure함으로써 reconstruction error를 통해서 이와 같은 neural nano-optics imager를 optimization한다. 결국 실제 deconvolution이라는 post processing과정과 meta-optics로부터 나오는 PSF( 실제 상황이라면 진짜 PSF ) 를 jointly optimization함으로써 reconstruction을 하고자하는 것이다.
그 결과 이러한 post processing 그리고 neural nano optics optimization없이 바로 capture한 abberation이 심한 이미지보다 훨씬 sharp하게 개선된 것을 확인할 수 있다.
실제로 일반적인 두꺼운 comopund optical system을 통해서 캡쳐된 이미지와도 비교해볼 수 있는데 이렇게 준수한 결과를 내고 있음을 정성적으로도 다시 한 번 확인할 수 있다.
