최근 진행중인 연구에서 Computational Imaging with Optics와 관련된 분야에 대한 이해가 필요해 내용을 정리하고 있는 중이다. 우선적으로 중요하거나 당장 정리하고 싶은 내용위주로 서술해나갈 예정이다.
Camera와 같은 Imaging System에서 Image Formation과정을 떠올려보자. 현실의 scene으로부터 들어오는 빛이 렌즈에 의해서 모아지고 이는 우리의 이미지 센서( 카메라 센서 )에 맺히게 되고 필름 카메라라면 필름, 디지털 카메라라면 일반적으로 CCD와 같은 전자결합소자를 이용해서 image를 구성하게 된다. 간단히 Figure를 통해 살펴보도록 하자. 다음과 같이 현실의 scene의 p_0라는 point로부터 오는 빛은 lens에 의해 refraction or bending되어 p_i라는 특정 point로 converge된다. 다시 말해 p_i는 현실의 p_0가 렌즈에 의해서 포커싱된 부분이라는 것이다. 이는 흔히 알고 있는 pinhole camera model과 크게 다르지 않다. pinhole 카메라 모델은 단지 빛이 pinhole을 통해서 하단의 주황색 선처럼 하나의 ray로만 갈것이다. 렌즈를 사용하면 다음과 같이 빛을 더 모으게 된다.
Focal Length
이때 Focal Point란 즉 초점이란 광축(optical axis)에 평행하게 들어오는 빛들이 렌즈를 거쳐서 refraction or bending되어 optical axis와 만나는 지점을 의미한다. 위 이미지에서 빨간색 동그라미가 바로 초점( Focal Point )를 의미한다. 이러한 focal point로부터 lens까지의 거리를 focal length 초점거리라고 한다.
실제로 현실의 사물 (scene)은 렌즈와 같은 optical element를 통해서 빛을 맺히게 하는데 이때 이 optical element의 bending power 즉 빛을 어람나 잘 모으냐에 따라서 focal length가 결정된다. 간단히 생각해보자. optical element의 bending power가 강할 수록 빛은 굴절이 많이 될 것이고 훨씬더 렌즈에 가까운 위치에 focal point가 생기게 될 것이다.
이때 주의해야할 점은 바로 상점과 초점을 구분해야한다는 것이다. 사진을 찍을 때 일상적으로 말하는 '초점을 맞춘다'의 초점은 잘못된 표현이다. 이는 사실 '상점'을 의미한다. '초점'은 위에서 언급된 형태로 정의된다. 즉, 상점 Image Point or Focus는 상이 맺히는 지점으로 들어온 빛들이 렌즈를 거쳐 만들어내는 ray들이 converge하는 점을 의미한다.(한 점으로) 이때 이러한 상점으로부터 렌즈까지의 거리를 Image Distance라고 한다. 이때 scene의 point로부터 빛이 들어온다고 할 때 scene에서부터 렌즈까지의 거리는 object distance라고 한다.
이러한 Focal Length에 대해서는 다음과 같은 식이 성립하게 된다.
조금 더 쉽게 이해하기 위해서 object distance를 무한대인 상황을 생각해보자. 태양으로부터 빛이 들어오고 우리는 이것을 돋보기로 빛을 모아서 종이를 태워보고자 한다. 이때 object distance는 매우 커서 무한대에 가까울 것이다. 이렇게 되면 모든 빛들이 거의 평행하게 들어오고 그렇다면 image distance와 focal length도 같아질 것이다.
Image Magnification
이러한 Image Formation에서 우리가 흔히 아는 Zooming을 하려면 어떻게 해야할까? 이는 Image Magnification이라는 개념과 연결된다. 말 그대로 확대다. 현실의 것을 이미지에 담을 것인데 이때 현실의 distance와 우리가 담을 이미지 센서 공간의 distance의 비율이 존재할 것이다. 그리고 이에 따라서 우리가 담고자하는 현실의 정보가 특정 크기로 이미지 센서에 담기게 될 것이다. 이를 간단히 표현하자면 다음과 같은 수식으로 표현할 수 있다. 결국 현실의 정보를 상에 맺을 때 어느정도 magnification에 맞게 이미지의 scale이 다르게 보일 거라는 것이다.
실제로 현실의 카메라 시스템에서는 무척이나 여러개의 렌즈들을 compound해서 사용함으로써 magnification을 조절한다. object distance와 image sensor의 위치가 변화없다면 렌즈의 위치에 따라서 다음과 같이 magnificaton이 계산 조절될 수 있다는 것이고, 카메라에서 렌즈의 위치를 조절함으로써 magnification을 늘렸다 줄였다하는 것을 Zooming이라고 한다. *(우리가 아는 카메라 줌 )
Aperture of lens
카메라 시스템을 더 자세히 살펴보면 조리개 ( aperture ) 라는 것이 존재한다. 우리의 렌즈에 대해서 조리개를 통해서 실제로 빛이 들어오고 있는 clear area의 크기를 조절할 수 있다. 조리개가 많은 영역을 가리면 렌즈의 clear area는 줄어들 것이고 적은 영역을 가리면 clear area는 늘어날 것이다. 그에 따라 받을 수 있는 빛의 양이 적어지거나 늘어나게 될 것이다. 따라서 조리개를 조절함으로써 우리는 brightness를 조절할 수 있다. 이때 실제 clear area에 해당하는 lens의 diameter를 lens diameter, aperture에 해당하는 영역을 aperture diameter라고 한다.
이러한 aperture를 쉽게 표현하기 위해서 f-number라는 focal length와 lens diameter의 fraction으로 표현한다. ( 자주 사용되는 표현이니 알아만 두자. ) aperture 즉 조리개를 많이 덮는다는 것음 f-number가 커진다는 것이다.
Defocus
이러한 이미징 시스템에서 언제나 포커스가 잘 맞아있다면 좋겠지만 사실 defocusing되는 경우도 많다. 이러한 defocus는 어떻게 해서 발생하는 것일까? 간단하다. 우리는 Image Sensor가 어디에 놓여있고, image plane이 어디에 생성되는지에 따라서 focus되는지 defoucs되는지 달라지게 될 것이다.
다음과 같이 object가 놓여있는 scene plane( depth constant )가 있다고 가정하자. 이 plane위에 있는 사물들은 lens에 의해서 image plane위에 완벽히 한점에 찍힌다고 가정하자. 즉 상점이 바로 image sensor위에 있는 상황이다. 즉 scene 의 모든 point들이 완벽하게 image plane에 focus된다. 이를 plane of focus라고 한다.
그런데 이러한 plane of focus가 outside된 즉 image plane위에서 focusing되지 않는 상황은 어떨까? image plane위에 완벽히 한점으로 converge하는 것이 아니라 상점이 image plane 뒤에 맺혀서 image plane위에는 single point가 아닌 마치 distributed over a circlular disk로 맺히게 된다. 이렇게 blur circle로 보이게 되는 상황이 바로 defocus이다.
이러한 blur circle의 diameter는 이러한 gaussian lens law에 의해서 lens diameter의 배수로 정의될 수 있다. 즉, 조리개를 많이 열수록 blur circle이 커진다는 것이다. (빛이 더 많이 들어오다보니)
'Concept > Computer Vision' 카테고리의 다른 글
[Concept] Depth from Defocus (0) | 2023.03.27 |
---|---|
[Concept] Lens related Issues (0) | 2023.03.27 |
[Concept] GAN Inversion (0) | 2022.11.03 |