A Study of Extraction of Three-dimensional Spatial Information Utilizing the Parallax Error of a Multilens Smartphone Camera

(1)

22 A Study of Extraction of Three-dimensional Spatial Information Utilizing the Parallax Error of a Multilens Smartphone Camera

Cheon-Seog Rim

^†

Department of Basic Science, Hannam University, 133 Ojeong-dong, Daedeok-gu, Daejeon 34430, Korea (Received December 21, 2020; Revised January 7, 2021; Accepted January 7, 2021)

We try to extract three-dimensional information, such as the distance from a camera and the actual width and height of an object, from still photographs by a multilens smartphone camera, by means of parallax error. To obtain this information, we develop several formulas and design a method for experimental instrumentation. If the results from this paper were included in algorithms of multilens smartphone cameras, there would be various kinds of applications, such as in the workplace of architectural and civil engineering to obtain an actual dimension, or on a golf course to measure how far away a pin flag is. We expect many more applications of this study, because the multilens smartphone camera is already an important necessity of life.

Keywords: Parallax, Multi lens, Smart phone camera, Range finder, Surveying

OCIS codes: (150.0150) Machine vision; (150.4232) Multisensor methods; (150.6044) Smart cameras; (150.6910) Three-dimensional sensing

멀티렌즈 스마트폰 카메라의 시차현상을 활용한 3차원 공간정보 획득 연구

임천석^†

한남대학교 기초과학학부

우

34430 대전광역시 대덕구 오정동 133번지

(2020년 12월 21일 받음, 2021년 1월 7일 수정본 받음, 2021년 1월 7일 게재 확정)

스마트폰 카메라의 멀티렌즈에서 발생되는 시차현상을 이용하여 실측의 3차원 공간정보를 획득할 수 있는 방법에 대해 연구를 진행하였다.

이를 위한 실험·계측법도 구상해 보았고 관련 방정식도 개발하였다. 본 연구결과를 스마트폰 카메라의 멀티렌즈에 적용하게 되면 건축이나 토 목현장에서 스마트폰만으로 한 번에 전체 피사체의 3차원 공간정보를 손쉽게 획득하거나 골프장에서 핀까지의 거리가 얼마나 남았는지 편리 하게 알아낼 수 있을 것이다. 멀티렌즈 스마트폰과 연계된 이 기술의 다양한 응용성을 기대해 본다.

Keywords: 시차, 멀티렌즈, 스마트폰 카메라, 거리측정기, 측량

OCIS codes: (150.0150) Machine vision; (150.4232) Multisensor methods; (150.6044) Smart cameras; (150.6910) Three-dimensional sensing

†

E-mail: [email protected], ORCID: 0000-0002-6000-5909

Color versions of one or more of the figures in this paper are available online.

I. 서 론

최근 카메라 기술의 동향은 고정식 일안렌즈(single lens)와 렌즈 군을 앞뒤로 밀거나 당기거나 하는 단순 줌 구동 메커니 즘을 벗어나서 멀티렌즈를 사용한다거나

^[1,2]

렌즈와 로봇 구동 메커니즘을 결합하여

^[3,4]

자유로운 회전과 이동이 가능하도록 발전하는 추세이다. 멀티렌즈가 활용되고 있는 다양한 실례 가 있을 수 있지만 가장 범용적인 예로서 애플의 아이폰이나

삼성의 갤럭시폰을 들 수 있다. 이들 폰의 대표적인 렌즈 구성

은 표준, 광각, 망원렌즈로 되어있고 기존 일안의 스마트폰 카

메라에서 가장 큰 걸림돌이었던 화질의 한계가 대폭적으로 개

선되었다. 3개 카메라에 의한 이미지를 블렌딩하여 합성하는

방식으로 큰 폭의 화질의 개선이 이루어졌을 뿐만 아니라 기

존 기계식 줌의 한계도 탈피하였다. 멀티렌즈나 로봇카메라에

서는 피사체의 깊이에 따라 이미지센서 상에서 위치나 크기

가 제각각인 피사체의 상들이 만들어지기 때문에 이들을 하나

(2)

의 이미지로 합성할 때 매끄럽게 연결이 되지 않거나 이상한 형태가 나타나기도 한다. 이런 현상을 시차현상(parallax error)이라고 하는데

^[5]

이 시차현상에는 양면이 있다. 가상현실 과 증강현실과 같은 기술에서는 시차현상을 이용하여 우리 눈 을 속이는 방식으로 입체 몰입감을 만들어 내지만, 미항공우 주국(NASA)의 화성탐사 로봇 “큐리오시티 로버”에 탑재된 로 봇 카메라에서는 고해상도로 이미지를 합성하는 과정에서 예 기치 않은 장애로 나타날 수 있다.

본 논문에서는 멀티렌즈 스마트폰 카메라에서 필연적으로 수반될 수밖에 없는 시차현상(parallax error)을 역이용하여 실측의 3차원 공간정보를 획득하는 수단으로 사용하고자 한 다. 이를 위해 먼저 parallax 오차의 정의방법을 연구하였다.

연구의 순서는 첫째로 두 카메라에서 피사체 간의 깊이 차이 D 로 만들어지는 피사체의 상들을 각각 벡터 →

P

₁

과 →

P

₂

로 표기하 고 해석적인 벡터수학을 통해 →

P

₁

과 →

P

₂

에 대한 “시차해석 방정 식”을 도출해 낸다. 시차해석 방정식이란 벡터 →

P

1

과 → P

2

에 대한 스칼라 표현식을 말하는데 개별 렌즈의 초점거리, 입사동의 직경, 출사동의 직경이 포함되어 있다. 시차해석 방정식 →

P

₁

과 P →

₂

간의 크기 비( P

₂

/ P

₁

)를 취하면 렌즈의 개별 인수 값들이 소

거되어 개별 렌즈에 대한 의존성이 떨어지기 때문에 더욱 일 반화된 시차해석 방정식으로 발전된다. 둘째로 임의의 피사체 들 간의 parallax 오차 값들이 항상 0에서 1 사이의 값을 갖 도록 상수 값 1과 일반화된 시차해석 방정식( P

₂

/ P

₁

) 간의 차 로 정의함으로써 parallax 오차 값이 정규화(normalization) 되도록 하였다. 그러나 이렇게 정의된 parallax 오차는 3차 원 공간에서 피사체들과 카메라의 위치관계로 표현되는 좀 난 해한 형태의 대수식으로 나타나기 때문에 다루기 어려워서 실 용적인 활용을 위해 수평 방향으로만 고려된 시차해석 방정식 P

₁^x

( D ) 혹은 P

₂^x

( D )를 도입하고 동시에 이와 연계된 실험·계측 방법도 고안하였다. 이 과정에서 실험계측의 기준 물체로부터 미지 물체의 3차원 공간정보를 획득할 목적으로 관련 식들을 가공하였고 특정 식에 대해서는 편미분을 취하였으며 결과적 으로 미지 물체에 대한 실측의 깊이와 폭, 높이를 구하는 공식 을 얻을 수 있었다. 이 공식과 실험·계측법을 잘 활용하면 스 마트폰 카메라의 멀티렌즈로부터 건축이나 토목현장에서 스 마트폰만으로 한 번에 전체 피사체의 3차원 공간정보를 획득 할 수 있거나 골프장에서 핀까지의 거리가 얼마나 남았는지 쉽게 알아낼 수 있을 것으로 기대된다. 이뿐만 아니라 스마트 폰의 편리성과 대중적인 측면을 고려한다면 실측의 3차원 공 간정보에 대한 다양한 응용 가능성도 열리게 될 것으로 기대 해 볼 수 있다.

II. 시차의 정의방법과 시차해석 방정식의 이해

스마트폰의 멀티카메라와 다양한 유형의 로봇 카메라에서

는 필연적으로 parallax 오차가 발생하게 된다. Parallax 오 차란 깊이 차이가 존재하는 피사체를 바라보는 카메라의 시점 이 공간적으로 분리되거나 기울어짐(tilting) 차이가 발생함에 의해서 나타나게 되는데, 로봇 카메라의 3차원적인 움직임과 멀티카메라에서 흔히 발생한다. 그림 1은 parallax 오차에 대 한 도식화된 이해를 보여주고 있다

^[6,7]

. 그림 1에서 보듯이 parallax 오차는 상면을 기준으로 볼 때 공간적으로 분리된 피사체 상의 두 점 A와 B의 깊이 차이( z

_B

_– z

_A

_)와 XY 평면에 서의 위치 차이( x

_B

_– x

_A

_혹은 y

_B

_– y

_A

)에 의해 두 카메라의 상 면 상에서 A, B 결상 점의 위치 및 길이 편차가 발생하는 현상 을 말한다. Parallax 오차의 또 다른 정의로서 피사체 상의 두 점 A와 B를 기준으로 볼 때는 두 카메라에서 각각 점 A와 B로 의 수렴각의 차이 β–α 또는 두 점 A와 B에서 입사동의 중심점 으로의 수렴각의 차이 γ

L

–γ

R

로도 주어질 수 있다. 본 논문에서 는 parallax 오차에 대한 두 종류의 정의 중 수렴각의 차이보 다는 이미지센서 상에 결과로서 나타나는 parallax 오차를 기 준으로 삼아 논의를 전개해 나가기로 하고 식 (1)을 parallax 오차에 대한 정의로서 우선 채택한다. 식 (1)은 두 이미지센서 를 하나로 겹쳐놓았을 때 P

_A

P

_B

와 P

_A

’P

_B

’ 이 서로 회전하거나 위치이동을 해도 1:1로 맞추어지지 않는 오차량이 존재하게 되면 그 절대크기 편차가 parallax 오차라는 의미이다

^[5]

.

Parallax error = P

_A

P

_B

_– P

_A

’P

_B

’ (1)

식 (1)의 parallax 오차에 대한 정의로부터 그림 2를 활용 하여 벡터적인 해석과 연산관계를 이용하면 입사동과 출사동 간의 관계로 표현되는 벡터 →

P

₁

과 →

P

₂

의 스칼라 크기에 대한 시 차해석 방정식을 얻게 된다. 식 (2)와 식 (3)은 벡터연산의 결 과로서 시차해석 방정식 P

₁

과 P

₂

을 보여준다. 이에 대한 자세 한 유도과정은 “로봇 카메라의 시차연구”를 주제로 한 한국광 학회지 31권 1호(2020년 2월)를 참조하기 바란다

^[8]

. 언급한 참고문헌은 시차현상을 이해하기 위해 “시차해석 방정식”을 어떻게 접근하여 수학적으로 유도할 것인지가 주제로 되어있 고, 현 논문은 이전 참고문헌에서 한 발 더 나아가 “시차해석 방정식”을 역이용하여 멀티렌즈 시스템에서 실측의 3차원 공 간정보를 획득하는 방법에 대한 연구이다.

시차해석 방정식 식 (2)와 식 (3)을 이해하기 위해서는 그 림 2를 참조해야 한다. 그림 2에서 검정색 화살 선은 벡터를 의미하고 이동 전 카메라를 기준으로 한 위치벡터들이다. 회 색 선은 카메라 이동( →

M )에 의한 위치벡터들이다. 각각의 검 정색 선들에서 입사동의 중심점으로부터 피사체 상의 점 A까 지 떨어진 거리를 벡터 →

L 로 표현하고, 점 A로부터 점 B까지 의 깊이를 벡터 →

D 로 표현하고, XY 평면상에서 A, B점의 위치 벡터를 각각 벡터 →

H (= h

_x

i ˆ + h

_y

j ˆ ), 벡터 →

G (= g

_x

i ˆ + g

_y

j ˆ )로 표현하

였다. 그러면 이들 벡터들을 활용하여 A, B점으로부터 입사동

(3)

의 중심으로 향하는 벡터 →

A’ 와 벡터 →

B’ 가 연산관계로 얻어질 수 있다. 벡터 A → ”과 벡터 B → ”은 입사동과 출사동 간의 각배율 ( β

A

’/β

A

= β

B

’/β

B

) 혹은 입사동과 출사동 간의 직경 비( D

_En

/ D

_Ex

) 에 의해서 벡터 →

A’ 와 벡터 →

B’ 로부터 환산 표현될 수 있다. 예 를 들면, 그림 2에서 벡터 →

A (= h

_x

i ˆ + h

_y

j ˆ + Dk ˆ )는 입사동과 출사 동 간의 환산관계를 활용하여 조금 더 복잡한 형태의 벡터 A → ” 으로 표현될 수 있는데 결과적으로 벡터 →

A ”은 h

_x

{ R’D

_En

/LD

_Ex

} i ˆ ₊ h

_y

{ R’D

_En

/LD

_Ex

} j ˆ ₊ R’k ˆ 으로 주어진다. 한편, 카메라 이동( M → ) 에 의한 회색선과 관련된 벡터들인 →

A

m

”과 →

B

m

”도 동일한 방식 으로 입사동과 출사동 간의 직경비로 환산 표현될 수 있다. 그 결과 이미지센서 상에서 피사체 상의 두 점 A, B 간의 거리를 구하기 위한 벡터인 →

P

_1,

P ^→

₂

는 각각 → P

₁

’ = →

A ”– → B ”, →

P

₂

’ = → A

_m

”– →

B

_m

” 으로 표현되고 최종적으로 이들의 스칼라 크기인 식 (2)와 식

(3)이 얻어진다.

P

₁

= R’ ( ^D ^D

^En^Ex

) ^h ^L

^x

^L ^g

^x

^D ^h ^L

^y

^L ^g

^y

^D

 

    

 

 

   

2 2

(2)

P

₂

= R’ ( ^D ^D

^En^Ex

) ^×

y y y y

x x x x

x x y x

h m g m

L m L m D L m L m D

   

    

 

         

   

2 2

(3) 시차해석 방정식 식 (2)와 식 (3)으로부터 parallax 오차 값 Fig. 1. Two ways of definition for parallax error generated by object points A and B with a depth of x

_B

– x

_A

_.

Fig. 2. Mathematical formulation through vector analysis for obtaining Eq. (2) and Eq. (3) named parallax analyzing equation.

(4)

을 식 (1)의 정의대로 구하게 되면 parallax 오차 값은 렌즈 의 초점거리, 입사동의 직경, 출사동의 직경과 같은 개별 렌 즈의 속성 값에 의존하게 되므로 식 (1)을 바로 채택하기보 다는 다른 방식으로 parallax 오차를 재정의할 필요가 있다.

먼저 parallax 오차를 시차해석 방정식 P

₁

과 P

₂

의 비( P

₂

/ P

₁

) 로 정의하게 되면 개별 렌즈의 속성 값인 출사동에서 상면까 지의 거리( R’ ), 입사동의 직경( D

_En

), 출사동의 직경( D

_Ex

)이 분 모·분자에서 공통인자로 잡히기 때문에 소거될 수 있다. 그런 데 P

₁

과 P

₂

의 비로만 parallax 오차를 정의하게 되면 P

₁

과 P

₂

의 값이 같아 parallax 오차가 없는 경우에도 P

₂

/ P

₁

=1이 되어 parallax 오차 값이 존재하게 되는 논리모순 상황이 발생한 다. 이런 상황을 회피하기 위해서는 식 (4)와 같이 상수 값 1과 시차해석 방정식 비( P

₂

/ P

₁

)와의 차이로 parallax 오차를 정의 할 필요가 있다. 또 parallax 오차 값의 범위가 0에서 1 사이 값을 갖도록 정규화(normalization)할 목적으로 P

₁

＞ P

₂

이면 식 (4)를 사용하고 P

2

＞ P

1

이면 식 (5)를 사용하여 parallax 오 차를 정의한다.

Parallax error=1– P

₂

= P

₁

_– P

₂

P

1

P

1

(단, P

₁

＞ P

₂

) (4) Parallax error=1 – P

₁

= P

₂

– P

₁

P

₂

P

₂

^(단, P

₂

＞ P

₁

) (5)

III. 시차해석 방정식의 활용법

시차해석 방정식을 실질적으로 활용하기 위한 첫 단계로서 우선 식 (4)로 표현되는 parallax 오차에 대한 특별한 세 가지 케이스에 대해 살펴본다. 첫째로, 시차해석 방정식 (2)와 (3)에 서 카메라 이동( →

M )이 없는 경우 m

_x

= m

_y

= m

_z

=0이 되기 때문에 식 (2)와 식 (3)은 동일한 표현식이 되어 parallax 오차는 0이 된다. 당연히 카메라의 이동이 없으면 동일한 사진이 얻어져 서 parallax 오차도 없을 것이라는 물리적 상식과 부합한다.

둘째로, 카메라의 이동은 있지만( m

_x

≠0, m

_y

≠0, m

_z

≠0) 피사 체 상의 두 점 A, B의 깊이 차이가 없는 경우( D =0) parallax 오차 값은 존재하고 그 값은 식 (6)으로 표현된다. 식 (6)은 카 메라로부터 점 A까지의 거리 L 과 Z축 방향으로의 카메라 이 동량 m

_z

의 함수로 parallax 오차 값이 결정되도록 되어 있다.

식 (6)에서 두 점 A와 B 간의 수평거리(width)와 수직거리 (height)를 g

x

– h

x

=W ^와 g

y

– h

y

=H 로 두고 s =

^W²^H²

으로 표기 하였다. 물리적으로 보면 parallax 오차는 피사체들 간의 깊 이 차이로 발생하는 현상인데 깊이 차이가 없음( D =0)에도 불 구하고 식 (6)에서는 parallax 오차 값이 m

_z

/L _{에 의존하도} 록 되어 있다. 이를 해석하기 위해서는 m

_x

에 주목해야 한다.

렌즈의 이동이 Z 축 방향으로 일어나면 물·상간의 거리가 바뀌

기 때문에 이동 전후에 배율 차이가 발생한다. 즉, 배율오차가 발생하게 되는데 식 (6)은 이 효과를 m

_z

/L 로 표현하고 있다.

그렇기 때문에 식 (6)은 parallax 오차로 해석하기보다는 배 율오차로 보는 편이 맞고 영상 소프트웨어적으로 일괄 줄이고 늘이고 하는 방식으로 쉽게 제거할 수 있다. 셋째로, 피사체의 거리가 A점과 B점의 깊이 차이보다 카메라로부터 매우 멀리 떨어져 있는 경우( L ≫ D )이다. 스마트폰 카메라와 같은 평면형 멀티 카메라에서는 m

_z

=0이 되기 때문에 시차해석 방정식 (2) 와 (3)이 동등하게 표현되어서 parallax 오차가 바로 제로로 수렴하게 된다. 이 케이스에 대한 교훈은 카메라로부터 피사 체의 거리가 멀리 떨어질수록 깊이 차이에 의한 parallax 효 과가 사라지게 된다는 것이다. 예를 들면, 가까이 있는 사람과 멀리 떨어져 있는 산을 동시에 사진 촬영하게 되면 사람과 산 에 대해서는 parallax 오차가 발생하지만 산 속의 나무들끼리 는 parallax 오차가 발생하지 않는다는 것이다.

Parallax error = P

₁

_– P

₂

P

₁

=

2 2

   

  

 

   

   

-

^x ^x

-

^x ^x ^y ^y

-

^y ^y

z z z z

h m g m

s

L L m L m L m L m

s L

= 1 – ( ¹⁺ ^m L

^z

)

^-1

⁽⁶⁾

식 (2)와 식 (3)에서처럼 복잡하고 난해하게 표현된 시차해 석 방정식을 좀 더 편리하고 효과적으로 활용하기 위해 parallax 오차 값이 수평( x ) 방향의 값이거나 수직( y ) 방향의 값 인 어느 한 케이스만 고려해 보도록 하자. 보통 스마트폰에서 멀티렌즈의 배치가 어느 한 방향으로만 되어 있기 때문에 이 케이스는 매우 유효할 것으로 보인다. 본 연구에서는 편의를 위해 수평( x ) 방향으로만 고려해 보자. 즉, 렌즈의 이동 m

_y

=0 가 되지만 m

_x

≠0가 아닌 경우에 해당한다. 그리고 혼돈을 방지하기 위해 수평( x ) 방향에 대해서는 시차해석 방정식을 P

₁^x

( D )와 P

₂^x

( D )로 표기하기로 한다. 이 둘의 비 P

₂^x

( D )/ P

₁^x

( D ) 을 계산하면 식 (7)과 같이 훨씬 다루기 좋고 간단한 형태로 표현된다. 이로부터 식 (8)과 같이 parallax 오차가 정의될 수 있다.

P

₂^x

( D ) P

₁^x

⁽ D ^{) =}

( h

_x

+ m

_x

) /L –( g

_x

+ m

_x

)/( L + D )

h

_x

/L – g

_x

/( L + D ) = ( g

_x

_– h

_x

) L _– h

_x

D _– m

_x

D ( g

_x

_– h

_x

) L - h

_x

D

=1 – m

x

D WL _– h

_x

D ⁼¹ ^–

-

x

m D L W h D

L

 

 

 

 

 

 

(7)

(5)

Parallax error=1 – P

₂^x

( D ) P

₁^x

( D ) =

-

x

m D L W h D

L

 

 

 

 

 

 

(8)

식 (8)과 같이 직관적이면서 취급하기 좋은 parallax 오차 에 대한 활용식이 마련되었기 때문에 식 (8)과 연계된 실험·

계측 방법도 고안해 본다. 그림 3은 식 (8)의 parallax 오차를 실험·계측하기 위한 피사체와 카메라 간의 배치 구상도를 나 타낸다. 그림 3에서 피사체 1과 피사체 2는 막대형 물체이고 수평방향으로는 W 만큼 떨어져 있다. 그러면 식 (8)을 조금 조 작하여 피사체 1의 수평( x ) 방향 위치 h

_x

에 대한 식으로 식 (9) 와 같이 표현할 수 있다. Parallax 오차를 실험, 계측하는 조 건으로 피사체 1의 위치와 카메라 1의 중심점이 서로 일치하 도록 두면 식 (9)에서 h

_x

=0가 되어 식 (9)는 식 (10)과 같이 다 시 쓰여질 수 있다. 식 (10)으로 표현되는 parallax 오차 식은 피사체 1의 위치가 렌즈 입사동의 중심점에 있는 경우에 한해 서만 제한적으로 사용될 수 있지만 앞으로 논의가 전개될 3차 원 공간 정보획득과 관련해서는 매우 유용한 활용식이 될 것 이다.

h

_x

=

2

1

2

1

1- ( ) -

( ) 1- ( )

( )

x

x x

x

P D D

W m

L

P D

P D D

P D L

   

   

 

 

   

   

 

 

(9)

W =

2 1

( ) ( )

x

m D L

P D

 

 

  1 

(10)

IV. 시차해석 방정식의 편미분을 통한 3차원 공간정보의 획득

카메라의 이동에 의해 획득된 두 장의 이미지 사진으로부 터 실측의 3차원 공간정보를 획득하기 위해서는 피사체 간의 깊이 차이 D 로 피사체 간의 수평 폭 W 를 편미분할 필요가 있 다. 식 (10)은 이를 가능하게 해 준다. 그림 4는 미지의 D ’값 을 알기 위한 실험·계측의 구상도이다. Parallax 오차에 대한 사전 실험·계측을 통해 피사체 1과 피사체 2 간의 거리( L )와 깊이( D ), 수평방향의 폭( W ), 카메라의 이동거리( m

x

), P

1x

( D ) 와 P

₂^x

( D )의 비 값들은 이미 알고 있다고 가정한다. 식 (10)의 양변을 변수 D 로 편미분하게 되면 식 (11)과 같이 우선 표현 된다. 식 (11)에서 편미분 (∂ W /∂ D )가 0이 되는 이유는 피사체 간의 수평 폭 W 가 피사체 고유의 값이기 때문에 깊이 D 에 의 존하는 변수가 아니라서 0이 된다는 것이다. 식 (11)에서 공통 인자를 소거하여 정리하면 식 (12)와 같이 된다. 식 (12)에서 편미분 항을 각각 식 (13)과 식 (14)와 같이 두게 되면 식 (15) 로 정리될 수 있다. 다시, 식 (15)에서 좌변의 두 번째 항을 우 변으로 이항하여 D ’에 대해서 정리하면 식 (16)과 같이 최종 표현식이 얻어진다. 식 (16)은 사전적으로 기준물체의 D 값과 P

₁^x

( D )와 P

₂^x

( D )의 비 값을 알고 있는 상황에서 미지 물체인 피사체 3의 P

1x

( D )’와 P

2x

( D )’의 비 값을 이미지 사진으로부터 추출해 내기만 하면 미지 물체의 실측 값 D ’을 알아낼 수 있다 는 것이다.

∂ W

∂ D ⁼⁰⁼

2 2 1

1

2 1

( ) ( ) ( )

x

x x x

x x

x

P D

m P D D

m

L P D L D

P D

 

  

 

 

 

 

 

  

 

 

  

 

 

2

1

1 (11)

Fig. 3. Parallax analyzing equations in horizontal direction denoted by P

1x

(D) and P

2x

(D) related to Eqs. (7), (8), (9) and (10).

(6)

– D

( ) ( )

x

P D

P D D

 

    

 



2

1

=1– P

₂^x

( D )

P

₁^x

( D ) (12)

∂ D = D’ _– D (13)

– δ ( ^P ^P

²1^xx

⁽ ( ^D D ⁾ ) ) ^=– ^P ^P

²1^xx

⁽ ( ^D D ⁾ ) ^’ ’ ⁺ P

₂^x

( D )

P

₁^x

( D ) (14)

( ^P ^P

²¹^x^x

⁽ ⁽ ^D ^D ⁾ ^{) –} ^P ^P

²¹^x^x

⁽ ⁽ ^D ^D ⁾ ⁾ ^’ ^’ ) ( D’/D ¹ _{)–1 =1–}

P

₂^x

( D )

P

1x

( D ) (15)

D’ =

2

1

2

1

( ) ( ) ( ) ( )

x

P D ' P D '

P D



 1

1 × D = Parallax error'

Parallax error ^× D (16)

카메라로부터 미지 물체가 얼마나 떨어져 있는지에 대한 실 측값인 D ’을 식 (16)으로부터 계산하기만 하면 피사체 3의 실 제 폭 W ’도 식 (17)에 의해 구해질 수 있다. 그러면 바로 이어 서 미지 물체인 피사체 3의 실제 높이 H ’값도 식 (18)로 결정 할 수 있다. 스마트폰 카메라와 같은 광축 대칭형 렌즈에서는 구결면 방향( x 방향)과 자오면 방향( y 방향)의 배율이 같기 때 문에 H ’값과 W ’값 사이에는 비례·평균 관계가 성립한다. 식 (18)은 이 점을 활용하여 유도되었다. 결과적으로 기준물체에 대한 실험·계측법과 두 장의 이미지 사진을 활용하면 실측 정 보인 D ’과 W ’, H ’이 모두 결정될 수 있다. 즉, 사진 속에 있는 이미지들에 대한 3차원 공간정보가 모두 획득될 수 있게 된

다. 기준물체인 피사체 1과 피사체 2에 대한 다양한 실험 값 ( L , D , W , m

_x

, P

₂^x

( D )/ P

₁^x

( D )값)들을 사진 데이터베이스로 많 이 확보할수록 미지 물체의 3차원 공간정보가 더욱 신뢰성 있 게 획득될 것으로 보인다.

W ’=

2 1

( ) ( )

x

m D' L P D ' P D '

 

 

 

1 

(17)

H ’= 1

2 (

¹1 ²2

( ) ( )

y y

x x

P D ' P D '

P D '  P D ' ) ^× ^W ^’ ⁽¹⁸⁾

V. 결 론

본 논문에서는 parallax 오차를 어떻게 정의하면 가장 유용

하게 활용할 수 있을 지에 대한 근본 물음으로부터 parallax

오차에 대한 정의방법을 개발하였다. Parallax 오차의 정의

방법은 카메라의 이동에 의해서 만들어지는 두 개의 시차해석

방정식을 도구로 우선 둘 간의 비( P

₂

/ P

₁

)를 취해서 개별 렌즈

의 특성 값들인 초점거리, 입사동의 직경, 출사동의 직경과 같

은 값들을 소거해 낸다. 그 다음 parallax 오차 값들이 0에서

1 사이의 값을 가지도록 정규화해 낸다. 문제는 이렇게 정의된

parallax 오차 식이 공간적인 위치변수들로 좀 난해하게 얽혀

있는 복잡한 형태의 표현식으로 나타난다. 실용성을 위해, 또

멀티렌즈 스마트폰 카메라에 적용할 수 있도록 복잡한 형태의

표현식을 수평 방향으로만 한정하여 훨씬 간단한 형태로 줄여

Fig. 4. Method of experimental instrumentation to extract three-dimensional information such as the distance from a camera and the actual

width and height of an object from still photographs of a multi-lens smartphone camera by means of parallax error.

(7)

내고 이와 연계된 실험·계측 방법도 고안해 낸다. 이 과정에서 사전적으로 행해진 실험·계측의 기준 물체로부터 미지 물체의 3차원 공간정보를 획득하기 위해 필요한 관련 식들을 개발하 고 특정 식에 대해서는 편미분을 취하여 실측의 깊이와 폭과 높이를 구하는 공식을 얻어낸다.

편의성 및 대중적인 측면에서 스마트폰 카메라가 대세인 요 즘에 본 연구결과를 바탕으로 스마트폰 카메라의 멀티렌즈를 이용하면 건축이나 토목현장에서 스마트폰만으로 한 번에 전 체 피사체의 3차원 공간정보를 손쉽게 획득하거나 골프장에 서 핀까지 거리가 얼마나 남았는지 쉽게 알아낼 수 있을 것이 다. 앞으로 이런 기능이 장착된 스마트폰이 활용된다면 3차원 공간정보와 관련된 다양한 가능성의 시장도 열리지 않을까 예 측해 본다.

감사의 글

본 논문은 2020년도 한남대학교 교비학술연구비로 이루어 졌으며, 이에 감사드립니다.

References

1. E. J. Tremblay, D. L. Marks, D. J. Brady, and J. E. Ford, “Design

and scaling of monocentric multiscale imagers,” Appl. Opt. 51, 4691-4702 (2012).

2. D. J. Brady and N. Hagen, “Multiscale lens design,” Opt. Ex- press 17, 10659-10674 (2009).

3. E. Howell, “NASA's New Mars 2020 Car May Look Like the Curiosity Rover, But It's No Twin,” (Space, Published date: 3 January 2020), https://www.space.com/nasa-mars-2020-rover- no-curiosity-twin.html (Accessed date: December 2020).

4. M. W. Powell, R. A. Rossi, and K. Shams, “A scalable image processing framework for gigapixel Mars and other celestial body images,” in Proc. IEEE Aerospace Conference (MT, USA, Mar. 2010).

5. Y. C. Choi, H. J. Moon, D. Y. Kim, J. Y. Ryu, Y. R. Shin, and C. S. Rim, “The study of gigapixel camera technology and the stunning high-resolution gigapixel image created by utilizing a robotic panoramic head and an image-stitching technique,”

Korean J. Opt. Photon. 26, 44-53 (2015).

6. W. J. Smith, Modern Optical Engineering: The Design of Opti- cal Systems, 3rd ed. (McGraw-Hill, NY, USA, 2000).

7. C. S. Rim, Fundamentals of Geometrical Optics, 1st ed. (Tech Media, Seoul, Korea, 2003).

8. C. S. Rim, “Study of the parallax error of a robotic camera for

obtaining ultrahigh-resolution gigapixel digital images,” Ko-

rean J. Opt. Photon. 31, 26-30 (2020).