Coupled Line Cameras as a New Geometric Tool for Quadrilateral Reconstruction

(1)

<응용논문> pISSN 1226-0606 eISSN 2288-6036

사각형 복원을 위한 새로운 기하학적 도구로서의 선분 카메라 쌍

이주행

^1,2†

1

한국전자통신연구원,

²

과학기술연합대학원대학교

Coupled Line Cameras as a New Geometric Tool for Quadrilateral Reconstruction

Joo-Haeng Lee

^1,2†

1

ETRI,

²

UST

Received 15 March 2015; received in revised form 3 May 2015; accepted 16 July 2015

ABSTRACT

We review recent research results on coupled line cameras (CLC) as a new geometric tool to reconstruct a scene quadrilateral from image quadrilaterals. Coupled line cameras were first developed as a camera calibration tool based on geometric insight on the perspective projection of a scene rectangle to an image plane. Since CLC comprehensively describes the relevant projective structure in a single image with a set of simple algebraic equations, it is also useful as a geometric reconstruction tool, which is an important topic in 3D computer vision. In this paper we first introduce fundamentals of CLC with reals examples. Then, we cover the related works to optimize the initial solution, to extend for the general quadrilaterals, and to apply for cuboi- dal reconstruction.

Key Words: Coupled line cameras, Geometric computer vision, Geometric reconstruction

1. 서 론

실세계를 촬영한 영상에서 기하학적 형태를 추 정하는 기하복원(geometric reconstruction) 및 사 진계측(photogrammetry)은 공학의 여러 분야에서 활용도가 높은 중요한 문제이다

^[1,2]

. 본 논문에서는 실세계의 사각형을 촬영한 이미지로부터 그 사각 형의 기하정보를 복원하고, 카메라를 캘리브레이 션하는 기술에 관련하여 최근에 연구가 진행된 선 분 카메라 쌍(coupled line cameras, CLC) 이론의

기본 및 실제 적용 예, 해의 최적화 방법, 일반 사 각형 및 직육면체로의 확장에 대해서 기존 연구를 요약하여 소개하고자 한다

^[3-6]

.

본 논문에서 소개하는 선분 카메라 쌍 이론 및 응용은 기존의 단일 영상 기반 사각형 복원 및 카 메라 캘리브레이션과 유사한 효과를 갖지만 매우 상이한 철학을 갖고 있다. 우선, 단순한 카메라 모 델을 가정하고 있는 점에서는 유사하다. 하지만, 기존의 복원 방법은 카메라 캘리브레이션이 되었 다고 가정하거나 우선하는 것을 가정한다. 특히, 촛점거리(focal length) f를 먼저 구해야 하는 경우 가 많다. 카메라 캘리브레이션을 위해서는 장면- 이미지 대응관계가 명시적으로 주어졌다고 가정

†Corresponding Author, [email protected]

(2)

를 가정하고 있다

^[8]

. IAC 기반의 방법에서도 촛점 거리 계산이 선행되어야 한다

^[1]

.

직사각형 기반의 캘리브레이션을 위한 기존의 방법은 종횡비가 주어졌다고 가정하거나

^[9,10]

, 종횡 비를 필요로 하지 않지만 대수해 대신 근사해를 주고 있다

^[11]

. 또한, 단일 입력 영상대신 복수의 입 력 영상을 가정한다

^[12]

.

하지만, 선분 카메라 쌍 기반의 방법에서는 직 사각형의 투사에 대한 완벽한 기하학적 모델을 수 립하고 출발하기 때문에, 카메라에 대한 사전 정 보가 전혀 없이, 주어진 영상 사각형 만으로 알려 지지 않은 직사각형의 종횡비 계산을 통해 직사각 형을 복원 할 수 있고, 복원된 직사각형의 위치를 기준으로 상대적인 카메라의 투사 중심을 구할 수 있다. 특히, 복원과 투사 중심 계산을 위한 대수해 가 존재한다. 이를 바탕으로 기존의 카메라 캘리 브레이션 방법이 제공하는 것과 동일한 카메라의 외부인수와 촛점거리를 구할 수 있다

^[9]

.

2. 기본 이론

2.1 선분 카메라

선분 카메라 쌍(coupled line camera)은 주축 (principal axis)을 공유하도록 결합된 두 개의 선분 카메라(line camera)로 구성되어 있다(Fig. 1). 따라 서, 본 절에서는 우선 선분 카메라의 개념을 설명 한다

^[3]

.

선분 카메라는 장면 내 선분의 이미지를 촬영하

분할비(diagonal parameters)라고 한다. 주축의 말 단 p

c

는 선분 카메라의 투사중심 또는 카메라 위 치를 의미한다. 주축의 방위(orientation) θ

0

와 길이 d는 선분 카메라의 외부인수(extrinsic parameters) 가 된다. 평면상에서 투사중심은 외부인수에 의해 다음과 같이 표현될 수 있다: . 이미지 선분의 분할비와 카메라 외부인수는 선분 카메라의 자세식(pose equation)으로 아래와 같이 표현된다

^[3]

:

(1)

선분 카메라의 자세식 (1)은 흥미로운 기하학적 성질을 갖는다. 즉, 이미지 선분의 분할비 l

0

와 l

2

가 주어졌을 때, 이를 촬영한 카메라의 위치 p

c

는 어떤 원의 원주 상에 정의되며, 그 원의 중심과 반지름은 이미지 선분 분할비로만 결정될 수 있 다. 이때 그 원을 장면 선분 를 축으로 하여 회전시키면 구가 정의되는데, 그 구를 선분 카메 라 자세 문제의 해구(solution sphere)라고 한다

^[4]

. 즉, 해구의 어떤 점에서라도 장면 선분을 촬영하 게 되면 이미지 선분은 주어진 l

0

와 l

2

의 분할비를 갖는다.

2.2 선분 카메라 쌍

선분 카메라 두 개를 특별하게 조합하면 장면 직사각형에 대한 투사구조를 기술할 수 있다(Fig.

2). 카메라의 주축 p

c

v

m

이 장면 직사각형 G의 중심 v

m

을 통과한다고 하자(이 경우 당연히 주축은 영 상 사각형 Q의 중심 u

m

도 통과한다). 이 때, 장면 직사각형 G의 두 대각선 와 v

1

v

3

에 대해서 선 분 카메라를 각각 정의할 수 있다. 이 때 두 선분 카메라들은 주축 p

c

v

m

을 공유하는 쌍으로 존재한 다. 영상 내 중심 사각형 Q가 주어졌을 때, 이러한 기하학적 조건들을 대수적으로 표현하여 풀면 형 태가 알려져 있지 않은 장면 직사각형 G의 종횡

비에 해당하는 대각선 각도 를 간단

p

c

=d cosθ(

₀

,sinθ

₀

)

cosθ

₀

dl

0

–l

2

l

₀

+l

₂

--- dα

0

= =

v

₀

v

₂

v

₀

v

₂

φ=∠v

₀

v

m

v

₁

Fig. 1 Configuration of a line camera and its pose

equation

(3)

한 대수식으로 표현할 수 있다. 또한, 카메라의 위 치 p

c

의 좌표를 대수식으로 표현할 수 있다

^[4]

:

(2)

(3)

위 식에서 θ

i

는 각 선분 카메라의 방위각이며, ρ 는 영상 사각형 Q의 대각선 각도이다. 식 (2)와 (3) 을 유도하는 방법은 이전 연구

^[3,4]

에 자세히 설명 되어 있다. 최초의 연구

^[3]

에서는 선분 카메라 한쪽 에서 방위각 θ

0

을 구하고 식 (1)을 이용하여 공유 주축의 길이 d를 구하고 다시 나머지 방위각 θ

2

를 구하였다. 최근 연구

^[4]

에서는 d를 먼저 계산하고 두 방위각을 구하는 것이 더 효율적임을 보이고 있다.

(4)

위에서 α

i

는 식 (1)에서 정의되어 있으며, β = l

1

/ l

0

이다. 식 (4)에 의하면 두 선분 카메라의 공유 주 축의 길이 d를 주어진 이미지 선분의 분할비 l

i

로 만 계산할 수 있으며, 이를 식 (1)에 대입하면 각 선분 카메라의 방위 θ

i

를 계산할 수 있음을 보인 다. 2.3절에서는 이에 대해서 기하학적으로 부연 설명한다.

이러한 접근은 절대 원뿔 이미지(image of absolute conic, IAC)나 호모그라피를 이용한 일반

적 방법

^[1,2]

과 근본적으로 다른데, 직사각형에 특

화되어 있기 때문에 기존에 발견되지 않은 단순한 대수해를 제공할 수 있다.

2.3 선분 카메라 쌍 대수해의 기하학적 의미 선분 카메라 쌍의 대수해는 기하학적인 해석이 가능하다

^[4]

(Fig. 3). 우선, 각 선분 카메라에 이미 지 선분 분할비로 정의되는 해구(solution sphere) S

ⁱ

가 존재한다(Fig. 3(a)-(b)). 공유 주축의 길이 d가 결정되면 해구상의 해원(solution circle) K

i

이 결정 된다(Fig. 3(c)-(d)). 이 때 두 해원이 교차하는 점 에서 선분 카메라의 방위 θ

i

가 결정되고, 따라서, 투사의 중심 또는 카메라 위치가 결정된다(Fig.

3(e)-(f)).

또 다른 해석으로, 두 해구 S

i

가 교차하면 교차 원(intersection circle) K을 정의한다. 이 교차원 상 의 어느 점에서도 이미지 선분의 분할비 l

i

를 만족 한다. 즉, 각 선분 카메라의 자세식 (1)이 성립한 다. 다만, 해원의 한 점에서만 두 대각선의 상대비 β = l

1

/l

0

가 만족된다. 따라서, 교차원의 이 점이 카 메라의 자세를 결정하며 결국 투사의 중심이 된 다. 이 기하학적 성질은 기존의 대수해를 최적화 하는데도 활용된다

^[4]

.

cosφ cosρsinθ=

₀

sinθ

₁

+cosθ

₀

cosθ

₁

p

c

d sinφ

---(sinφcosθ

₀

,cosθ

₁

=

cosφcosθ

₀

– ,sinρsinθ

₀

sinθ

₁

)

d A

0

A

1

---

=

A

₀

=(1–α

₁

)

²

β

²

–(1–α

₀

)

²

A

1

=α

₀ ²

(1–α

₁

)

²

β

²

–(1–α

₀

)

²

α

₁ ²

Fig. 2 Configuration of coupled line cameras to define a view frustum with a rectangular base^[3]

Fig. 3 Geometric interpretation of projective structure and reconstruction based on coupled line cameras^[4]

(4)

형이 카메라의 주축을 통과하는 특수한 경우만을 다루고 있다. 하지만, 실제 문제에 적용하기 위해 서는 이미지 사각형의 중심이 카메라 주축을 통 과한다고 가정할 수 없었기 때문에, 일종의 전처 리 과정이 필요했다. 즉, 주어진 영상의 사각형 Q

g

이 장면 직사각형 G

g

의 투사 이미지라고 가정 하고, 평행선의 소실점 조건을 이용하여 카메라 주축을 통과하는 가상의 대리(proxy) 사각형 Q 을 유추할 수 있었다

^[3]

(Fig. 4). 이 대리 사각형을 선분 카메라 쌍에 적용하면

^[3]

의 대수식을 통해 Q 에 대응하는 장면 직사각형 G을 복원하고, Q와 G의 대응관계를 이용하는 기존의 기하 컴퓨터 비

젼 기법

^[1,2]

을 사용하여 카메라 자세를 추정 할 수

있었다.

하지만, [3]의 가상 사각형 Q의 유추 방법은 기 하학적 제약조건을 만족시키는 최적화를 통해 계 산되어 계산의 부담이 약간 있었을 뿐만 아니라, 장면 내 대응 직사각형 G은 원래의 관심 직사각 형 G

g

과 형태 면에서 아무런 관련이 없었다(예를 들어, 닮음 또는 합동의 성질이 보장되지 않았다).

따라서, 관심 직사각형 G

g

의 특징, 즉 종횡비를 알 기 위해서는 역시호모그라피와 같은 기존 방법을 사용해야 했다. 또는, 절대 원뿔 이미지(image of absolute conic, IAC)를 이용할 수도 하는데, 계산 과정은 호모그라피에 비해 간단하지만 카메라 캘 리브레이션이 선행되어야 한다

^[2]

.

다. 우선, Q

g

의 중심을 u

m

, 영상의 중심을 o

m

이라 고 하자. (1) 소실선 w

0

w

1

과 Q

g

의 두 대각선의 교 점 계산; (2) 소실선 w

0

w

1

과 의 교점 w

m

계산; (3) 선 과 의 교차점 u

i

계산.

이렇게 구한 네 점 u

i

는 가상 사각형 Q의 꼭짓점 이 된다(Fig. 5).

이렇게 유추된 이미지상의 가상 사각형 Q로부 터 선분 카메라 쌍을 통해 복원한 장면 직사각형 G은 원래 복원하고자 하는 장면 직사각형 G

g

과 합 동(congruent)이 된다(Fig. 6). 따라서, 즉, 호모그 라피를 사용하지 않고 간단한 대수식을 통해 직사 각형 G

g

의 형태(또는 종횡비)를 복원할 수 있게 된 것이다

^[5]

.

하지만, 위 방법을 사용한다고 할지라도 G

g

의 위 치(또는 각 꼭지점의 좌표)를 알기 위해서는 호모 그라피를 필요로 하는데, 진행중인 연구

^[6]

에서는 선분 카메라 쌍이 정의된 이미지와 장면의 평면 사이에서 벡터를 변환하는 간단한 방법을 제시하 고 있다. 따라서, 이미지 사각형 Q

g

와 이미지 중심 사각형 Q의 중심 사이의 벡터 u

m

u

g,m

를 장면 내 벡

w

d i ,

u

m

o

m

u

g i ,

w

m

o

m

w

d j ,

Fig. 4 Geometric inference of a centered proxy quad Q, which is not perspectively congruent to the given image quad Qg[3]

Fig. 5 Geometric inference of a centered proxy quad Q, which is perspectively congruent to the given image quad Qg[5]

Fig. 6 Reconstruction process of an off-centered quad

(5)

터 v

m

v

^g,m

로 변환하여 선분 카메라 쌍으로 얻은 가 상 중심 직사각형 G를 v

m

v

^g,m

만큼 평행 이동하여 G

^g

를 얻을 수 있다. 이 과정은 Fig. 6에 요약되어 있다.

요약하자면, 2.2절에 소개된 선분 카메라 쌍의 기본 이론과 3.2절에 소개된 최적 계산 방법을 이 용하여, 미지의 장면 직사각형을 촬영한 한 장의 이미지에서 간단한 대수식만으로 직사각형을 복 원하고 카메라의 위치/방위를 계산할 수 있다. 이 는 기존에 표준적으로 사용되는 호모그라피 방법 이나 절대 원뿔 이미지 방법에 비해 매우 효율적이다.

3.3 선분 카메라 쌍의 적용 예

Fig. 7은 선분 카메라 쌍을 이용한 직사각형의 복원 방법을 각종 실제 이미지에 적용한 예를 보 여주고 있다. 각 이미지를 촬영한 카메라는 모두 상이하며 캘리브레이션 되어 있지 않다. 사각형 영 역은 인터랙티브하게 설정하였으며, 자동 취득은 영상 처리 기법을 적용하여 향후 결합예정이다.

Fig. 7(a)의 직사각형은 참조 종횡비를 알 수 없으 나 글꼴의 형태로 보아 적당히 복원된 것을 알 수 있다. 7(b)와 7(c)의 직사각형은 참조 종횡비가 각 각 0.8 및 0.7로 알려져 있다. 복원된 직사각형의 종횡비도 참조값과 매우 유사하다.

Fig. 8은 선분 카메라쌍을 영상에 적용하여 사각

형을 복원하고 카메라 자세를 확인할 수 있는 사 용자 인터페이스 및 결과창을 보여준다. 8(a)에서 사용자는 영상의 관심 사각형 영역을 인터랙티브 하게 설정한다. 선분 카메라쌍은 계산량이 적으므 로 영역 설정과정 중에 복원과정을 모니터링 할 수 있다.

Fig. 8의 예에 대해서, 2.1절, 2.2절, 3.3절의 방 법을 적용한 결과를 Table 1에 요약하였다. 즉, 중 심 직사각형 G의 유추, 직사각형 종횡비 φ의 복 원, 카메라의 위치 및 방위 p

c

에 대한 계산 과정 및 결과를 보여준다. 계산 과정에서 영상의 좌표계는 좌하단을 (0,0)로 한다.

3.4 기존 방법과의 비교 및 토의

장면내 한 평면의 점이 카메라 이미지의 점으로 투사되었을 때, 호모그라피는 두 점의 관계를 투 영기하 관점에서 기술한다. 따라서, 장면내 한 평 면과 카메라에 대한 호모그라피가 주어졌을 때, 평 면의 한 점이 카메라 이미지의 어느 점에 투사되 는 지, 또는 그 역을 계산할 수 있다. 호모그라피 를 정의하기 위해서는 장면과 영상의 대응점이 최 소 네개 이상 주어져야 한다. 이 관계로 부터 호모 그라피 3×3 행렬의 8개 원소값을 추정한다(투영 기하 관점에서 행렬의 1개의 원소는 1로 고정됨).

이를 계산하는 대표적인 방법은 DLT(direct linear transformation)로 SVD(singular value decom- position)를 통해 호모그라피의 각 원소값을 계산 하게 된다. 이 과정에서 카메라의 위치 및 방위 등 의 기하학적 정보는 고려되비 않으며, 호모그라피 를 계산한 후에 평면 제약조건을 고려한 별도의 수치적 방법으로 카메라 변환 행렬을 계산해야 한다

^[2]

.

Fig. 7 Examples of a single-view reconstruction of a scene rectangle using coupled line cameras

Fig. 8 An example of user interface for CLC-based reconstruction and camera calibration

(6)

의 위치/자세를 추정할 수 있다. 즉, 3.2절의 중심 사각형을 적용한 후, 식 (2)을 통해 직사각형의 종 횡비를 복원하고, 식 (3)를 통해 카메라의 위치를 계산할 수 있다. 이는 호모그라피 기반의 접근과 는 전혀다른 방식이다

^[3,4]

.

호모그라피와 선분카메라쌍은 모두 장면내 평 면 기하가 카메라 이미지에 투사되는 것을 기술하 는 점에서 유사하다. 하지만, 실제로는 많은 차이 를 갖는데, 아래와 같이 요약할 수 있다. 호모그라 피는 기하의 형상에 제약이 없이 일반적이다. 반 면에 선분카메라쌍은 직사각형에만 특화되어 있 다. 호모그라피의 정의를 위해서는 네 개 이상의 장면-이미지 대응관계가 필요하다. 반면에 선분카 메라쌍은 직사각형이라는 사실만 알고 있으면 된 다. 종횡비에 정보도 필요하지 않다. 호모그라피 는 카메라에 대한 구체적인 정보(예, 위치 및 방 위)를 직접 제공하지는 않는다. 반면에 선분카메 라쌍은 알려지지 않은 장면 직사각형에 대한 이미 지 한장에서 카메라의 위치와 방위를 해석적인 해 로 계산할 수 있다. 이러한 차이는 호모그라피와 선분카메라쌍의 일반성과 특수성으로 요약가능하다.

선분카메라쌍은 바늘구멍(pin hole) 카메라 모델 을 가정한다. 또한, 픽셀 종횡비는 1, 카메라 주축 은 이미지 중심을 통과하는 것을 가정한다. 하지 만, 현대의 카메라들은 이러한 가정에서 크게 벗 어 나지 않기 때문에 크게 문제가 되지 않는다. 또 한, 렌즈 왜곡을 고려하지 않는데, 지금까지의 실 험적인 결과로는 기하 복원에 큰 영향을 주지 않 는 것 같다.

Fig. 7-8은 이러한 가정으로 캘리브레이션 되지 않은 카메라에 대한 실험 결과이며, 특히 7(b)와 7(c)에서 종횡비가 알려진 경우인데, 복원된 사각 형의 종횡비의 오차는 1% 미만이다. 하지만, 카메 라 렌즈 왜곡이 선분카메라쌍에 미치는 일반적인 영향에 대해서는 이론 및 실험적 고찰이 필요한 향후 연구 방향이다.

Vanishing points of Fig. 4 and 5 from Qg:

Centered proxy quad:

Diagonal parameters of Q:

Diagonal angle of

Q :ρ 2.35371

CLC parameters:

Diagonal angle of G and

Gg: φ 2.4822

Center of projection:

Centered proxy rectangle:

Reconstructed rectangle:

172 188.5

w ₀ w ₁ w _d _, ₀ w _d _, ₁ w _m

[ ] ^T

202.578 – – 304.742

706.377 – 1966.56

106.407 – – 738.313

272.177 – 9.03454

304.243 – 153.599

Q = [ v ₀ …v ₃ ] ^T

248.855 76.7698 546.56 328.365 426.777 484.979 191.65 189.94

l

0

…l

₃

[ ]

^T

0.0399869 0.54611 0.600131

0.30938

α ₀ α ₁ β

[ ] ^T

0.200262 –

0.276719 1.36572

p _c = [ p _cx p _cy p _cz ] ^T

1.30789 –

1.26259 1.79616

G u = [ ₀ …u ₃ ] ^T

1 0

−0.790367 0.612633

−1 0

0.790367 0.612633

G g = [ u g , 0 …u g , 3 ] ^T

1.12868 0.139187 –

−0.661684 0.473447

−0.871317 0.139187 –

0.919051 −0.75182

(7)

4. 일반화

4.1 일반화 연구의 현재 상태

선분 카메라 쌍에 대한 이론과 직사각형에 실용 적으로 적용할 수 있는 방법이 개발된 후에, 이를 직사각형 외의 일반 사각형에도 적용이 가능한지 고민하게 되었다. 결론적으로, 특수한 조건이 성 립하는 경우에는 확장된 대수해를 통해 단일 영상 에서 일반 사각형을 복원할 수 있고, 일반적으로 는 복수의 이미지가 주어진 경우에 최적화 계산을 통해 복원이 가능하다

^[5]

. 단, 두 경우 모두에서 이 미지에서 가상 중심 사각형을 유추할 수 있어야 한다. 예를 들어, 관심 사각형이 놓인 평면에 대한 소실선을 찾을 수 있다면 3.2절의 직사각형의 경 우와 유사하게 해결할 수 있다. 소실점 외의 방법 으로 중심 사각형을 유추하는 것은 향후 과제의 하나이다. 아래에서는 이론의 일반화와 활용 방법 을 요약한다.

4.2 선분 카메라 쌍의 일반화

선분 카메라 쌍의 일반화는 장면 내 도형이 직 사각형이 아닌 일반 사각형인 경우로 확장하는 과 정이다. 이를 위해서는 먼저 선분 카메라를 일반 화하는 과정이 필요하다

^[5]

.

일반화된 선분 카메라에서는 카메라 주축이 장 면 선분의 중심을 통과해야한다는 조건이 완화되 어야 한다. 따라서, 선분 카메라의 자세식을 표현 함에 있어 장면 선분의 분할비 m

0

와 m

2

가 추가된 다(Fig. 9). 이를 통해 자세식을 아래와 같이 일반 화할 수 있다.

(5)

일반화된 선분 카메라 두 개를 직사각형의 경우 에서와 같이 주축을 공유하도록 결합하면 일반화

된 선분 카메라 쌍에 대한 투사구조를 정의할 수 있다(Fig. 10). 따라서, 직사각형에서와 유사한 방 법을 이용하여 단일 영상에서 투사구조 밑면의 일 반 사각형의 대각선 끼임 각 φ과 카메라의 위치 p

c

를 계산할 수 있다. 단, 4.1에서 언급한 특수조건 으로, 장면 사각형의 대각선 분할비 m

i

를 미리 알 고 있어야 한다. 장면 선분의 분할비를 알고 있는 상태에서는 직사각형에서와 유사한 방법으로 자 세식을 이용하여 주축의 길이 d, 방위 θ

i

를 구하 고, 대각선 끼임각 φ과 카메라 위치 p

c

를 계산할 수 있다. 직사각형의 경우와 비교할 때, 주축의 길 이 d에 대한 대수식이 일반화의 경우에 좀 더 복 잡해 지지만, 식 (1) 대신 (5)를 이용하여 θ

i

를 계 산하고, 식 (2)와 (3)을 그대로 이용하여 φ와 p

c

를 계산하면 된다

^[5]

. 예를 들어, Fig. 11(a)의 사각형 은 m

i

를 미리 알고 컴퓨터 생성한 사각형이기 때 문에 11(b)와 같이 복원이 가능하다. 다만, 대각선 분할비 m

i

를 미리 알고 있어야 한다는 가정이 현 실적이지 않기 때문에 단일 영상에서 일반 사각형 복원은 다음 절에서 설명하는 방법에 이론적인 근 거를 제시해 준다.

cosθ

₀

d m

2

l

0

–l

0

l

2

m

₀

m

₂

(l

₀

+l

₂

) --- dα

g , 0

= =

Fig. 9 Configuration of a generalized line camera and its pose equation^[5]

Fig. 10 Generalized coupled line cameras to define a view frustum with a quadrilateral base^[5]

Fig. 11 A synthetic scene quad with known mi and the result of reconstruction based on generalized CLC

(8)

Fig. 12 Geometric inference of a centered proxy quad Q, which is perspectively congruent to the given image quad Qg[5]. Not like Fig. 5, a vanishing line should be explicitly given

Fig. 13 Reconstruction of an unknown quadrilateral using four images from Google. Each image are taken by mutually different cameras without calibration information

Fig. 14 A single-view reconstruction of a cuboid using coupled line cameras and extrusion inference 비선형 최적화 과정을 통해 분할비 m

i

를 찾을 수

있다(아직 m

i

를 찾는 대수해는 발견되지 않았다).

복원을 위해 필요한 이미지(또는 사각형)의 수 는 장면 사각형의 종류에 따라 다르다. 이론적으 로는 최대 네 개의 이미지가 있으면 일반 사각형 의 대각선 분할비를 유추할 수 있다. 사각형의 기 하 특성이 미리 알려져 있으면 필요한 이미지의 수가 감소할 수 있다. 예를 들어, 평행사변형은 두 개, 사다리꼴은 세 개의 이미지가 필요하다.

일반 선분 카메라 쌍에서도 주축은 이미지 사각 형의 중심(또는 대각선의 교점)을 통과한다고 가 정한다. 따라서, 실제의 사각형 복원 문제에 적용 하기 위해서는 이미지의 임의의 위치에 위치한 사 각형(off-centered quads) Q

g

으로 부터 주축을 통과 하는 가상 사각형 Q을 유추하는 전처리 과정이 필 요하다(Fig. 12). 현재 연구에서는 직사각형의 경 우에서와 마찬가지로 소실선 기반으로 가상 중심 사각형을 유추하게 된다

^[5]

. 소실선(또는 두개의 소 실점)을 구할 수 있다는 것은 인공 조형물이 많은 도심 공간의 영상에 대해서는 실용적인 가정이기 도 하다. Fig. 13은 설명된 방법을 이용하여 네 장 의 일반 사각형 영상에서 장면 사각형의 형상을 복원한 예를 보여준다. 13(a)의 영상들은 구글 이 미지 검색을 통해 얻었으며, 서로 다른 카메라로 촬영되었고, 캘리브레이션 정보를 갖고 있지 않 다. 13(b)는 전처리 및 최적화 과정을 거쳐 복원된 사각형의 형상을 보여준다.

4.4 입체로의 확장

지금까지 선분 카메라 쌍은 장면 내 평면 도형 에 대해서 적용되었다. 하지만, 최근 연구에서는 간단한 확장을 통해 직육면체 복원에 적용이 가능 함이 밝혀졌다

^[6]

.

장면 직육면체를 촬영한 이미지에는 직육면체 의 각면에 대응하는 이미지 사각형들이 최소 한 개 이상 보이게 된다(Fig. 14). 두 개 이상 보이는 경우가 복원의 대상이 되는데, 제안된 방법에서는

(9)

우선 한 면에 대해서 직사각형에 대한 선분 카메 라 쌍 기반의 복원을 수행한다. 남은 과정은 복원 된 장면 직사각형의 깊이 이동(extrusion) 값을 이 미지에서 찾아내는 것이다. 이를 위해서, 이미지 에 깊이 방향을 표시하고 사용자가 깊이점을 명시 하거나 영상처리 방법을 통해 깊이 방향선에서 적 당한 깊이점을 자동으로 찾게 된다. 이 때, 이미지 상에서 깊이 방향을 간단히 결정할 수 있는 것이 중요한 기술이다. 또한, 결정된 깊이 선분은 이미 지-장면의 벡터 변환 방법을 사용하여 장면내 깊 이로 해석될 수 있다. 역시, 이 과정에서 호모그라 피나 3차원 변환행렬를 따로 구하지 않는다.

5. 결 론

이상에서 선분 카메라 쌍 기반의 사각형 복원 방법의 현재 연구 상태에 대해서 소개하였다. 선 분 카메라는 대상 도형에 특화되어 투사구조를 정 의하였기 때문에 복원을 위한 해석해가 최적의 형 태를 갖고 있고 기하학적인 해석이 가능하여 직관 적인 이해와 확장에 유리하다. 일반적인 형상 복 원에 사용할 수 없기 때문에 호모그라피 등의 기 존의 방법에 비해서 적용 범위가 좁기는 하지만 복원 대상의 형태가 사각형으로 정해진 경우에는 계산의 효율이 매우 우수하다. 특히, 인공물이 많 은 실내와 실외를 고려한다면 사각형 기반의 복원 및 카메라 위치 추정은 많은 응용을 갖을 것으로 예상된다. 특히, 이동 로봇의 사각형 기반 위치 추 정에 바로 적용이 가능하다

^[13]

.

선분 카메라 쌍은 선분 프로젝터 쌍의 연구에서 파생되었다

^[14]

. 선분 카메라 쌍이 최적화 및 일반 화의 과정을 거쳐 발전한 것처럼 선분 프로젝터 쌍에 대한 연구도 진행될 필요가 있다. 또한, 프로 젝터-카메라의 결합에 의한 공간 증강현실

^[15]

분야 의 연구에서 선분 카메라와 선분 프로젝터의 결합 을 시도하는 것도 흥미로운 연구가 될 것이다.

감사의 글

본 연구는 산업통상자원부(MOTIE)가 지원하고 한국산업기술평가관리원(KEIT)이 관리하는 “로봇 산업 융합 핵심기술 개발사업 (10048920)”과 미래 창조과학부(MSIP)가 지원하고 정보통신기술진흥 센터(IITP)가 관리하는 “IT SW융합산업 원천기술

개발사업(10041743)”의 지원을 받아 수행되었습 니다.

References

1. Szeliski, R., 2010, Computer Vision: Algorithms and Applications, Springer.

2. Hartley, R. and Zisserman, A., 2003, Multiple View Geometry in Computer Vision, Cambridge University Press.

3. Lee, J.-H., 2012, Camera Calibration from a Single Image based on Coupled Line Cameras and Rectangle Constraint. In Pattern Recognition (ICPR), 2012 21st International Conference on, pp.758-762.

4. Lee, J.-H., 2013, A New Solution for Projective Reconstruction Based on Coupled Line Cameras.

ETRI Journal, 35(5), pp.939-942.

5. Lee, J.-H., 2014, New Geometric Interpretation and Analytic Solution for Quadrilateral Recon- struction. In Pattern Recognition (ICPR), 2014 22nd International Conference on, pp.4015-4020.

6. Lee, J.-H., 2014, Single View Reconstruction of Cuboids and Transformation in Perspective, ETRI Technical Report.

7. Fischler, M.A. and Bolles, R.C., 1981, Random Sample Consensus: a Paradigm for Model Fitting with Applications to Image Analysis and Auto- mated Cartography, Communications on ACM, 24, pp.381-395.

8. Maybank, S. and Faugeras, O.D., 1992, A Theory of Self-Calibration of a Moving Camera, Int. J.

of Comp. Vision, 8(2), pp.123-151.

9. Zhang, Z., 2000, A Flexible New Technique for Camera Calibration,” IEEE Trans. on Pattern Analysis and Machine Intelligence, 22(11), pp.1330-1334.

10. Wu, W., Chen, Z. and Jiang, Z.T., 2010, A New Camera Calibration Method based on Rectangle Constraint, Int. Workshop on Intelligent Systems and Applications (ISA 2010), pp.1-4.

11. Li, H., Zheng, L., Huang, J., Zhao, C. and Zhao, Q., 2009, Mobile Robot Position Identi- fication with Specially Designed Landmarks, Int.

Conf. on Frontier of Computer Science and Tech- nology (FCST 2009), pp.285-291.

12. Kim, J.-S. and Kwon, I.S., 2006, Estimating Intrinsic Parameters of Cameras using Two Arbi- trary Rectangles, Int. Conf. on Pattern Recog- nition (ICPR 2006), pp.707-710.

13. Lee, J.-H. Lee, J., Lee, A. and Kim, J., 2015, Experiments on Rectangle based Localization of Mobile Robot, In Proc. of 10^th Korea Robotics

(10)

1999년~현재 한국전자통신연구원 융합기술연구소 책임연구원 2008년~현재 과학기술연합대학원대

학교 컴퓨터소프트웨어전공 부교수 관심분야: Geometric Modeling and Processing, Computer Graphics, HCI, Computer Vision, Robotics