Optimal Camera Arrangement for Automatic Recognition of Steel Material based on Augmented Reality in Outdoor Environment

실외 환경에서의 증강 현실 기반의 자재 인식을 위한 최적의 카메라 배치

Optimal Camera Arrangement for Automatic Recognition of Steel Material based on Augmented Reality in Outdoor

Environment

도 현 민

, 김 봉 근

Hyun Min Do

, Bong Keun Kim

Abstract Automation and robotization has been required in construction for several decades and construction industry has become one of the important research areas in the field of service robotics. Especially in the steel construction, automatic recognition of structural steel members in the stockyard is emphasized. However, since the pose of steel frame in the stockyard is site dependent and also the stockyard is usually in the outdoor environment, it is difficult to determine the pose automatically. This paper adopts the recognition method based on the augmented reality to cope with this problem. Particularly focusing on the light condition of the outdoor environment, we formulated the optimization problem with the constraint and suggested the methodology to evaluate the optimal camera arrangement. From simulation results, sub-optimal solution for the position of the camera can be obtained

Keywords: Camera Arrangement, Recognition, Augmented Reality, Outdoor Environment

1. 서 론

1.1 연구의 배경 및 목적

초고층건물의 건축에 있어서 지난 수십 년간, 자동화 및 로봇화에 관한 요구가 지속적으로 이루어져 왔다. 이 의 필요성은 여러 가지가 측면에서 제기되었으나 주로 비 용의 감소, 생산성 향상 및 작업자의 안전성 확보가 주된 목적이라고 할 수 있다. 그리고 여러 건축 분야 중 이러 한 자동화 및 로봇화가 가장 절실하게 요구되는 분야가 현대 건축에 있어서 중요한 비중을 차지하고 있는 철골구 조 건설이라고 할 수 있다^{[1, 2]}.

Received: Mar. 09, 2010; Reviewed: Mar. 22, 2010; Accepted: Apr. 22, 2010

※ 본 논문은 건설교통부가 출연하고 한국건설교통기술평가원에서 위탁 시행한 2006년도 건설기술혁신사업[과제번호:06첨단융합 D01]의 지원 으로 이루어졌습니다

1 Intelligent Systems Research Institute, AIST, Japan

철골구조 건설의 자동화에 있어서 핵심적인 부분은 철 골자재의 자동적인 운송 및 조립으로 이를 위해서는 적재 장의 자재를 자동적으로 인식하여 양중하고 도면에 따라 설치위치로 이송한 후 조립하는 과정이 필요하다. 그 중 에서 공정의 시작단계로서 반드시 이루어져야 할 부분이 자재의 자동적인 인식과정이지만, 자재의 적재 위치는 프 로젝트별로 또는 건설 현장별로 차이가 나므로 자동적으 로 결정하기가 쉽지 않다^[3]. 이를 해결하기 위하여 레이 저 센서 및 스테레오 비전을 사용한 자재 인식 등에 관한

연구^[4-6]가 이루어져 왔으나 대부분이 실외환경인 건설현

장의 실질적인 환경조건까지는 고려하지 못하고 있는 실 정이다

레이저 센서 기반의 연구는 미국 NIST의 결과가 대표 적인 사례로 3차원 스캐너를 사용하여 I형강에 대한 자세 추정 방법을 제안하였다^[4]. 하지만 하나의 자재에 대한 인식 결과만이 제시되어 복수개의 자재가 적재되어 있는

경우에는 적용하기 어려운 점이 있다. 또한 스테레오 비 전을 사용한 거리 이미지를 사용하여 자재를 인식하는 방 법도 제안되어 있으나^[5] 비전기반으로서 조명의 영향에 민감한 문제가 있다. 본 저자들 또한 복수의 2차원 스캐 너를 이용한 방법을 제안하였으나^[6] 단층으로 분산되어 있는 자재를 대상으로 하고 있어 다층으로 적재된 자재의 경우에는 사용에 어려움이 있다. 또한 스캐너의 해상도를 고려할 경우 실제로 구별해야하는 자재의 차이가 스캐너 의 해상도를 넘어서는 경우가 있어 레이저 센서를 사용하 기 어려운 점도 고려되었다.

이러한 문제점을 해결하기 위하여 본 논문에서는 증강 현실(augmented reality)을 이용한 자재 인식 방법을 채택 하였다. 우선 자재의 특정 위치에 증강 현실용 태그를 부 착한 후 카메라를 이용하여 자재에 부착된 태그를 인식, 그 결과로서 태그의 아이디와 위치 및 자세를 파악하게 된다. 이 때 태그의 아이디를 이용하여 보다 상세한 자재 의 정보를 취득할 수 있다. 이렇게 증강 현실을 사용할 경우 자재의 정보만 취득할 수 있는 RFID의 경우와 달리 자재의 종류뿐만 아니라 카메라와 태그간의 상대적인 위 치 및 자세를 정확하게 파악할 수 있는 장점이 있다. 물 론 최근에는 RFID를 이용한 물체 인식 및 위치 추정에 관한 연구가 이루어지고 있으나^[7] 본 논문에서 주목하고 있는 물체는 금속 자재로서 RFID의 사용에 있어 금속의 영향으로 전파의 왜곡이 커지는 문제점이 있다. 그리고 RFID와 비교할 때 저비용으로 다양한 종류의 태그를 제 작할 수 있어 다양한 종류의 자재가 사용되는 건설현장에 서 사용하기가 용이한 측면이 있다. 또한 증강 현실을 사 용하여 카메라의 영상에 자재의 종류 및 위치정보를 보여 줌으로써 작업자가 여러 개의 자재 중 현재 작업을 해야 하는 자재를 보다 쉽게 파악할 수 있도록 하는 인터페이 스의 제작이 가능, 작업 능률을 향상시킬 수 있다. 단점으 로는 증강현실 역시 컴퓨터 비전기반의 방법이므로 조명 의 영향에 민감하다는 것이다. 실내 환경의 일정한 조명 조건이라면 카메라 파라미터를 튜닝한 후에는 태그의 인 식에 문제가 없겠지만 일반적으로 건설현장은 야외에 위 치하므로 태양광의 영향 등에 민감할 수밖에 없다. 따라 서 실제 건설현장의 조건을 고려한 카메라의 배치문제가 중요한 문제가 된다.

본 논문에서는 증강현실 기법 기반의 자재인식에 있어 서 실외 건설현장의 현장조건, 특히 태양광의 영향을 최 소화할 수 있는 카메라의 배치 문제를 주목하고자 한다.

즉, 적재공간에서 자재에 부착되어 있는 증강현실 태그의 인식을 위한 카메라의 최적 위치를 찾고 특정 영역을 포 함할 수 있는 최소의 카메라숫자를 결정한다.

1.2 연구의 방법

본 논문에서는 우선 카메라의 배치와 관련하여 설정 가능한 파라미터를 선정하여 최적화 문제를 정의한다. 카 메라의 수가 주어진 경우의 최적화 문제를 정의하고 최적 화 문제의 목적함수를 최대화하기 위하여 최대경사법 (steepest descent method)^[8]을 사용한다. 이로부터 주어 진 카메라의 수로 인식할 수 있는 영역의 크기를 결정할 수 있다. 또한 카메라의 수를 바꿔가면서 각각의 경우에 인식할 수 있는 영역의 최대 크기를 구하고, 이를 바탕으 로 요구되는 영역의 크기에 따른 카메라의 수 및 위치를 결정할 수 있다. 목적함수를 계산하는 데 있어서 카메라 의 팬 각도는 360^◦ 변화를 시켜가면서 각 위치별로 최적 의 각도를 찾아낸다. 이 때 태양과 카메라가 이루는 각도 를 고려하여 태양광의 영향으로 태그의 인식이 불가능해 지는 팬 각도 영역은 후보군에서 제외하도록 한다. 카메 라의 숫자에 제한이 없다면 동일한 영역에 두 대의 카메 라의 범위를 중복함으로써 태양의 영향에서 벗어날 수 있 겠지만 카메라의 숫자를 최소화하는 것이 또 하나의 최적 화 목표이기 때문에 중복되는 영역을 최소화하는 것이 필 요하다. 카메라의 틸트 각도 및 카메라의 높이는 고정 값 으로 가정한다.

논문의 구성은 다음과 같다. 2장에서는 증강현실 및 카 메라의 최적 위치와 관련된 기존 연구의 소개, 3장에서는 각종 파라미터의 선정 및 최적화 문제의 정의에 대하여 기술한다. 4장에서는 3장에서 정의한 최적화 문제에 대하 여 카메라의 수가 고정되어 있는 경우 최적의 위치를 선 정하는 방법을 제시한다. 5장에서는 제안한 방법의 검증 을 위하여 시뮬레이션을 통하여 다양한 방위의 적재장에 대한 카메라 위치 및 최소의 카메라 숫자에 관한 결과를 제시하고 끝으로 6장에서 결론을 맺는다.

2. 시스템 개요

이 장에서는 증강현실을 이용한 물체 인식 방법의 전 체적인 개요 및 이에 따른 카메라의 파라미터 등 환경조 건에 대한 내용을 검토한다.

2.1 증강 현실 및 ARToolkit의 소개

증강현실(augmented reality)은 실세계의 실사영상에 가상의 3차원 컴퓨터 그래픽 이미지를 겹쳐서 보여주는 것으로 일종의 가상현실 기법이다. 따라서 증강현실에 있어서 사용자의 시점을 정확히 계산하여 가상 이미지 와 실사영상을 일치시키는 것이 필요한데 이를 위하여 태그와 카메라간의 상대적인 위치 및 방향을 계산하는 것이 중요하다. 이러한 증강현실을 구현하기 위하여 여

러 종류의 개발도구가 라이브러리 형태로 제공되고 있 다. 대표적인 예로 ARToolkit^[9], ARToolkit Plus^[10], ARTag^[11] 등이 있다. 각각의 라이브러리는 비주얼 태그 를 인식하여 정보를 해석하는 방법의 차이는 있지만 기 본적으로 비전 정보에 기반하고 있기 때문에 어떠한 경 우라도 비주얼 태그의 해석이 가능한 수준의 영상이 요 구된다.

본 논문에서는 GNU General Public License하에 무료 로 제공되는 ARToolKit 라이브러리를 사용하고 있다.

ARToolKit 라이브러리는 실시간으로 비주얼 태그와의 상대 위치를 계산하여 제공해준다. 또한 사용자 정의의 패턴을 사용할 수가 있고, 카메라의 캘리브레이션을 위 한 툴을 함께 제공하는 등 여러 가지 장점이 있다. 본 논 문에서는 실제 자재인식에 사용하기 위해서 복수의 태그 를 제작하여 동시에 인식할 수 있도록 하였다. 이때 하나 의 자재에 하나의 태그만 부착할 수도 있지만 자재가 중 첩되어 있는 경우에는 태그가 다른 자재로 가려질 가능 성이 높으므로 하나의 자재에 복수의 태그를 부착하는 것이 좀 더 인식확률을 높일 수가 있다. 일단 태그가 인 식이 되면 그로부터 상대 위치가 계산이 되므로 레이저 센서 등을 사용하는 것보다 처리 과정이 간단해지는 장 점이 있다.

2.2 증강현실을 이용한 자재 인식 시스템

서론에서 기술하였듯이 증강현실을 자재 인식 시스템 에 적용할 경우 기존의 연구에서 사용되고 있는 레이저 센서 등과 비교하여 여러 가지 장점이 있다. 이 때의 인 식 과정은 다음과 같다. 우선 자재가 공장에서 생산될 때 자재별로 특정 위치에 태그를 부착하게 되고 이 때 자재 와 태그와의 위치관계 정보는 자재의 데이터베이스에 저 장한다. 그리고 적재장에 자재가 반입되면 카메라를 이용 하여 자재에 부착되어 있는 태그를 인식하게 된다. 태그 의 인식 결과로서 태그의 아이디와 태그의 위치 및 자세 를 파악하게 되는데, 이 때 태그의 아이디를 이용하여 CAD 데이터 등 자재의 상세한 정보를 취득할 수 있다.

또한 카메라와 태그간의 상대적인 위치 및 자세를 정확하 게 파악할 수 있으므로 미리 알고 있는 카메라의 위치로 부터 자재의 절대위치 및 자세를 계산할 수 있다. 최종적 으로 이 위치정보를 로보틱 크레인에 전달함으로써 양중 할 자재의 위치로 로보틱 크레인의 이동을 자동적으로 유 도하게 된다. 또한 증강 현실을 이용하여 자재의 이미지 위에 양중하려는 자재의 정보를 표시함으로써 작업자 또 한 보다 쉽게 자재를 구별하고 정보를 취득할 수 있게 된다.

2.3 카메라의 배치 및 설정 파라미터

카메라를 이용하여 태그를 인식하기 위해서는 적재장 에서 태그가 위치하는 영역이 늘 카메라의 영상 범위 내 에 존재하여야한다. 이를 위해서는 태그의 영역을 미리 설정하고 이 영역 안으로 태그가 놓일 수 있도록 자재를 적재하도록 한다. 그리고 최소 개수의 카메라로 태그 영 역의 영상을 확보할 수 있도록 카메라를 배치하도록 한 다. 이러한 센서의 배치문제는 센서 레지스트레이션 문제 와 함께 다양한 연구가 이루어져 왔고, 그 중에서 특히 카메라의 배치 문제에 관해서도 여러 결과가 제시되었다

[12-14]

. 하지만 실외환경에서 태양광 등 조명의 조건을 고 려한 카메라의 배치에 관한 연구는 거의 이루어지지 않고 있다.

실제로 카메라를 배치하는 데 있어서는 여러 가지 요 소들을 고려해야하는데, 카메라의 내/외부 파라미터, 카메 라의 각도(틸트 및 팬), 위치 및 높이, 태그의 크기 및 위 치 등이 있다. 우선 자재의 크기 및 형상을 고려하여 모 든 자재에 사용될 수 있는 태그의 크기를 결정한다. 그리 고 전체 적재장의 영역 중 태그가 위치할 수 있는 영역을 결정한다. 태그가 위치할 수 있는 영역은 전체 적재장이 될 수도 있지만 태그가 자재의 특정 위치에 부착되는 점 을 고려하여 그 범위를 좁힐 수 있다. 이렇게 영상을 취 득해야 하는 범위가 결정되면 취득영상 내에서의 태그의 크기를 고려하여 태그의 인식이 가능하도록 적정한 사양 의 카메라를 선택한다. 이후 카메라의 캘리브레이션을 통 하여 카메라의 파라미터를 취득하고 이로부터 왜곡된 영 상을 보정한다. 카메라의 높이와 틸트 각도는 태그가 위 치하는 영역에 따라서 적정한 값으로 고정한다. 카메라의 위치는 카메라의 높이 및 틸트 각도와 연계되어 결정되어 지는데, 시공현장의 특성상 카메라가 작업을 방해하지 않 도록 카메라와 자재 사이의 작업 공간이 확보되어야 한 다. 최종적으로 여러 파라미터 중 카메라의 배치에 있어 서 변수로 사용되어지는 파라미터는 카메라의 평면상의 위치(p) 및 팬 각도(θ)가 된다.

3. 문제 정의

카메라의 위치 선정에 있어서 요구되는 것은 첫째, 주 어진 비주얼 태그가 놓이는 영역에 대하여 카메라가 영상 을 취득할 수 있는 범위를 최대화할 것, 둘째, 사용되는 카메라의수를 최소화하는 것이다. 우선 첫 번째 문제를 고려한다. 카메라의 측정 범위에 포함되는 비주얼 태그의 영역을 최대화하기 위해서 목적함수 F를 식 (1)과 같이 카메라에서 취득 가능한 태그의 영역으로 정의한다.

그림 1. 적재장 환경 및 좌표계의 설정

{ }0,1 ) , ( , ) , (

, ∈

=∑ ×

j i M cell

N j i cell

F ^{ij (1)}

여기서 cell(i,j)는 태그의 영역을 N×M의 격자형태로 분할한 후의 (i,j)번째 셀의 값으로 카메라의 영역에 포함 되면 1, 포함되지 않으면 0의 값을 가진다. 이 때 i와 j의 범위는 i∈[1,L,N],j∈[1,L,M]이다. 각각의 카메라에 대해서 카메라의 영상 범위 내에 포함되는 셀의 값에 1을 할당한 다음 하나의 스텝이 종료된 후 전체 셀을 합산하 여 목적함수를 계산한다. 이 목적함수를 최대화하기 위한 변수는 앞 절에서 기술하였듯이 카메라의 위치 및 카메라 의 팬 각도가 되겠다. 그리고 이때의 제한조건으로는 태 양의 회피가 있다. 태양의 각도는 카메라의 팬 각도에 대 한 제한조건으로서 카메라가 태양광의 반사로 인하여 태 그를 인식하지 못하는 경우를 제외하기 위해서이다. 따라 서 본 논문에서 풀고자 하는 문제는 결국 팬 각도에 대한 제한조건하에서 목적함수 F를 최대화하는 문제가 된다. i 번째 카메라의 위치를 pi, 그 때의 카메라 각도를θi_라고

하면 다음과 같이 정의할 수 있다.

maximize F(p_i,θ_i), ∀θ_i∈Θ,i∈{1,L,N} (2)

여기서 Θ는 카메라가 태양광의 반사로 인하여 태그를 인식하지 못하는 경우를 제외한 영역이다.

또한 사용할 카메라의 수를 변경해가면서 최적의 해를 찾고 그 때 얻어지는 목적함수의 최대값을 기준으로 필요 한 기준값에 맞도록 카메라의 개수를 정한다. 즉, 전체 태 그 영역 중 카메라에서 얻을 수 있는 영역의 비율에 대한 기준값이 η_{로 주어졌을 경우}, 카메라의 개수 N은 다음과 같이 구할 수 있다.

{ }

{ ≥η}

= n F n

N min |max | (3)

4. 카메라의 최적 배치

4.1 환경조건

카메라 및 적재장의 환경에 대하여 다음과 같이 가정 한다.

∙ 자재 적재 시 비주얼 태그가 부착된 부분은 항상 일

정 영역(태그 영역)안에 위치한다.

∙ 작업자의 작업공간은 자재 적재 영역의 한쪽 면으로 제한한다.

∙ 작업영역의 반대쪽 면은 자재의 반입영역으로 이 쪽 을 적재영역의 기준방향으로 한다.

∙ 전체 공간의 좌표계는 적재영역의 기준방향과 관계 없이 그림 1과 같이 설정한다.

∙ 태양은 작업장을 중심으로 270^◦의 범위를 이동한다. 따라서 작업장이 향하는 방향에 따라서 태양의 이동 각도가 달라진다.

∙ 카메라의 초점거리, 틸트 각도 및 높이는 고정되어 있다.

4.2 실외환경에서의 조명 조건

카메라가 태양을 정면으로 마주보는 경우에는 태양광 의 반사로 인하여 카메라가 태그를 인식할 수 없게 된다. 따라서 카메라를 배치하는 데 있어서 태양의 방향이 매우 중요한 요소가 된다. 본 논문에서는 이러한 태양의 방향 을 고려하여 카메라를 배치하고자 한다. 태양광의 반사를 차단할 수 있는 방법에는 태양과 카메라간의 각도의 조 절, 태그의 재료를 태양광의 반사가 일어나기 어려운 것 을 사용하는 방법, 카메라 밝기의 조절 등 여러 가지 방 법을 생각할 수 있다. 우선 카메라의 밝기를 조절하여 입 력 영상을 어둡게 처리하면 반사를 줄일 수가 있다. 하지 만 이 경우에는 주위가 어두워지면 영상이 너무 어두워지 는 문제가 있다. 일광조건에 따라 카메라의 밝기 파라미 터를 자동적으로 조절해 줄 수도 있겠지만 이러한 기능을 사용하기 위해서는 보다 고가의 카메라를 사용해야 한다. 태그의 재질을 반사가 어려운 소재로 바꾸는 방법도 고려 해볼 수 있지만 이 경우에는 태그의 제작 시간 및 비용의 문제가 발생하여 종이를 사용한 태그의 장점이 줄어드는 문제가 있다. 따라서 태양의 방향에 따라 카메라의 배치

그림 2. 실험용 자재 및 태그의 부착 형상

그림 3. 태그의 인식 결과I - 인식 불가

그림 4. 태그의 인식 결과II - 인식 성공 를 조정하는 방법을 제안하고자한다. 적재장의 위치 및

방향은 한번 결정되면 변하지 않기 때문에 이에 따른 태 양의 이동방향을 고려하여 카메라를 배치하도록 한다. 우 선, 간단한 실험을 통하여 태양과 카메라의 위치에 따른 태그의 인식여부를 확인하였다. 실제 철골 구조물로 사용 되는 자재는 크기 및 중량을 고려할 때 사용이 곤란하였 기 때문에 실제 실험에서는 길이 50cm, 단면의 크기가 10cm×10cm의 소형 자재를 사용하였다. 그림 2에서 자재 에 태그를 부착한 모습을 보여주고 있다.

인식결과에 대한 태양광의 영향을 확인하기 위하여 카 메라가 태양을 정면으로 마주보고 있는 경우 및 태양을 등지고 있는 경우에 대하여 실험을 수행하였다. 카메라가 태양을 정면으로 마주보고 있는 경우에는 태양광의 반사 로 인하여 그림 3과 같이 인식이 불가능하였다. 그리고 태양을 등지고 있는 경우 인식을 성공한 결과를 그림 4에 서 보여주고 있다. 인식 결과로는 증강현실 라이브러리를 사용하여 화면상에 각 태그의 아이디를 표시하고 또한 방 향을 화살표로 표시하도록 하였다. 카메라가 태양과 이루 는 각도를 늘려가면서 인식이 가능한 영역을 확인한 결과 태양의 정면으로부터 30^◦ 이상의 각도부터 인식이 가능하 였다. 이상적으로는 카메라가 태양을 등지고 있는 경우가 반사가 최소가 되겠지만 태양의 방향이 시간에 따라서 변 화하므로 항상 태양과 카메라의 방향을 일치시킬 수는 없

다. 그러므로 카메라와 태양이 이루는 각도가 30^◦ 이상이 되는 위치 중에서 카메라의 영상 범위에 포함되는 태그 영역을 최대화하도록 카메라의 위치를 결정하도록 한다.

이 때 카메라의 각도에 대한 제한조건은 적재장의 기준방 향 (그림 1의 y축의 방향)에 따라서 결정된다. 예를 들면, 적재장의 기준방향이 남쪽을 향하는 경우 태양의 방향은 0^◦(동쪽)에서 -180^◦(서쪽)로 변하게 된다. 따라서 이 때 카 메라가 피해야할 각도는 -30^◦에서 210^◦(-150^◦)의 영역이 되고 카메라 각도의 제한조건은 -150^◦≤θ≤-30^◦가 된다.

4.3 최적화

앞장에서 정의한 최적화 문제에 있어 식 (1)의 목적함 수를 최대화하기위한 최적화를 수행한다. 본 논문에서는 [12]의 랜드 마크 최적 배치 방법 및 [14]의 복수 카메라 배치 방법에 기초하여 문제의 해결법을 제시하고 있다.

임의의 초기값을 가지는 N개의 카메라에 대하여 각각의 카메라 위치를 최대 경사법 (steepest descent method)을 사용하여 순차적으로 이동시켜나가며 수렴값을 찾는다.

이 때 목적함수가 증가하지 않는 경우에는 해당 카메라의 위치를 변경하지 않고 현재 위치에 머무르게 한다. 여기 서 최대경사법은 다음과 같이 전개한다. i번째 카메라의 위치를 pi라고 하면 우선 이 위치에서 목적함수가 최대 가 되는 카메라의 각도 θ_i∈Θ를 찾는다. 여기서 Θ는 카메라가 태양과 이루는 각도가 30^◦ 이상인 영역으로서 적재장의 방향에 따라서 결정되는 카메라 각도의 제한조 건이 되겠다. 이 때 위치의 변화량은 다음과 같이 계산할 수 있다.

⎟⎟⎠

⎜⎜ ⎞

⎝

⎛

∂

∂

∂

= ∂

∇ y

k k p F x

k k p

F F( ⁱ( ),θⁱ( )), ( ⁱ( ),θⁱ( )) (4)

그림 5. i번째 카메라에 대한 위치 갱신 알고리즘

그림 6. 적재장의 기준방향에 따른 태양의 이동방향

그림 7. 카메라의 측정 범위 따라서 i번째 카메라의 다음 위치는 p_i(k)−γ⋅∇F_가

된다. 여기서 γ는 변위에 대한 계수이다. 이때 카메라의 위치 이동에 따라 계산된 목적함수 F가 증가하게 되면 카메라의 위치를 갱신하고 그렇지 않으면 현재 위치를 유 지하도록 한다. i번째 카메라에 대한 위치 변경 과정이 완료되면 (i+1)_번째 카메라에 대하여 동일한 방법으로 위치를 변경한다. 모든 카메라에 대한 위치 변경이 종료 되는 것을 하나의 스텝으로 간주하여 한 단계의 스텝동안 어떠한 카메라에 대해서도 목적함수 F^{가 증가하지 않으} 면 F가 수렴된 것으로 판단하고 종료한다. 이때 마지막 스텝의 카메라 위치가 최적의 위치가 된다. 이러한 최적 화방법은 국소 최소점에 빠지는 경우가 있어 항상 전역적 인 해를 찾지 못할 수는 있지만 실제적인 카메라 배치 문 제에 있어서 근사의 해를찾기에는 유용한 접근법이다. i 번째 카메라에 대한위

치갱신 알고리즘의 흐름은 그림 5와 같다.

5. 시뮬레이션

제안한 알고리즘에 의한 카메라의 배치 문제를 시뮬레 이션을 통하여 검증하였다. 시뮬레이션에서는 그림 1과 같은 환경을 사용하였다. 우선 환경조건은 다음과 같다.

∙ 전체공간: 4m×5m

∙ 적재장공간: 2m×4m

∙ 태그영역: 2m×2m

∙ 작업공간: 2m×2m

∙ 적재장의 기준방향: 동, 서, 남, 북의 네 방향

카메라의 파라미터는 다음과 같다.

∙ 높이: 2m

∙ 틸트 각도: 37^◦

∙ 태그 높이: 0m

우선, 적재장의 기준방향은 동, 서, 남, 북의 네 방향 을 모두 고려하여 다양한 경우의 시뮬레이션 결과를 제시 하고자 하였다. 이 때 적재장의 기준방향에 따른 태양의 이동방향은 그림 6과 같다. 그리고 카메라에서 취하는 영 상의 범위는 실제로는 사다리꼴의 형태가 되는데 이는 카 메라의 높이 및 각도에 따라서 그 크기가 결정된다. 시뮬 레이션에서 사용한 파라미터는 실제 실험을 통하여 얻어 진 값을 근거로 근사하였는데 카메라의 영상 범위는 그림 7과 같이 설정하였다. 또한 태그의 높이를 0m로 하여 태 그영역을 설정하였는데 실제로는 자재의 높이 및 태그의 부착위치에 따라서 카메라의 영상 영역의 크기가 달라진 다. 하지만, 모든 태그의 높이 일정한 경우에는 그 태그의 높이를 기준점으로 해서 카메라의 높이를 계산해주면 태

그림 9. 2개 카메라의 경우 F값의 변화 - 기준방향 남쪽

그림 10. 카메라 수에 따른 F의 최대치 변화 - 기준방향 남쪽 그의 높이가 0의 경우와 동일한 방식으로 문제를 풀 수

있다. 여러 높이의 태그가 혼재되어 있는 경우에는 태그 의 높이가 가장 높은 경우와 가장 낮은 경우, 두 가지 경 우에 대하여 모두 영상의 범위가 태그영역을 포함할 수 있도록 카메라를 배치한다. 이를 위해서는 우선 하나의 경우에 대하여 카메라를 배치한 후, 다른 경우에 있어 포 함되지 않는 영역을 따로 고려하여 카메라를 배치하도록 한다. 그리고 목적함수 계산을 위하여 카메라의 영상에 포함되어지는 태그 영역의 크기를 측정해야하는데 이를 위해서 태그 영역을 격자형태로 구분한 후 카메라의 영상 에 포함되는 셀의 개수를 합산하였다. 이 때 각 셀의 크 기는 가로, 세로 각 20cm, 전체 셀의 개수는 100개로 하 였다. 최대경사법은 다음과 같이 구현하였다. 우선 위치 의 변화량 ∇F은 다음과 같이 근사하였다.

⎟⎟⎠

⎜⎜ ⎞

⎝

⎛

Δ

− Δ + Δ

− Δ

= +

∇ y

y x F y y x F x

y x F y x x

F F ( , , ) (, , )

), , , ( ) , ,

( θ₂ θ₁ θ₃ θ₁

(5)

이때 카메라의 각도(θ₁,θ₂,θ₃)는 제한조건의 범위 내 에서 각 위치별로 F를 최대화하는 각도가 되겠다. 식(5) 를 이용하여 카메라의 위치를 갱신하게 되고, 이 때 사용 한 파라미터 값은 Δx=0.3, Δy=0.3_, γ =0.01_이다.

이상의 파라미터 값을 사용하여 시뮬레이션을 수행하 였다. 우선, 적재장의 기준방향이 남쪽인 경우를 고려하 였다. 이 경우 적재장의 조건 및 태양의 이동 방향, 그리 고 좌표계는 그림 1과 같다. 태양의 이동은 동쪽에서 남 쪽을 지나 서쪽으로 이동하게 되므로 태양이 향하는 각은 0^◦에서 -180^◦로 변화하게 된다. 따라서 태양과 카메라가 이루는 각도를 30^◦ 이상으로 유지하려면 카메라의 팬 각 도의 범위는 -150^◦≤θ≤-30^◦이 된다. 2개의 카메라를 대 상으로 최적화 작업을 수행하였다. 이 경우 카메라의 위 치 및 태그 영역에 대한 카메라의 범위는 그림 8과 같다.

20스텝 반복 후 F=0.74로 수렴된 경우의 카메라 배치 결 과를 보여주고 있다. 그림의 점선 부분이 태그 영역을 나 타내고 실선으로 표시된 두 개의 사각형이 각각 카메라의 범위를 의미한다. F=0.74이므로 점선부분 중 약 74%의 영역이 카메라의 영상에 포함된다고 볼 수 있다. 이 때의 목적함수의 변화는 그림 9와 같다. 참고로 전범위의 탐색 에 의하여 F를 계산했을 경우의 최대치는 0.78로 수렴값 F=0.74는 전역적인 최대값은 아님을 알 수 있다. 하지만 전체영역에 대한 계산은 카메라의 수가 증가하고 탐색영 역이 커지게 되면 계산량이 과도하게 증가되어 사용하기 가 곤란해지므로 본 논문에서 제시한 방법을 근사치로서

유용하게 사용할 수 있겠다. 또한 카메라의 수를 증가시 켜가면서 동일한 과정을 반복한 결과 카메라의 수에 따른 목적함수 최대값의 변화를 얻을 수 있었고 이를 그림 10 에 제시하였다. 이를 근거로 필요한 카메라의 수를 결정 할 수 있다. 예를 들어 90% 영역을 포함시키기 위해서는 카메라의 수는 3개 이상이 되어야 한다.

다음으로 적재장의 기준방향이 서쪽인 경우에 대하여 시뮬레이션을 수행하였다. 이 때 태양의 각도는 90^◦에서 -90^◦로 변화하므로 카메라의 팬 각도의 범위는 -60^◦≤θ≤ 60^◦가 되어야 한다. 기준방향이 남쪽인 경우와 동일한 방 법으로 최적화 작업을 수행하였고 그 결과를 그림 11에 제시하였다. 그림 11에서는 3개의 카메라를 사용한 경우 를 보여주고 있는데 이때 F=0.97을 얻을 수 있었다. 동일 한 방식으로 기준방향이 북쪽인 경우와 동쪽인 경우에 대

그림 11. 3개의 카메라 배치 (F=0.97) - 기준방향 서쪽

그림 12. 3개의 카메라 배치 (F=0.95) - 기준방향 북쪽

그림 13. 3개의 카메라 배치 (F=0.95) - 기준방향 동쪽

해서도 시뮬레이션을 수행하였고 각각의 결과를 그림 12 및 13에서 보여주고 있다.

이상의 시뮬레이션 결과에서 확인할 수 있듯이 적재장 의 기준방향이 정해지면 태양의 이동 방향을 정할 수 있 고 이에 따라 카메라 각도의 제한 조건을 설정할 수 있다. 이 제한 조건하에서 카메라의 위치에 대하여 최적화 문제 를 풀면 실외환경의 조명 조건, 즉 태양광의 영향을 고려 한 카메라의 배치 결과를 얻을 수 있다.

6. 결 론

본 논문에서는 증강 현실 방법을 사용한 자재 인식에 있어서 실외의 조명 조건을 고려한 최적의 카메라 배치 방법에 대하여 제안하였다. 대부분이 실외환경인 자재적 재장에서 태양광의 반사로 인한 태그 인식의 오류를 최소 화하기 위하여 태양의 방향을 제한조건으로 고려하였다.

또한 주어진 수의 카메라에 대하여 카메라의 영상 범위에 포함되는 태그의 영역을 최대화도록 최적화를 수행하였 고 그 결과로 카메라의 최적 위치를 결정하였다. 또한 본 논문에서 제시한 카메라의 배치문제는 자재 인식을 위한 용도뿐만 아니라 실외 환경에서의 카메라의 배치 문제에 있어서 공통적으로 적용될 수 있어 다양한 분야에 응용되 어 질 수 있기를 기대한다. 추후 과제로서 본 논문에서 고정값으로 간주한 여러 파라미터에 대해서도 최적화 문 제를 정의하여 카메라의 높이 및 틸트 각도 등에 대해서 도 최적의 위치를 찾는 연구를 수행할 계획이다.

참 고 문 헌

[1] Y. Hasegawa, Robotization in Construction, Tokyo' Kogyo Chosakai Publishing, Inc., 1999.

[2] E. Gambo, C. Balaguer, A. Barrientos, R. Saltaren and E. A. Puente, “Robot assembly system for the construction process automation,” IEEE Int'l Conf. on Robotics and Automation, 1997.

[3] V. Kamat and R. Lipman, “Evaluation of standard product models for supporting automated erection of structural steelwork,” Automation in Construction, 16, 2007.

[4] Gilsinn, D. E. Cheok, G. S. and Lytle, A., Pose of I-Beams for Construction Site Automation, Int'l Symp. on Automation and Robotics in Construction, 2004.

[5] Umetani, T., Mae, Y., Arai, T., Kumeno, H.,

Onoue, K., Takubo, T., and Niho, H., Automated identification of partially exposed metal object, Automation in Construction, 16, 2007.

[6] 도 현민, 김용식, 김봉근, 이강, 윤석헌, “스캔 매 칭을 이용한 철골 자재 식별 및 위치 인식”, 대 한건축학회논문집, 25권 3호, 2009.

[7] S. Roh and H. R. Choi, “3-D Tag-Based RFID System for Recognition of Object,” IEEE Trans.

Autom. Sci. Eng., Vol.6, No.1, pp.55-65, 2009.

[8] D. Bertsekas, “Nonlinear Programming,” Athena Scientific, 1999.

[9] S. Cawood and M. Fiala, “Augmented Reality: A Practical Guide,” PragmaticBoolshelf, 2007.

[10] P. Lamb, “ARToolKit Home Page,” Internet:

http://www.hitl.washington.edu/artoolkit.

[11] T. langlotz, “Handheld Augmented Reality.”

Internet: http://studierstube.icg.tu-graz.ac.at/handheld _ar/artoolkitplus.php, 2010.

[12] K. Tashiro, J. Ota, Y. Lin and T. Arai, “Design of the Optiaml Arrangement of Artificial Landmarks,” IEEE Int’l Conf. on Robotics and Automation, 1995.

[13] F. Kececi, M. Tonko, H.-H.Nagel, V. Gengenbach,

“Improving visually servoed disassembly operations by automatic camera placement,” IEEE Int’l Conf.

on Robotics and Automation, 1998.

[14] S. Nikolaidis, R. Ueda, A. Hayashi and T. Arai,

“Optimal Camera Placement Considering Mobile Robot Trajectory,” IEEE Int’l Conf. on Robotics and Biomimetics, 2009.

도 현 민

1997 서울대학교 전기공학부 (공학사)

1999 서울대학교 전기공학부 (공학석사)

2004 서울대학교 전기공학부 (공학박사)

2007~현재 일본 산업기술종합 연구소(AIST) 연구원 관심분야 : Autonomous navigation of mobile robot,

Ubiquitous robotics, Object recognition

김 봉 근

1994 부산대학교 생산기계공 학과(공학사)

1996 포항공과대학교 기계공 학과(공학석사)

2001 포항공과대학교 기계공 학과(공학박사)

2005~현재 일본 산업기술종합 연구소(AIST) 연구원 관심분야 : Ambient intelligence, Ubiquitous robotics