Journal of Institute of Control, Robotics and Systems (2016) 22(9):738-744
http://dx.doi.org/10.5302/J.ICROS.2016.15.0218 ISSN:1976-5622 eISSN:2233-4335
적응적 이진화를 이용하여 빛의 변화에 강인한 영상거리계를 통한 위치 추정
Robust Visual Odometry System for Illumination Variations Using Adaptive Thresholding
황 요 섭, 유 호 윤, 이 장 명*
(Yo-Seop Hwang1, Ho-Yun Yu1, and Jangmyung Lee1,*)
1Department of Electronic Engineering, Pusan National University
Abstract: In this paper, a robust visual odometry system has been proposed and implemented in an environment with dynamic illumination. Visual odometry is based on stereo images to estimate the distance to an object. It is very difficult to realize a highly accurate and stable estimation because image quality is highly dependent on the illumination, which is a major disadvantage of visual odometry. Therefore, in order to solve the problem of low performance during the feature detection phase that is caused by illumination variations, it is suggested to determine an optimal threshold value in the image binarization and to use an adaptive threshold value for feature detection. A feature point direction and a magnitude of the motion vector that is not uniform are utilized as the features. The performance of feature detection has been improved by the RANSAC algorithm. As a result, the position of a mobile robot has been estimated using the feature points. The experimental results demonstrated that the proposed approach has superior performance against illumination variations.
Keywords: stereo camera, visual odometry, feature detection, adaptive thresholding, mobile robot
I. 서론
최근에 모바일 로봇을 통해서 위치인식(localization)을 하는 연구가 활발하게 진행되고 있다. 모바일 로봇이 작업을 진행 하려면 목표 지점까지 이동할 수 있어야 한다. 이러한 기능 을 통해서 군사적 수행이나, 우주 탐사가 가능하기 때문이다 [1-5].
모바일 로봇이나, 이동 플렛폼을 이용해서 위치를 추정할 때에는, 바퀴에 부착되어 있는 인코더 센서의 정보를 이용하 여 거리를 추정하는 기술을 많이 이용되어 왔다[6]. 인코더 센서를 이용하여 거리를 추정하는 방법은 바퀴에 부착되어 있는 센서를 이용하여, 바퀴의 회전 수를 계산하여 이동거리 를 추정하는 방법이다. 하지만 바퀴의 회전에 따라서 지면과 의 마찰이 생겨 정확한 거리를 추정하기가 어려운 점이 있다.
이러한 문제를 해결하기 위해서 비접촉식 센서를 이용하 는 연구가 활발히 진행되고 있으며, 그 중 한가지 방법으로 영상을 이용하여 이동 거리를 추정 하는 방식인 영상 거리계 (Visual Odometry)가 있다[7-11].
영상 거리계의 이용한 다양한 연구가 진행되고 있다. 하지 만 카메라의 영상 정보를 이용할 때, 주변환경의 빛에 따라 서 성능이 결정되는 문제가 발생한다. 또한 빛이 없는 환경
에서는 사용이 제약적이거나, 성능이 떨어지는 경우가 발생 이 된다. 이러한 문제를 해결하기 위해서 임의의 조명을 만 들어 사용하기도 한다. 그래서 본 논문에서는 이러한 문제를 보안하기 위해서 빛의 변화에 강인한 알고리즘을 제안한다.
논문의 구성은 다음과 같다. II장에서는 영상 이진화에 대 하여 설명하고, III장에서는 특징 점을 이용한 모션 예측에 대 해서 설명을 할 것이며, IV장에서는 제안한 시스템의 성능을 평가하기 위해서, 실내에서 빛의 변화에 따른 모바일 로봇의 거리를 측정하는 실험을 할 것이다. 그리고 마지막으로 V장 에서 결론을 맺는다.
II. 영상 이진화
적응적 이진화를 이용하여, 빛의 변화에 강인한 영상거리 계를 적용하기 위해서는, 카메라를 통해서 받은 영상 정보를 분류하는 작업이 선행되어야 하며, 이러한 이유는 이진화 알 고리즘을 통해서 주변의 영상의 픽셀을 비교하여 임계 값을 결정하기 위해서 이다. 이진화를 통하여 영상을 분류하게 되 면, 빛의 변화에 대하여 강인성을 가지게 된다. 또한 연산 속 도를 향상 하기 위해서 영상을 적분하였다[12].
1. 적응적 이진화
이진화는 전역적 이진화(global thresholding)와 적응적 이진 화(adaptive thresholding) 두 종류의 방법으로 나누어진다 [13,14]. 전역적 이진화는 영상 전체에 대해, 하나의 임계 값 을 통해서 영상 전체를 이진화하는 방법이고, 전역적 이진화 방법은 하나의 임계 값을 가지고, 영상 전체를 빠르게 이진 화를 수행한다. 하지만 본 논문에서 필요한 이진화 방법은 환경의 변화에 따라 이진화가 가변적으로 이루어야 한다.
본 논문에서는 적응적 이진화 방법을 선택하였으며, 적응 Copyright© ICROS 2016
* Corresponding Author
Manuscript received December 24, 2015 / revised January 13, 2016 / accepted July 3, 2016
황요섭, 유호윤, 이장명: 부산대학교 전자전기컴퓨터공학과 ([email protected]/[email protected]/[email protected])
※ 본 연구는 산업통상자원부가 지원하는 산업융합ㆍ연계형 로봇창 의인재양성사업의 연구결과로 수행되었음(N0001126).
※ 이 논문은 산업통상자원부 및 한국산업기술진흥원의 재원으로 지 역성장기반구축사업의 지원을 받아 수행한 연구임(N0000706).
이진화는 전체 영상에 대하여, 여러 개의 임계 값을 이용하 여, 영상을 이진화를 수행한다. 그러면 빛에 변화에 따라서 임계 값도 변하게 되고, 그에 따라서 영상을 분류하는데 효 과적으로 수행하게 된다.
적응적 이진화는 블록의 개념을 이용하여 수행하며, 블록 은 영상이나 픽셀에 대해 적용될 수 있다. 각각의 블록 내의 연산을 통해 임계 값을 구하고, 이 임계 값이 속한 영상의 부분이나, 픽셀에 대해서 이진화를 수행하며, 임계 값을 구하 는 다음과 같다.
(100 ) ( , ) 100
p
s k T u v
N
× −
= (1)
위 식에서 s 는 블록 내의 합이고, 변수 k 는 임계 값을 조 절하기 위한 변수이다. N 은 블록 내의 픽셀 수를 의미한다. p
2. 적분 영상
앞장에서 설명한 적응 이진화를 수행할 때, 많은 연산을 요구하게 된다. 왜냐하면, 밀집되어있는 주변 영역을 이진화 를 수행하게 될 때, 매 블록에 대해 임계 값을 구해야 하기 때문이다. 그래서 이러한 문제를 개선하기 위하여 적분 영상 (integral image)을 적용하여 연산 속도가 향상하였다[15].
적분 영상의 II u v 좌표와 원 영상에서의 ,( , ) u v좌표의 합은 다음 식과 같이 나타낼 수 있다.
0 0
( , ) u v ( , )
i j
II u v I i j
= =
=
∑∑
(2)( , ) ( , ) ( 1, ) ( , 1) ( 1, 1) II u v I u v II u v
II u v II u v
= + −
+ − − − − (3)
위의 식에서 ( , )II u v 는 적분 영상이며, ( , )I u v 는 원 영상을 의미한다.
그림 1은 적분 영상을 이용하여 D 영역까지의 합을 구할 때, 적분 영상을 이용하여 빠른 속도로 원하는 블록 내의 합 을 얻을 수 있으며, D 영역의 합을 구하는 식은 다음과 같다.
2 2 2 1
1 2 1 1
( , ) ( , 1) ( 1, ) ( 1, 1) D II u v II u v
II u v II u v
= − −
− − + − − (4)
이처럼 구한 D영역의 의미는, 이전 픽셀과 다음 픽셀까지의 합을 더한 영상이며, 이를 이용하여 영상의 위치, 크기를 빠 르게 구할 수 있게 된다. 이렇게 구한 영상의 위치와 크기를 이용하여 각각의 영상에 대하여 이진화를 진행하게 된다.
그림 1. 적분 영상을 이용한 D 영역의 합 계산.
Fig. 1. Using the integral image to calculate the sum over region D.
III. 특징 점을 이용한 모션 예측
이번 장에서는 특징 점을 이용한 모션예측에 대해서 설명 할 것 이다. 특징 점을 추출하기 위해서는, 앞장에서 설명한 적응적 이진화 과정을 거친 영상에, 해리스 코너 검출기를 적용하고 이를 이용하여 특징 점을 추출한다. 스테레오 카메 라를 이용하게 되면, 2개의 카메라를 통해서 영상을 받게 된 다. 이때 카메라의 세부 명칭은 좌측 영상, 우측 영상으로 정 의 하였다. 스테레오 카메라의 좌우 영상 중에서, 좌측 영상 을 기준으로 하였다. 좌측영상을 기준으로 영상 매칭을 진행 하였다[16].
매칭은, 이전 영상의 특징 점과 현재 영상의 특징 점을 옵 티컬 플로우를 통하여 특징 점의 위치 변화를 추정하였다.
이를 통해서 위치 변화에 따른 매칭 오차를 최소화하였다.
특징 점의 위치 변화를 통하여, 매칭 오류와 거리 오차를 알 게 되며, 오차를 최소화하기 위해서 옵티컬 플로우를 계산하 는 과정에서 RANSAC을 사용하여 불필요한 특징 점인 아웃 라이어(outlier)들을 제거하고, 남은 인라이어(Inlier)들의 수를 이용하여 조명 변화에 강인한 모션 예측이 가능하여진다[17].
1. 해리스 코너 검출기
특징 점 추출로는 위치정확성 및 반복성이 뛰어난 해리스 코너 검출기를 사용하였다[18]. 해리스 코너 검출기는 이전 영상에서 특징 점이 존재하지 않는 단계에서 처음으로 입력 된 좌우 한 쌍의 영상을 이용하여 특징 점을 추출하는 역할 을 한다.
해리스 코너 검출은 두 단계를 걸쳐 수행 되는데, 첫 번째 단계는 모든 픽셀에 대해 해리스 코너 값을 계산하는 것으로 식은 다음과 같다.
( , )
p= u v (5)
( ) det( ( )) h trace ( ( ))2
h p = G p + ×k G p (6)
식 (6)에서 ( )h p 는 픽셀 p 에서 해리스 코너 값이며, 헤 시안 행렬 G 에 의해 계산된다. det( )G 는 헤시안 행렬의 행 렬식이고, trace( )G 는 헤시안 행렬의 대각요소들의 합이며,
kh는 해리스 코너 결정 상수이다.
2
2
( ) ( ) ( )
( ) ( ) ( ) ( )
u u v
u v v
I p I p I p
G p I p I p I p
⎡ ⎤
= ⎢ ⎥
⎢ ⎥
⎣ ⎦
∑ ∑
∑ ∑
(7)식 (7)은 헤시안 행렬로 Iu와 Iv는 각각 영상의 수평축과 수직축의 밝기 값 그레디언트(gradient) 요소이다. 그리고 헤 시안 행렬 G 는 그레디언트 요소와 합산하여 구하게 되며, 다음 단계는 계산된 해리스 코너 값을 이용하여 코너 점을 선별하는 것이다. 영상에 따라서 임계 값 설정이 어렵고, 최 대한 코너 점이 많이 선택되도록 최대값을 구하는 방법은 식 (8)과 같다.
1, if ( ( ) ( ), ( ), ) ( ) 0, otherwise
h p h p p w p p p
H p ⎧ > ∈ ≠
= ⎨⎩
(8)
위의 식에서 해당 픽셀 p 의 윈도우 영역 ( )w p 내에서 p 의 이웃 픽셀들 p 와 해리스 코너 값을 비교하여 p 의 값이 가장 크면 p 를 코너 점으로 선택하여 사용하였다[19].
황 요 섭, 유 호 윤, 이 장 명 740
2. 특징 점 매칭 2.1 스테레오 매칭
모바일 로봇의 모션계측에 6 자유도 정보 ( ,x y, z, roll , ,
pitch yaw 를 사용하였다. 3차원 정보의 공간좌표를 구하기 ) 위해, 좌우 영상에서 추출된 특징 점들에 대해 일정 크기의 윈도우를 이용하여 좌우 영상간 특징 점을 매칭한다. 매칭의 정확도를 높이기 위해, 매칭의 범위는 스캔라인과 스캔라인 의 이웃 행까지 포함하였다. 그리고 수평으로는 최대 시차를 넘지 않는 영역 내로 설정하였다.
' '
( , )
l l l
p = u v (9)
' '
( , )
r r r
p = u v (10)
' ' ' '
:{0 1}
r l r l l
p ≤u −u ≤D and v −v ≤ (11) 위 식에서 D 는 최대 시차로서 영상의 해상도와 카메라 베 이스라인에 의해 결정된다.
좌영상의 특징 점 pl 와 우영상의 특징 점 pr 에 대응되는 매칭 점을 찾기 위하여 다음 식과 같이 계산하였으며, pr 의 탐색 범위를 포함하고 있다.
' ( )
" ( )
( ) ( ') ( ") ( ') ( ")
l r
l r l r
r u u v v
p p and
p p
C p I p I p I p I p
∈Ω∈Ω
=
∑
− + − (12)여기에서 ( )Ω pl 과 ( )Ω pr 은 각각 특징 점 pl과 pr을 중심 으로 한 윈도우이다. 위 첨자 l 과 r 은 각각 좌영상과 우영 상을 의미한다. pl 의 대응점으로는 이 비용들 가운데 최소의 비용을 생성한 pr 이 선택되고, 스테레오 매칭이 이루어진 특 징 점 pl 은 3축으로 나타내면 다음과 같이 계산된다.
' '
' '
' '
' '
' '
( )
2( )
( )
2( )
l r
l r
l r
l r
l r
b u u u u X b v v
Y u u
Z f b
u u
⎡ + ⎤
⎢ − ⎥
⎢ ⎥
⎡ ⎤ ⎢ + ⎥
⎢ ⎥ ⎢= ⎥
⎢ ⎥ ⎢ − ⎥
⎢ ⎥⎣ ⎦ ⎢⎢ ⋅ ⎥⎥
−
⎢ ⎥
⎣ ⎦
(13)
위의 식에서 f 는 초점거리를 의미하고, b 는 베이스라인을 나타낸다.
2.2 옵티컬 플로우
이전 영상과 현재 영상에서 얻은 특징 점을 매칭함으로써 두 영상 사이의 움직임에 따른 옵티컬 플로우가 결정되고 이 를 이용하여서 추정이 가능하다.
옵티컬 플로우를 이용하여, 특징 점을 현재 영상에서 매칭 하게 되면, 특징 점의 위치 변화를 예측할 수 있는 모션 벡 터를 구할 수 있게 된다. 이 모션 벡터는 2차원 공간에서의 영상 변화이므로, 이동로봇의 운동을 표현하기 위해서 3차원 정보가 필요하다.
스테레오 카메라로 좌우 영상간의 시차 영상(disparity image)을 통해 거리 정보를 추가하여 3차원 공간의 좌표로 변환할 수 있다[20]. 또한, 짧은 시간 내에 연속적인 영상을 얻는 경우, 영상간 카메라 시점 차가 크지 않기 때문에, 작은 베이스라인 문제로 가정한다[21]. 그러면 연속적인 영상에 대 한 대응점을 옵티컬 플로우를 통해 빠르게 수행이 가능 하여 진다.
매칭된 특징 점 집합 A 에서, 이전 영상의 특징 점에 해당 하는 3차원 좌표 p 에 대응하는, 현재 영상의 3차원 좌표 it−1
it
p 는 다음 식과 같이 표현한다.
1
t t
i= i − i−
u p p (14)
위의 식에서 실제 공간의 변화를 의미하고, 3차원 모션벡터 ui는 KL (Kanade-Lucas) 특징 추적기를 이용하여 구한다[22].
2.3 RANSAC 기반의 강인한 특징 점 선정
옵티컬 플로우에 의해 매칭된 특징 점을 기반으로 생성된 3차원 모션벡터는 특징 점의 매칭 오류로 거리정보의 불확 실성을 포함하고 있다. 이동로봇의 정확한 운동 예측을 위하 여 불필요한 정보인 아웃라이어를 제거해야 한다. 아웃라이 어의 모션벡터는 방향과 크기가 균일하지 않기 때문에 RANSAC을 사용하여 옵티컬 플로우를 계산하는 과정을 통 해서 제거한다. 제거하고 남은 인라이어를 이용하여 이동로 봇의 위치를 추정하는데 사용된다.
RANSAC은 주어진 데이터에서 일부를 임의로 선택한 후, 최적의 파라미터를 예측하는 과정을 반복하여 좋은 모델 파 라미터를 찾게 되는 알고리즘이다. 영상 정보에는 많은 양의 정보를 포함하고 있기 때문에, RANSAC을 이용하여 특징 점 중에서 불필요한 정보를 제거하게 되며, 이를 아웃라이어가 된다. 그래서 필요한 정보인 인라이어와 불필요한 정보인 아 웃라이어로 구분하여 사용하게 되는 것이다.
RANSAC은 모델 가설을 위한 반복 횟수에 따라 정확도와 처리 시간이 달라지기 때문에, 반복 횟수가 증가하면 정확도 는 높아지지만, 처리 시간이 길어지는 문제가 발생한다. 따라 서 정확한 모션 계측을 위해 아웃라이어를 제거하기 위한 반 복 횟수 NR은 다음 식과 같이 된다.
log(1 ) log(1 (1 ) )
R s
N p
ε
= −
− − (15)
위의 식에서 s 는 추정에 필요한 데이터 점의 최소 수이고, 그림 2. 평행 카메라 좌표계.
Fig. 2. Parallel type camera coordinates system.
p는 NR번 반복 중에 적어도 하나의 샘플이 인라이어가 되 는 확률이고, ε 는 데이터 점들 중 아웃라이어의 비율을 정 의한다. RANSAC 적용 시 매 시행마다 데이터 점들을 인라 이어와 아웃라이어로 분류하여 이전 시행보다 인라이어의 수가 많은 모델을 저장하고, ε 을 새로 계산하여 반복 횟수
NR을 갱신한다.
3. 모션 예측
RANSAC을 통해 추출한 인라이어를 이용하여 이동로봇의 모션을 예측하기 위해 기준 점의 집합이 대상 점의 집합으로 변화하는 운동을 예측하는 최소 제곱법 (least-squares method) 을 사용하였다.
( )
21
min n i ( i )
i
Error u Rp T
=
=
∑
− + (16)( ) ( ) ( )
z y x
R R= ψ R θ R φ
cos sin 0 cos 0 sin 1 0 0
sin cos 0 0 1 0 0 cos sin
0 0 1 sin 0 cos 0 sin cos
cos cos sin sin cos cos sin cos sin cos sin sin cos sin sin sin sin cos cos cos sin sin sin cos
s
ψ ψ θ θ
ψ ψ φ φ
θ θ φ φ
θ ψ φ θ ψ φ ψ φ θ ψ φ ψ
θ ψ φ θ ψ φ ψ φ θ ψ φ ψ
⎡ − ⎤ ⎡ ⎤ ⎡ ⎤
⎢ ⎥ ⎢ ⎥ ⎢ ⎥
=⎢ ⎥ ⎢ ⎥ ⎢ − ⎥
⎢ ⎥ ⎢− ⎥ ⎢ ⎥
⎣ ⎦ ⎣ ⎦ ⎣ ⎦
− +
= + −
− inθ sin cosφ θ cos cosφ θ
⎡ ⎤
⎢ ⎥
⎢ ⎥
⎢ ⎥
⎣ ⎦
(17)
X
T Y
Z
⎡ ⎤⎢ ⎥
= ⎢ ⎥
⎢ ⎥⎣ ⎦
(18)
식 (16)은n 개의 기준점 p=( , , )x y zr r r 와 대상점 x=( ,xt t, )t
y z 를 사용하여, 오차가 가장 작은 회전행렬 R 과 병진벡 터 T 를 구하였다. 그리고 단위 쿼터니언(Quaternion)을 이용 하여 6자유도의 운동 방정식을 예측하였다[23].
IV. 실험 및 결과
본 논문에서 제안하는 알고리즘을 실험하기 위해서는 2가 지 환경에서 실험을 진행하였다. 빛이 없는 환경에서, 조명을 통해서 영상 정보를 획득이 가능한 환경과 빛이 없는 환경에 서 적외선 센서를 통해서 영상 정보를 획득이 가능한 환경에 서 실험을 하였다.
실험에 사용된 모바일 로봇은 그림 4와 같으며, 이동 거리 를 추정하기 위해서 스테레오 카메라를 부착하였으며, 빛이
없는 어두운 환경에서 영상 정보를 받기 위해서 스테레오 카 메라 주변에 적외선 센서를 결합하여 어두운 환경에서도 영 상 정보를 받을 수 있게 하였다.
스테레오 카메라는 STEREOLABS사의 ZED Stereo Camera 를 사용하였고, 입력 받은 영상을 SSD가 내장된 PC에서 영 상처리를 수행하였다.
본 논문에서 제안하는 알고리즘의 성능 검증하기 위해서 실험환경은, 사각구조의 복도이며, 그림 5와 같다. 크기는 가 로, 세로 각각 30 m이다. 이러한 구조에서 조명이 있는 환경 과 조명이 없는 환경을 나누어서 실험을 하였다.
그림 6은 제안된 이진화 알고리즘을 적용하여 거리를 추 정한 실험 결과이며, 각각의 단계별로 분류 하였다.
첫 번째는 스테레오 카메라를 통해서 영상 정보를 입력 받 은 영상 정보이며 그림 6(a)과 같다. 두 번째는 좌우 받은 각 각의 영상에서 빛의 변화에 따라 이진화 처리를 걸치게 된다.
그 결과 영상은 그림 6(b)와 같이 된다. 세 번째 단계는 이렇 게 받은 이진화 영상에 특징 점을 추출하여야 한다. 그래서 해리스 코너 검출기를 사용하였으며, 적용한 결과는 그림 6(c)와 같다. 네 번째 단계는 특징 점을 기준으로 좌우 영상 의 매칭을 통해서 거리 정보를 확인하게 되고, 그림 6(d)와 같다. 다섯 번째 단계로 그림 6(e)는 현재영상 정보와 이전 영상 정보의 특징 점을 비교한 결과이며, 마지막으로 옵티컬 플로과정을 거친 결과는 그림 6(f)와 같다. 그리고 RANSAC 알고리즘에서의 변수인, 반복횟수 NR을 10으로 설정하였다.
그림 3. 모바일 로봇의 좌표계.
Fig. 3. Coordinates of mobile robot.
그림 4. 실험에 사용된 모바일 로봇.
Fig. 4. Mobile robot. used in the experiment.
그림 5. 모바일 로봇의 이동 경로.
Fig. 5. Moving path of the mobile robot.
황 요 섭, 유 호 윤, 이 장 명 742
(a) Left and right original images.
(b) Left and right images after adaptive thresholding.
(c) Left and right images after harris corner detector.
(d) Resulting image after matching two images at time t.
(e) Image after optical flow at time t-1 and t.
(f) Image after RANSAC algorithm.
그림 6. 영상 거리계의 모션예측 과정.
Fig. 6. Motion estimation process of the visual odometry.
그림 7. Kalman filter based Visual Odometry 실험 결과.
Fig. 7. Experimental results of applying the Kalman filter based Visual Odometry algorithm.
그림 7은 Kalman filter based Visual Odometry 을 이용하여 실 험한 결과이다. 본 논문에서 제안하는 알고리즘과의 비교를 하기 위해서 실험을 하였다. 실험 방법은, 동일한 환경과 동 일한 스테레오 카메라를 사용하였으며, 적외선 센서를 적용 하지 않고 실험을 하였다. Kalman filter based Visual Odometry 은 실외 에서 차량에 부착하여 많은 사용되고 있는 알고리즘 이다. 하지만 실내에서 적용하여 거리를 추정 하여 본 결과 성능이 많이 떨어지는 것을 알 수 있다.
이러한 문제는 실내에 있는 장애물로 인하여, 지면의 폭이 변화가 있기 때문이며, 또 다른 요인으로 빛이 적게 발생하 는 구간에서 거리 추정이 되지 않기 때문이다.
그림 8. 밝은 환경에서의 실험 결과.
Fig. 8. Experimental result on a light environment.
Yo-Seop Hwang, Ho-Yun Yu, and Jangmyung Lee
그림 9. 어두운 환경에서의 실험 결과.
Fig. 9. Experimental result on a dark environment.
표 1. 평균 거리 및 오차.
Table 1. Average distance and error.
Environment Method Distance (m) Error (%) Indoor
on a light
Kalman filter based
Visual Odometry 65.06 8.43 Visual Odometry using
Adaptive Thresholding 61.83 3.05 Indoor
on a dark
Kalman filter based
Visual Odometry 71.82 19.7 Visual Odometry using
Adaptive Thresholding 64.41 7.35
그림 8과 그림 9은 밝은 환경과 어두운 환경에서의 실험한 결과이다. 본 논문에서 제안하는 이진화 알고리즘은, Visual Odometry using Adaptive Thresholding이며, 비교하기 위한 알고 리즘으로 Kalman filter based Visual Odometry 을 사용하였다[24].
각각의 구간에 대해서 ①, ②, ③으로 표기하였으며, 각도에 대한 실험 결과는 표 1에 나타내었으며, 실험은 5번 반복 주 행하였다.
위의 실험을 통해서 빛이 있는 환경과 빛이 없는 환경에서 의 평균 거리오차를 나타낸 결과이다. 빛은 있는 환경을 Indoor on a light로 명시하였으며, 이때의 실험 결과는 Kalman filter based Visual Odometry 의 거리 오차는 65.06이며 Error 은 8.43 %이고, Visual Odometry using Adaptive Thresholding의 거리 오차는 61.83이고, Error는 3.05 %로 나타났다.
빛이 없는 환경을 Indoor on a dark로 명시하였으며, 이때에 는 스테레오 카메라에 적외선 센서를 부착하여 알고리즘을 적용하였다. Kalman filter based Visual Odometry 의 거리 오차는 71.82이고 Error는 19.7 %이며, Visual Odometry using Adaptive Thresholding의 거리 오차는 61.41이고 Error는 7.35 %로 나타 났다. 위의 2가지 결과를 통해서 두 가지 환경 모두에서 Visual Odometry using Adaptive Thresholding의 오차가 적었으며, 특히 어두운 환경에서 성능 향상 폭이 큰 것을 알 수 있다.
표 2은, 앞에서 실험한 구간에 대한 회전 에러에 대하여 비교한 결과이다. 3가지 구간으로 나누어 분류하였다. 모바일 로봇의 이동에 따른 회전 각도오차를 나타내었다. Indoor on a light 환경에서 Kalman filter based Visual Odometry와 Visual
Odometry using Adaptive Thresholding의 편차는 4.5°, 3.1°, 10.3°
이다.
Indoor on a dark 환경에서 3가지 지점에 대한 회전 오차는 0.7°, 3.1°, 53.4°로 나타났다. Indoor on a light와 Indoor on a dark에 대해 Visual Odometry using Adaptive Thresholding의 오차가 적 음을 알 수 있었다.
V. 결론
본 논문에서는 스테레오 카메라를 사용하여 빛이 없는 환 경에서도 이동로봇을 이용하여 이동 거리 추정을 할 수 있는 시스템을 제안하였다. 이동로봇의 이동 거리를 계산하기 위 해 스테레오 카메라를 이용하였으며, 특징 점 추출을 통해서 성능을 높이기 위해 적용하였고, 이진화 단계를 통해서 최적 의 임계 값을 결정하여 이진화를 적용하였다. 뿐만 아니라, 이진화 과정에서의 연산 처리 속도를 향상시키기 위해 적분 영상을 적용하였다. 향후 연구 과제로는 스테레오 카메라를 이용하여 안정적이고, 정밀한 위치 추정을 수행할 수 있도록 다양한 알고리즘을 적용할 예정이다.
REFERENCES
[1] R. Madhavan and E. Messina, “Iterative registration of 3d lader data for autonomous navigation,” Proceedings of the IEEE Symposium on Intelligent Vehicles, pp. 186-191, 2003.
[2] R. Madhavan, T. Hong, and E. Messina, “Temporal range registration for unmanned ground and aerial vehicles,” Journal of Intelligent and Robotics Systems, vol. 44, no. 1, pp. 47-69, 2005.
[3] N. Vandapel and M. Hebert, “3d rover localization in airborne ladar data,” Experimental Robotics VIII. Springer Berlin Heidelberg, pp. 156-167, 2003.
[4] N. Vandapel, R. Raghavendra, R. Donamukkala, and M. Hebert,
“Unmanned ground vehicle navigation using aerial lader data,”
The International Journal of Robotics Research, vol. 25, no. 1, pp. 31-51, 2006.
[5] J. J. Biesiadecki and M. Maimone, “The mars exploration rover surface mobility flight software: Driving ambition,” Proceedings of the IEEE conference on Aerospace, 2006.
[6] C. B. Jung, D. U. Jung, and W. J. Chung, “Accurate calibration of odometry errors for wheeled mobile robots by using experimental orientation errors,” Journal of the Korean Society for Precision Engineering, vol. 31, no. 4, pp. 319-326, 2014.
[7] Y. Khalid, B. H. Alireza, and H. Reza, “An overview to visual 표 2. 각도 오차.
Table 2. Angle error.
Environment Method
(1) Angle
Error (2) Angle
Error (3) Angle
Error Indoor
on a light
Kalman filter based
Visual Odometry 6.8° 5.3° 14.8°
Visual Odometry using
Adaptive Thresholding 2.3° 2.2° 4.5°
Indoor on a dark
Kalman filter based
Visual Odometry 7.2° 5.2° 58°
Visual Odometry using
Adaptive Thresholding 6.5° 2.1° 4.6°
황 요 섭, 유 호 윤, 이 장 명 744
odometry and visual SLAM: Applications to mobile robotics,”
Intelligent Industrial Systems, 2015.
[8] S. J. Jung, J. B. Song, and S. C. Kang, “Stereo vision-based visual odometry using robust visual feature in dynamic environment,” Journal of Intelligent Service Robotics (in Korean), vol. 3, no. 4, pp. 263-269, 2008.
[9] M. Agrawal and K. Konolige, “Real-time localization in outdoor environments using stereo vision and inexpensive gps,” Proc. of 18th International Conference on Pattern Recognition, vol. 3, pp.
1063-1068, 2006.
[10] P. Corke, “An inertial and visual sensing system for a small autonomous helicopter,” Journal of Robotic Systems, vol. 21, no.
2, pp. 43-51, 2004.
[11] G. Y. Song and J. W. Lee, “Stereo visual odometry without relying on RANSAC for the measurement of vehicle motion,”
Journal of Institute of Control, Robotics and Systems (in Korean), vol. 21, no. 4, pp. 321-329, 2015.
[12] D. Bradley, “Adaptive thresholding using the integral image,”
ACM Journal of Graphics Tools, vol. 12, no. 2, pp. 13-21, 2007.
[13] Y. K. Lee and H. Yoo, “Adaptive thresholding for two- dimensional barcode images using two thresholds and the integral image,” The Korea Institute of Information and Communication Engineering, vol. 16, no. 11, pp. 113-118, 2012.
[14] O. Veksler, “Fast variable window for stereo correspondence using integral images,” Proc. of IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2003), pp. 556-661, 2003.
[15] C. Harris and M. Stephens, “A combined corner and edge detector,” Proc. of Conference Alvey Vision, pp. 147-151, 1988.
[16] M. Fischeler and R. Bolles, “Randam sample consensus: A paradigm for model fitting with applications to image analysis and automated cartography,” Graphics and Image Processing, vol. 24, no. 6, pp. 381-395, 1981.
[17] D. Scaramuzza and F. Fraundorfer, “Visual odometry part II:
matching, robustness, optimization, and applications,” IEEE Robotics and Automation Magazine, vol. 19, no. 2, pp. 78-90.
[18] Y. Ma, S. Soatto, J. Kosecka, and S. S. Sastry, An Invitation to 3D Vision, Springer New York ,2004.
[19] Inc. P. G. R., Triclops Stereo Vision System, Tech. Rep, 1997.
[20] Y. W. Choi, K. S. Choi, J. W. Choi, and S. G. Lee, “Localization using ego motion based on fisheye warping image,” Journal of Institute of Control, Robotics and Systems (in Korean), vol. 20, no. 1, pp. 70-77, 2014.
[21] J.-Y. Bouguet, “Pyramidal implementation of the affine lucas kanade feature tracker description of the algorithm,” Intel Corporation 5.1-10, 2001.
[22] J. Civera, O. G. Grasa, A. J. Davison, and J. M. M. Montiel, “1- point ransac for ekf-based structure from motion,” Proc. of IEEE/RSJ International Conference on Intelligent Robots and Systems, Oct. 2009.
[23] B. K. P. Horn, “Closed-form solution of absolute orientation using unit quaternions,” Journal of the Optical Society of America A, vol. 4, no. 4, pp. 629-642, 1987.
[24] B. Kitt, A. Geiger, and H. Lategahn, “Visual odometry based on stereo image sequences with RANSAC-based outlier rejection scheme,” Intelligent Vehicles Symposium, 2010.
황 요 섭
2010년 경남과학기술대학교 메카트로닉 스공학과 졸업. 2012년 부산대학교 로봇 대학원 공학석사. 현재 동 대학원 전기 전자 박사과정 재학 중. 관심분야는 Haptics, 이족로봇제어, Navigation and Localization, 3D Mapping.
유 호 윤
2014년 인제대학교 전자지능로봇공학 과 졸업. 2014년 부산대학교 대학원 전 자전기컴퓨터공학과 석사과정 입학.
현재 동 대학원 전자전기공학전공 석사 재학 중. 관심분야는 관성항법시스템, Navigation and Localization, 자율주행.
이 장 명
1980년 서울대학교 전자공학과 졸업.
1982년 동 대학원 공학석사. 1990년 UCS(미국남가주대학교) 공학박사. 1992 년~현재 부산대학교 전자전기공학과 교수. 관심분야는 지능로봇시스템 설계 및 제어, 마이크로프로세서 응용, 특수 환경 Navigation and Localization.
