논문 2014-51-3-18
소나 영상 기반의 수중 물체 인식과 추종을 위한 구조 : Part 2. 확률적 후보 선택을 통한 실시간 프레임워크의 설계
및 구현
( A Framework of Recognition and Tracking for Underwater Objects based on Sonar Images : Part 2. Design and Implementation of
Realtime Framework using Probabilistic Candidate Selection )
이 영 준*, 김 태 균*, 이 지 홍**, 최 현 택**
( Yeongjun Lee, Tae Gyun Kim, Jihong Lee, and Hyun-Taek Choiⓒ)
요 약
수중 로봇 분야에서 수중 환경 인식은 매우 중요하나, 탁도 등의 제약으로 인하여 수중 광학 카메라의 사용은 제한적이다. 대안으로 기대하는 수중 영상 소나의 경우, 소나 영상의 품질이 영상 처리에 의해 자연물을 그대로 인식하기에 충분히 안정적이며 정확하지 못하 다. 이를 극복하고자 본 논문의 Part 1에서 초음파의 특징을 고려한 인공 표식을 제안하였으며, 형상 행렬 기반의 인식 방법을 함께 제안 하고 검증하였다. 그러나 실제 해양 환경은 복잡하고 동적인 잡음 요소가 많다. 이러한 문제를 추가로 해결하기위해 본 논문의 Part 2에 서는 연속되는 소나 영상에서 확률적으로 인식 후보를 선별하여 인식하고, 추적하는 프레임워크를 제안한다. 이 프레임워크는 4단계, 즉 유사도 기반 관심 후보의 선정, 확률 기반 최종 후보의 선정, 선정된 후보의 인식, 그리고 인식된 물체의 추적으로 구성되어 있다. 이러한 4단계의 구조가 병렬로 처리되어 실시간 처리가 가능하며 인식 대상체의 변경이나 알고리즘의 보강을 위한 유연한 구조를 가진다. 제안 한 프레임워크를 구성하는 파티클 필터 기반의 후보 선별 알고리즘과 평균-이동 (mean-shift) 기법에 의한 추적 방법을 함께 제안하였다.
수조 실험과 실해역 실험을 수행을 통하여 성능을 검증하였으며 결과에 대한 상세한 분석을 수행하였다. 인공 표식의 추적에서 얻어진 상대거리, 방향 등의 정보는 수중 로봇의 제어와 항법을 위해 사용될 것으로 기대하고 있다.
Abstract
In underwater robotics, vision would be a key element for recognition in underwater environments. However, due to turbidity an underwater optical camera is rarely available. An underwater imaging sonar, as an alternative, delivers low quality sonar images which are not stable and accurate enough to find out natural objects by image processing. For this, artificial landmarks based on the characteristics of ultrasonic waves and their recognition method by a shape matrix transformation were proposed and were proven in Part 1. But, this is not working properly in undulating and dynamically noisy sea-bottom. To solve this, we propose a framework providing a selection phase of likelihood candidates, a selection phase for final candidates, recognition phase and tracking phase in sequence images, where a particle filter based selection mechanism to eliminate fake candidates and a mean shift based tracking algorithm are also proposed. All 4 steps are running in parallel and real-time processing. The proposed framework is flexible to add and to modify internal algorithms. A pool test and sea trial are carried out to prove the performance, and detail analysis of experimental results are done. Information is obtained from tracking phase such as relative distance, bearing will be expected to be used for control and navigation of underwater robots.
Keywords : Framework, Underwater Object Recognition, Multiple Candiate, Probability, Imaging sonar
* 정회원, 한국해양과학기술원(부설) 선박해양플랜트연구소 (Korea Institute of Ocean Science & Technology)
** 정회원, 충남대학교 메카트로닉스공학과
(Dept. of Mechanical Engineering, Chungnam National University)
ⓒ Corresponding Author(E-mail: [email protected])
※ 본 연구는 한국해양과학기술원(부설) 선박해양플랜트연구소의 “고정밀 임무 수행을 위한 인공지능 기반의 수중 로봇 기술 개발” 과제 및 산업통상자원부의 “수중 인공 구조물의 국소지역 정밀탐사가 가능한 1.0m 위치 오차를 갖는 수중로봇 자율유영 기술개발” 과제 지원을 받아 연구 되었습니다.
접수일자: 2013년12월10일, 수정완료일: 2014년3월7일
Ⅰ. 서 론
지상의 로봇 연구 분야에서 광학 카메라에 기반을 둔 영상 처리 기술이 지속적으로 발전하고 활용되고 있다.
수중 로봇의 경우 광학 영상 정보가 중요함에도 불구하 고 수중 가시거리의 제약으로 인하여 활용이 제한적일 수밖에 없다. 이러한 한계를 극복하고자 고해상도 소나 를 이용하여 수중 환경을 인식하려는 연구가 수행되어
왔다[1～6]. 그러나 그림 1에서 보듯이 소나 영상에서 수
중 환경을 인식하는 것은 쉽지 않다. 숙련된 운영자의 경험과 연속적인 영상에서 사물의 움직임으로 추론하는 수준이다. 이러한 원인은 본 논문 Part 1에서 자세히 설 명하였으며, 수중 로봇의 제어 및 항법에 사용하기 위 한 목적으로 인공 표식물과 이를 효과적으로 인식할 수 있는 방법을 제안하고 실험으로 검증하였다[7]. 그러나 실제의 바다 환경은 복잡한 주변 환경, 생물체 활동, 소 나 그림자, 명확하지 않은 잡음으로 인하여 인식 성능 은 크게 저하된다.
이에 본 논문에서는 Part 1에서 제안한 방법을 기반 으로 하여 연속으로 입력되는 소나 영상에서 나타난 물 체를 확률적으로 선별하여 인식 성능을 높이는 방법을 제안하고자 한다. 특히, 실시간으로 동작이 가능하도록 병렬로 처리되고, 성능을 강화할 수 있도록 알고리즘을 추가할 수 있는 유연한 프레임워크의 형태로 제안한다.
본 논문은 II. 본론 1절에서는 제안하는 프레임워크의 구성과 개념을 설명하고 2절에서는 프레임워크를 구성 하는 알고리즘을 제안한다. III. 실험에서 수조 및 실해 역 실험의 구성과 결과를 보이고 결과를 분석한다. 마 지막으로 결론을 기술하였다.
그림 1. 소나 영상의 예 (해저면과 잠수부) Fig. 1. Example of sonar image.
Ⅱ. 본 론
1. 수중 물체 인식과 추종을 위한 프레임워크 낮은 해상도와 임의의 잡음이 섞여 있는 특정 시점의 소나 영상으로부터 물체를 탐지 및 인식하고 추종하는 것이 매우 어렵다. 본 논문에서 제안하는 프레임워크는 연속되는 소나 영상의 입력에서 확률적으로 물체로 추 정되는 부분을 선별하고 이 부분에 대한 인식과 추정을 수행하는 것을 주요한 특징으로 한다.
그림 2와 같이 제안한 프레임워크는 4 단계 과정을 거친다. 첫 번째는 찾고자 하는 물체와 유사한 물체를 모두 후보로 선정하는 유사도 기반 관심 후보 선택 단 계이고, 두 번째는 선정한 후보에 확률 필터를 적용하 여 잘못 선정된 후보를 삭제하고 가능성이 높은 후보를 최종 후보로 선택하는 확률 기반 최종 후보 선택 단계 이다. 세 번째는 선택된 최종 후보의 정보와 찾고자 하 는 물체의 정보를 비교하여 어떤 물체인지 인식하는 단 계이며, 마지막 단계는 인식된 물체에 대해 추적을 수 행하는 단계이다. 제안한 프레임워크의 4 단계는 연속 적인 영상에 대하여 병렬로 처리되며 각 단계별로 수행 되는 알고리즘을 추가하거나 보강할 수 있는 유연한 구 조를 가진다. 따라서 본 논문에서는 Part 1에서 제안한 인공 표식을 인식의 대상으로 하나 알고리즘의 보완을 통해 대상 물체를 확대할 수 있다.
그림 2. 제안하는 수중 물체 인식 및 추적 구조 Fig. 2. Proposed framework of underwater object
recognition and Tracking.
가. 유사도 기반의 관심 후보의 선택
소나 영상에는 물체 형상이 왜곡되어 나타나고 순간 적인 잡음도 많이 있어, 전체 소나 영상에 나타난 다수 의 물체에 대한 인식을 일괄적으로 수행하는 것이 어렵 고 비효율적이다[1～2, 6]. 이러한 문제를 극복하기위해 이
그림 3. 관심 후보 선택 기법 흐름도
Fig. 3. Flowchart for selection of likelihood candidates.
단계에서는 소나 영상에서 찾고자 하는 물체의 특징(물 체의 모델)을 비교하여 일정 값 이상을 갖는 물체(영역) 를 모두 관심 후보로 선택한다. 그림 3에서 설명하는 선택 과정에 나타난 바와 같이 임의의 잡음과 잘못된 후보도 포함될 수 있다. 하지만 이러한 후보는 다음 단 계에서 삭제될 수 있다. 반대로 잡음의 영향으로 포함 되지 못한 참 후보가 있다면, 잡음이 사라진 후의 다음 소나 영상에서 후보로 선택될 수 있다.
이 과정을 거친 후보는 관심 영역 (Region of interest, ROI)의 형태로 선택되므로 이후의 모든 과정 은 전체 영상이 아닌 작은 영역에 한정하여 처리하게 된다. 따라서 인식 및 추적 과정에서 다양한 복수의 방 법을 적용할 수 있는 시간을 확보할 수 있는 여건을 마 련하게 된다.
나. 확률적인 방법에 의한 최종 후보의 선택
이 단계에서는 관심 후보로 선택된 물체 중 주변 잡 음으로 인해 잘못 선택된 관심후보를 제거한다. 잡음은 연속되는 소나 영상에서 반복적으로 나타나지 않기 때 문에 확률적인 방법을 사용하면 쉽게 구분이 가능하다.
찾고자 하는 물체의 외형을 기준으로 확률적인 신뢰도 가 떨어지면 잡음으로 판단하여 관심 후보에서 제거한 다. 반대로 신뢰도가 매우 높은 경우 다음의 인식 단계 로 진행할 수 있도록 한다. 신뢰도가 그 사이에 존재할 경우 계속 관심 후보로 유지하면 다음에 입력되는 소나 영상에 의한 정보로 신뢰도를 다시 판단하게 된다. 여 기서 외형의 정보에 의해 판단하기 때문에 찾고자 하는 대상이 아닐 수 있으나 이는 다음의 인식 단계에서 구 분이 될 수 있다. 반면 참 후보가 지속적인 잡음의 영향 으로 탈락할 수 있다. 그러나 다음 영상에서 다시 후보 로 추천 될 수 있을 것으로 생각할 수 있다. 다만, 물리 적인 잡음의 영향이 계속되는 경우, 예를 들면 인공 표 식의 표면이 크게 오염된 경우는 현재의 프레임워크에
서 처리하기는 어렵다.
다양한 확률적인 처리 방법을 고려할 수 있으나 인식 대상의 형태에 따라 유연하게 변형이 가능한 파티클 필 터의 기법이 유리하며, 이를 보완할 수 있는 방법의 추 가도 가능하다.
다. 최종 후보의 인식
이 단계는 일반적인 영상 처리에서의 인식 과정과 유 사하게 영상의 전처리 과정과 인식을 위한 특징의 비교 과정을 거친다. 사전 과정에서 충분이 후보를 좁혔고 다수의 후보가 포함된 전체를 다루지 않고 1개의 후보 만이 포함된 관심영역을 독립적으로 다루기 때문에 보 다 적극적인 방법의 적용이 가능하다. 즉, 영상의 전처 리 과정에서 다른 후보의 영향을 고려할 필요 없이 1개 의 후보에 대하여 다양한 방법을 적용할 수 있고 국부 적인 영역을 처리하기 때문에 매우 짧은 시간에 처리가 가능하다. 또한, 이 프레임워크에서의 인식 과정으로 가 장 단순하게는 하나의 방법에 의해 인식 결과를 얻을 수 있고, 복수의 방법을 동시에 적용하고 각각의 결과 를 단순하게 결산하거나 또는 가중치나 학습 방법을 적 용하여 발전된 형태로 결과를 도출하여 보다 정확하고 강인한 결과를 얻을 수 있다. 이 단계에서 인식된 후보 는 추종 단계로 전환되며, 인식에 실패할 경우 후보는 버려지게 된다.
라. 인식된 물체의 추적
이 단계에서는 영상 소나가 움직이거나 또는 물체가 움직이는 것에 관계없이 인식된 물체가 소나 영상에 있 으면 물체의 중심을 추적한다. 이렇게 추적 중인 물체 의 중심으로부터 인식된 물체에 해당하는 정보, 즉 소 나와 물체사이의 거리와 방향을 알 수 있고 소나의 자 세 정보를 결합하여 물체로부터 소나(로봇)의 위치를 파악할 수 있다.
추적 중인 물체는 당연히 이 프레임워크의 처음 과정 인 관심 후보로 다시 선정될 수밖에 없다. 이 경우 후보 중심과 추적 중인 물체의 중심을 비교하여 동일 물체로 판단되면 이 후보를 무시하게 된다. 따라서 물체 인식 과정을 재수행하지 않고 계속 추적만을 수행한다. 그러 나 추적 중인 물체에 대한 인식 정보의 유효함을 보장 하기위해 미리 설정된 간헐적인 주기에 의하여 인식 과 정을 재 수행한다.
인식 과정과 마찬가지로 영상에서의 물체 추적을 위 한 다수의 방법을 동시에 적용할 수 있다. 또한 확률적 인 추정 방법을 추가 적용하여 추적 정밀도를 높일 수 있다. 그러나 물체의 상태에 따라 추적의 결과가 항상 정확하다고 신뢰할 수 없기 때문에 주기적으로 인식 과 정을 수행하여 정확하게 물체를 추적하고 있는지 검증 한다.
마. 실시간 처리를 위한 구조
제안한 프레임워크를 구성하는 4단계는 그림 4와 같 이 병렬 처리에 의해 동시에 수행된다. 이는 동작 중인 프레임워크를 특정 시간인 를 기준으로 가상으로 구 성한 예이다. 첫 번째 열에서는 입력된 소나 영상 (점 선)에서 후보를 선택한 결과가 다음 단계(아래)로 가는 상황을 예시한 것이다. 이후 시간의 흐름에 따라 특정 조건을 만족하여 다음 단계로 넘어가거나, 현 단계에 머물러 있거나, 또는 후보에서 삭제되는 과정을 거친다.
주어진 시간을 만족하는 실시간성을 보장하기위해 각 단계에서 소요되는 시간은 추정이 가능하다. 즉, 동 시에 인식 및 추적이 가능한 물체의 수와 각 단계에서 사용하는 알고리즘에서 소요하는 시간을 고려하여 미리 계산되어 질 수 있다. 이것이 이 프레임워크의 성능 요 구 사항에 따라 전체적인 구성의 조정이 가능함을 의미 한다.
그림 4. 시간 흐름에서 본 제안한 프레임워크의 병렬 처리 과정의 예 (점선이 입력된 소나 영상) Fig. 4. Example of parallel processing in the proposed
framework along with time (Input sonar image in dotted line).
2. 단계별 알고리즘의 구현
제안한 프레임워크는 다음에서 설명하는 알고리즘으 로 구성된다. 이 알고리즘은 본 논문의 Part 1에서 제시 한 인공 표식물의 특징을 고려하여 설계되었다. 물론 이 프레임워크의 구조에서 제안한 알고리즘의 성능을 개선하거나 다양한 물체 인식을 위한 새로운 방법의 추 가도 가능하다. 그림 5는 본 연구에서 사용된 인공 표 식을 나타낸다. 이와 관련한 자세한 내용은 Part 1을 참 고한다[7].
그림 5. 제안한 알고리즘의 검증에 사용된 인공 표식물 Fig. 5. Artificial landmarks used in a proof for the
proposed algorithms.
가. 유사도 기반 관심 후보의 선택
본 연구에서 사용되는 4가지 인공 표식물의 외형은 모두 원이며 내부에는 식별 코드(ID)를 갖는다. 관심 후 보의 선택은 인공 표식물의 두 가지 정보 중 원이라는 특성을 이용한다. 즉, 입력된 소나 영상에서 원의 형태 와 유사한 특징을 가지는 물체의 형태(영역)을 관심 후 보로 선택한다. 본 논문에서 유사도를 구하는 방법으로 허프-원 검출기(hough circle transform)[8]를 사용하였 으며 자세한 내용은 본 논문의 Part 1을 참고한다[7].
제안한 프레임워크는 실시간 처리를 위해 관심 후보 의 최대 수를 제한하며 (본 연구에서는 5개), 높은 유사 도 순서에 의해 결정된다. 이 후보 중에 이미 추적 중인 물체라고 판단된 것은 바로 제외한다. 판단은 후보의 중심점과 추적중인 물체의 중심점의 거리를 기준으로 결정한다. 또한 다음 단계에서 바로 표식의 인식을 수 행하는 Part 1에서와는 달리 관심 후보 중에 거짓 후보 를 가려내는 과정을 거치게 된다.
나. 확률 기반 최종 후보의 선택
선택된 관심 후보 중에서 인식 대상과 유사한 형태인 이유로 또는 순간적인 잡음 등의 이유로 잘못 선택된 거짓 후보를 제거하기 위한 방법으로 파티클 필터를 적 용하였다. 각각의 후보에 적용된 파티클 필터에서 얻어 진 파티클들의 평균 위치와 표준 편차를 이용하여 거짓
후보를 선별한다.
파티클 필터는 모션 모델(motion model), 센서 모델 (sensor model), 그리고 신뢰도에 따라 파티클을 재생성 (resampling)하는 과정으로 구성된다. 일반적으로 파티 클 필터의 모션 모델은 현재 시스템 상태를 예측할 수 있는 정보를 이용하여 시스템을 예측한다[9]. 제안한 파 티클 필터는 관심 후보의 움직임을 예측할 수 있는 정 보를 사용하지 않고, 예측 단계(prediction step)에서 예 측되는 파티클들의 위치를 후보의 움직임에 대한 불확 실성만을 반영하여 식 (1)과 같이 결정한다. 는 예측 된 파티클의 현재 위치이고, 은 이전의 파티클 위 치이다. 는 표준정규 분포를 따르는 오차 발생 함수이고, 는 관심 후보의 움직임을 반영한 불확실성 설계 변수이다. 본 연구에서는 을 주어 파 티클의 움직임을 가정하였다. 이는 소나의 시야각이 좁 고 소나의 움직임도 느리기 때문에 소나 영상에 계속 존재하는 물체는 움직임이 느리다고 가정할 수 있기 때 문에 타당하다고 볼 수 있다.
(1)
파티클들의 신뢰도를 얻기 위한 센서 모델(sensor model)은 소나 영상 정보와 실제 물체와의 유사도 정보 를 입력으로 사용한다. 즉, 파티클의 신뢰도는 파티클의 주변에 인공 표식물의 외부 형태(원)와 유사한 물체의 존재여부를 확인하여 결정한다.
표 1은 센서 모델의 의사 코드(pseudo code)이다. 센 서 모델의 입력인 는 현재 입력된 소나 영상의 윤 곽선 영상, 는 이전에 추정된 파티클들의 위치, 그리 고 E는 사전에 주어진 인식 대상체 모델(object model) 로서 소나 영상 평면으로 투영된 인공 표식물의 윤곽선 위치 정보이다. 는 이전에 추정된 파티클 위치를
표 1. 파티클 필터의 센서 모델
Table 1. A sensor model of particle filtering.
그림 6. 파티클 필터의 초기화 및 이동
Fig. 6. Initialization and movement of particle filter.
중심으로 투영된 물체 모델의 위치 정보(N개)이며, ,
는 센서 정보로부터 계산된 확률()과 전체 영상 에 동일하게 주어진 랜덤 확률()간의 가중치이다.
마지막으로 는 센서 모델로부터 계산된 파티클의 최 종 신뢰도 이다. 여기서, 초기 파티클들이 위치는 소나 영상의 전체가 아닌 관심 후보의 주변 영역이다.
그림 6은 연속적인 소나 영상에서 파티클 그룹의 초 기화 및 이동하는 모습의 예를 보여준다. 각 파티클은 표식물의 형태를 찾고 물체의 중앙으로 조밀하게 분포 하게 된다.
이러한 파티클 필터의 표준 편차를 기준으로 후보의 선별을 수행한다. 본 논문에서는 연속적으로 입력되는 영상에 대하여 표준 편차가 물체 모델 크기의 25%를 3 회 넘는 경우 후보에서 제외한다. 반대로 25%이하의 상태를 3회 이상 유지하면 최종 후보로 선택하여 인식 단계로 넘긴다. 위 조건을 만족하지 못하는 경우는 계 속 후보로 남는다. 또한 일반적으로 순간적인 잡음에 의하여 매우 가까운 위치에 2개의 후보가 생성되고 여 기에 각각 파티클 필터가 적용되는 경우가 발생할 수 있다. 그러나 곧 파티클이 자연스럽게 하나의 후보로 이동하는데 이때 남은 후보는 강제로 삭제한다.
다. 선택된 후보의 인식
인식 대상으로 선택된 최종 후보는 외형의 조건을 만 족하는 것으로 판단한 것으로 인식 단계에서는 내부 영 역의 특징을 식별하는 방법을 적용할 수 있다. 본 논문 에서는 형상 행렬에 의한 인식 방법을 적용하였으며[10], 자세한 내용은 본 논문의 Part 1을 참고한다[7]. 앞에서 언급한 바와 같이 외형에 의하여 최종 후보가 선별되었 기 때문에 인식 과정에서 탈락하는 후보가 나올 수 있 으며, 다양한 이유에 의하여 참 후보가 인식되지 못하 는 경우도 발생할 수 있다. 이를 위해 다양한 인식 방법 을 복수로 적용할 수 있다. 인식된 후보는 추적 단계 넘 어간다.
라. 인식된 물체의 추적
물체의 추적은 인식된 물체의 중심점을 기준으로 수 행한다. 다양한 방법을 적용할 수 있으나, 본 연구에서 는 평균-이동(Mean-shift) 방법을 사용하였다[11～12]. 평 균-이동 추적 방법은 입력된 소나 영상과 우리가 추적 하는 물체(표본) 사이의 신뢰도(confidence map) 기반 으로 초기 관심 영역의 크기와 위치를 지정하고 영역의 무게 중심을 연속적으로 계산하여 물체를 추적하도록 한다. 광학 영상에서는 빛에 의한 왜곡을 줄이기 위해 우리가 찾고자하는 물체의 색상(Hue) 히스토그램과 입 력 영상간의 상관관계를 신뢰도로 사용한다. 그러나 소 나 영상은 색상이 없고 1차원 강도(intensity)만을 가지 고 있다. 따라서 본 연구에서는 인공 표식물의 모델과 추적 대상의 초기 위치를 바탕으로 관심영역(ROI)을 지 정하고 해당 관심 영역의 1차원 강도(intensity) 히스토 그램을 물체 표본으로 사용한다.
마. 프레임워크의 개발 환경 구축
그림 7은 프레임워크의 각 단계에서 선택된 후보가 추적 단계까지 진행되는 상황과 각 알고리즘의 처리시 간을 실시간으로 나타내며, 알고리즘의 여러 임계값의 설정이 가능한 개발 환경이다. 이 환경에서 프레임워크 의 성능의 보강을 위한 알고리즘의 추가와 개선, 성능 평가가 가능하다.
그림 7. 제안한 프레임워크의 실시간 모니터링 GUI Fig. 7. GUI for monitoring of the proposed framework.
Ⅲ. 실 험
제안된 프레임워크의 성능을 검증하기 위해 한국 해 양과학기술원 (부설) 선박해양플랜트연구소 내 해양장 비 시험용 수조와 거제도 남해분원 앞바다에서 검증 실 험을 수행하였다.
1. 기초 검증 실험
가. 실험 목적과 설치
본 기초 검증 실험은 제안하는 프레임워크에서 다수 물체 인식, 연속적인 영상에서 실시간 동작과 추적 성 능 등 특정한 상황에 대한 성능 검증을 위해 수조에서 수행하였다. 수조 바닥에 벽돌, 돌기둥, 패턴무늬 물체 와 인식 대상으로 사용할 인공 표식물(그림 5)을 임의 로 배치하였다. 영상 소나와의 거리는 약 2m이며, 인공 표식의 지름은 22cm이다. 영상 소나는 수중 물체의 왼 쪽에서 오른쪽으로 이동하였으며, 하나의 영상은 29도 의 각도와 직선거리 1.25m부터 3.75m 영역으로 만들어 진다.
나. 실험 결과의 분석
그림 8은 실험의 결과를 시간의 흐름에 따라 관찰하 여 주요한 특징을 보이는 영상을 발췌하여 나타낸 것이
그림 8. 정교한 성능 평가를 위한 실내 수조 실험 결과 Fig. 8. Pool test Results of rigorous performance
evaluation.
다. i 영상을 보면 별모양의 물체가 ID.1로 잘못 인식되 고 추적이 시작된다. 그러나 추적 과정의 재인식 과정 을 통해 잘못 인식한 것을 바로잡아, i+1 영상에서는 ID.1로 올바르게 인식하고 있음을 보인다. 이어서 i+1 영상의 오른쪽에 나타나는 ID.3은 i+2에서 동시에 인식, 추적하고 있음을 알 수 있다. i+3 영상에서는 ID.1과 ID.3이 하나의 대상으로 중복 추적되고 있으나 i+4 영 상에서 정상으로 회복되었다. i+4, i+5, i+6에서 계속 나 타나는 새로운 인공 표식에 대하여 인식과 추종을 성공 적으로 수행함을 알 수 있다.
2. 실해역에서의 성능 실험
가. 실험 환경 조건
실제 바다는 인공 표식의 구분이 쉬운 평평한 모래와 뻘 해저면도 있고, 바위와 불규칙한 해저면도 있다. 본 실험에서는 매우 복잡한 환경에 제안한 프레임워크를 적용하여 성능과 결과를 분석하였다. 실제 인공 표식물 의 위치는 인식에 유리한 해저면의 상태를 고려하여 투 입한다. 본 실험은 단순한 인식률의 수치보다는 발생
(a) (b) 그림 9. (a) 영상 소나의 설치
(b) 인공 표식물 설치 중인 잠수부
Fig. 9. (a) Installation of the imaging sonar : DIDSON (b) diver who places artificial landmarks.
그림 10. 해저면 놓인 인공 표식물
Fig. 10. Artificial landmarks placed on sea floor.
그림 11. 실험별 영상 범위의 설정 비교
Fig. 11. Comparison of image range setup in each experiment.
가능한 상황과 원인의 분석에 주안점이 있다.
그림 9에서 보는 바와 같이 팬틸트 장치를 포함한 DIDSON을 수중에 설치하였고, 잠수부가 인공 표식물 을 해저면에 설치하였다. 그림 10은 설치한 인공 표식 물과 주변의 불규칙한 해저면, 바위, 소나 그림자 등을 그대로 볼 수 있도록 4장 이상의 소나 영상을 후처리에 의해 조합한 모자이크 영상이다. 이때 수중의 가시거리 는 0.5m 수준이다.
실험은 소나를 시계 방향과 반시계 방향으로 약 120 도 정도 회전하면서 수행하였으며 그 중에 주요한 특징 이 포함된 4회 데이터를 여기서 분석하였다. 실험 1, 2 는 소나 영상의 거리 설정을 2.5m∼7.5m로 하였고, 실 험 3, 4는 3.33m∼5.83m로 하였다. 이 설정에 대한 비교 는 그림 11에서 볼 수 있다.
나. 인공 표식물의 인식률
4회 데이터의 분석 결과를 표 2에 나타내었다. 각 ID 별 유효 영상은 전체 영상 중 해당 ID를 갖는 인공 표 식물이 포함된 영상의 개수를 의미하고, 검출은 유효
I D
실험 종류
실험 1 실험 2 실험 3 실험 4 총208장 총191장 총119장 총169장
1 유효 영 상
검 출 74
장
0% 69 장
39% 53 장
28% 71 장
56%
인
식 0% 21% 20% 11%
3 유 효 영 상
검 출 90
장
58% 52 장
62% 69 장
53% 69 장
0%
인
식 31% 45% 36% 0%
4 유 효 영 상
검 출 70
장
5% 79 장
24% 45 장
88% 60 장
0%
인
식 5% 24% 88% 0%
표 2. 실해역 실험에서 인공 표식물의 인식률
Table 2. Recognition rate of artificial landmark.
영상 중에서 ID의 인식까지 진행된 비율이며, 인식은 유효 영상 중에서 ID가 올바르게 인식된 비율이다.
넓은 영역의 영상을 사용한 실험 1, 2에 비해 인공 표식물을 확대하여 본 실험 3, 4가 전체적으로 인식률 이 높은 것을 확인할 수 있다. 이는 인공 표식물이 영상 에서 크게 나타나기 때문에 외부 형태 및 내부 ID 인식 이 유리하기 때문에 자연스러운 결과이며 대신 넓게 배 치된 물체를 동시에 인식할 때는 불리할 수밖에 없다.
한편 동일한 영역에 대한 실험 1과 2도 소나의 회전 방향에 따라 인식률 차이가 발생한다. 이러한 이유는 프레임워크의 병렬처리 과정에서 찾을 수 있다. 프레임 워크의 실시간 구현을 위해 단계 별로 최대 5개 후보까 지 동시에 처리하도록 설정하였다. 실험 1에서는 시계 방향으로 회전하는 동안 다양한 유사 후보가 먼저 검출 되어 실제 인공 표식물이 후보로 선택되는 것이 늦어진 반면, 실험 2에서는 그와 반대 현상이 발생하였다. 이것 은 실험 3과 4에서도 동일하게 나타난다. 실험 4의 ID.3, 4에 대한 결과는 수중 생물에 의한 것으로 다음 절에서 분석하기로 한다.
본 프레임워크에서 사용하는 알고리즘은 소나의 아 래보기 각도만을 고려하여 구현하였다. 그러나 실제 움 직이는 수중 로봇에 장착된 소나는 언제나 자세(roll, pitch)의 흔들림이 있다. 이러한 불확실성을 최소화하기 위해서는 인공 표식을 수평으로 해저 면에 장착하는 것 이 유리하다. 실험 1의 ID.1 결과를 보면 인식률이 0%
인 경우가 발생을 하였다. 이는 ID.1이 좌우 방향으로 기울어져 설치되었기 때문에 발생한 결과로 그림 11의 오른쪽 영상에서 확인을 할 수 있다. 확대한 영상을 사 용한 실험 3, 4에서 이 문제가 덜 민감하게 작용을 하였 으나 다른 ID에 비해 인식률은 좋지 못하였다.
다. 사례별 분석
다양한 수중 물체가 존재하는 실해역 실험에서는 그 림 12에서 보는 것과 같이 자연물에 의한 인식의 오류 현상도 나타난다. 그림 12 (a)는 ID.1과 유사한 물체로 서 영상이 이동하는 동안 연속해서 ID.1으로 인식되었 다. 그림 12 (b)는 동일한 지역에 서로 다른 ID를 인식 하는 예로서, 우측 상단 윤곽선 영상을 보면 실제 인공 표식물인 ID.3과 ID.4의 형상과 유사함을 볼 수 있다.
이러한 영상은 사람도 판단하기에도 매우 어렵다고 할 수 있으나 윤곽선 추출 등의 개선이 필요할 것으로 판
(a) (b) 그림 12. 자연 유사물에 의한 인식 오류
: (a) ID.1 (b) ID.3과 ID.4
Fig. 12. Mis-recognition by natural similar objects.
: (a) ID.1 (b) ID.3, ID.4
(a)
(b)
그림 13. 수중 생물의 영향 : (a) 깨끗한 환경 (b) 물고기 에 의한 초음파 그림자
Fig. 13. Effect of underwater creatures.
(a) clear (b) acoustic shadows due to fishes
단된다.
한편, 그림 13은 수중 생물에 의한 인식 오류의 예이 다. 그림 13 (a)는 위에서 언급된 실험 3의 결과 영상이 다. ID.1과 ID.4가 올바르게 인식되고 있는 것을 볼 수 있다. 하지만 그림 13 (b)는 영상 소나 근처로 유영하는 어류와 같은 수중 생물의 영향으로 초음파 그림자가 형 성되어 인식에 실패하였다. 표 2에 실험 4에서 ID.3, 4 는 모두 인식률이 0%으로 나타내고 있다. 그러나 이 경 우는 생물체의 움직임에 따라 정상적인 인식이 가능하 다고 볼 수 있다.
Ⅳ. 결 론
본 논문에서는 수중 영상 소나로 수중 물체 인식하고 추적할 수 있는 프레임워크를 제안하였다. 이 프레임워 크는 현재 소나 영상의 품질을 감안하여 본 논문의 Part 1에서 제안한 인공 표식과 인식 방법을 적용하고 있다. 그러나 실제 복잡한 수중 환경에 적용하기위해 거짓 후보를 효과적으로 제거한 후 인식을 수행하며, 인식된 물체를 추적하며, 모든 과정을 다수의 물체에 대하여 실시간으로 수행하게 해야 한다. 이를 위해 유 사도 기반 관심 후보의 선정, 확률 기반의 최종 후보 선 정, 선택된 후보의 인식, 그리고 인식된 물체의 추적의 총 4단계로 구성되며 각 단계는 실시간으로 병렬 처리 되는 프레임워크를 제안하고, 각 단계의 알고리즘을 구 현하였다.
수조 실험을 통하여 연속 영상에서 다수의 물체 인식 성능, 실시간 인식 및 추적, 추적 중 재 인식 기능 등에 대한 성능을 확인하였다. 또한 실해역 실험을 통하여 복잡한 수중 환경에 놓인 인공 표식을 인식과 추적하는 기능을 확인하였다. 특히 실해역에서 나타난 다양한 현 상에 대한 결과를 확인하고 분석하였다.
제안한 프레임워크는 각 단계가 독립적인 알고리즘 으로 구현되어 있어 검증 및 개선이 용이하다. 앞으로 다양한 실험과 검증 과정을 거치면서 인식 성능, 추적 성능을 보완하고, 인식 가능한 대상을 확대할 수 있을 것으로 기대한다. 수중의 물체 인식과 추적으로부터 얻 은 정보를 통해 수중 로봇의 위치 추정, 항법 및 SLAM 연구에 적용하고자 한다.
REFERENCES
[1] S. C. Yu, A. Akira, S. Weatherwax, B. Collins, and J. K. Yuh, “Development of high-resolution acoustic camera based real-time object recognition system by using autonomous underwater vehicle,” in Proc. IEEE Oceans, pp.1-6, Boston, USA, Sep 2006.
[2] S. L. Maxwell, and N. E. Gove, “The Feasibility of estimating migrating salmon passage rates in turbid rivers using a dual frequency identification sonar (DIDSON),” Alaska Department of Fish and Game Regional Information Report, Mar 2004.
[3] S. C. Yu, “Development of real-time acoustic image recognition system using by autonomous marine vehicle,” Journal of ocean engineering, Vol. 25, No. 1, pp.90-105, Jan 2008.
[4] L. N. Brisson, P. P. Beaujean, and S.
Negahdaripour, “Multiple-aspect Fixed Range Template Matching for the detection and classification of underwater unexploded ordnance in DIDSON sonar images,” in Proc. IEEE Oceans, 20-23 Sept. 2010.
[5] Y. Lee and HT. Choi, “A comparative study on feature extraction methods for environment recognition using underwater acoustic image,” in Proc. The 8th Korea Robotics Society Annual Conference, pp.549-552, South korea, May 2013.
[6] Y. Lee, KM. Han and HT. Choi, “Design and implementation of artificial landmark for underwater acoustic camera,” in Proc.
Information and control symposium, pp.215-216, Seoul, South korea, Sep 2012.
[7] Y. Lee, JH. Lee and HT. Choi, “A Framework of Recognition and Tracking for Underwater Objects based on Sonar Images : Part 1. Design and Recognition of Artificial Landmark considering Characteristics of Sonar Images,”
Journal of the Institute of Electronics and Information Engineers on System and Control, vol. 52, no. 2, Feb 2014.
[8] H. Rhody, “Lecture 10: Hough Circle Transform,” Chester F. Carlson Center for Imaging Science, Rochester Institute of Technology, 2005.
[9] N. Y. Ko, T. G. Kim, and Y. S. Moon, “Particle Filter Approach for Localization of an Underwater Robot Using Time Difference of Arrival”, in Proc. IEEE/MTS Oceans, 2012.
[10]A. Goshtasby, “Description and Discrimination of Planar Shape Using Shape matrices,” IEEE Trans. Pattern Analysis and Machine Intelligence, vol. PAMI-7, no.6, pp.778-743, Nov 1985.
[11] Y. Chen, “Mean Shift, Mode Seeking, and Clustering,” IEEE Trans, Pattern Analysis and Machine Intelligence, vol. 17, no. 8, pp.790-799, Aug 1995.
[12] D. Comaniciu, and P. Meer, “Mean shift: a robust approach toward feature space analysis,”
IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 24, no. 5, pp.603-619, May 2002.
저 자 소 개 이 영 준(정회원)
2009년 충남대학교 메카트로닉스 공학과 학사 졸업.
2014년 충남대학교 메카트로닉스 공학과 석사 졸업.
2011년∼현재 한국해양과학기술원 (부설) 선박해양플랜트연구 소 연구원.
<주관심분야 : 수중로봇, 영상처리, 위치추정, 영 상 소나>
김 태 균(정회원)
2007년 조선대학교 제어계측 공학과 학사 졸업.
2009년 조선대학교 제어계측 공학과 석사 졸업.
2013년 조선대학교 제어계측 공학과 공학박사.
2013년∼현재 한국해양과학기술원 (부설) 선박해양플랜트연구소 박사후 과정.
<주관심분야 : 수중로봇, 이동로봇, 자율주행>
이 지 홍(정회원)
1983년 서울대학교 전자공학과 학사 졸업.
1985년 한국과학기술원 전기 및 전자공학과 석사 졸업.
1991년 한국과학기술원 전기 및 전자공학과 공학박사.
1994년∼현재 충남대학교 메카트로닉스공학과 정교수.
<주관심분야 : 로보틱스, 위치추정, 경로계획>
최 현 택(정회원)-교신저자 1991년 한양대학교 전자공학과 학사 졸업.
1993년 한양대학교 전자공학과 석사 졸업.
2000년 한양대학교 전자공학과(제 어 및 로보틱스)공학박사.
1993년∼1995년 KT 연구개발원 S/W 연구소 전임연구원.
2000년∼2003년 하와이 주립대학교 기계공학과 Post-Doc.
2003년∼현재 한국해양과학기술원(부설) 선박해 양플랜트연구소 책임연구원.
<주관심분야 : 수중로봇, 해양시스템, 강인제어>
