A Study on IMM-PDAF based Sensor Fusion Method for Compensating Lateral Errors of Detected Vehicles Using Radar and Vision Sensors

전체 글

(1)Journal of Institute of Control, Robotics and Systems (2016) 22(8):633-642 http://dx.doi.org/10.5302/J.ICROS.2016.16.0060 ISSN:1976-5622 eISSN:2233-4335. 레이더와 비전 센서를 이용하여 선행차량의 횡방향 운동상태를 보정하기 위한 IMM-PDAF 기반 센서융합 기법 연구 A Study on IMM-PDAF based Sensor Fusion Method for Compensating Lateral Errors of Detected Vehicles Using Radar and Vision Sensors 장 성 우, 강 연 식*. (Sung-woo Jang1 and Yeon-sik Kang2,*) 1. The Department of Secured Smart Electric Vehicle Engineering, Kookmin University 2. Department of Automotive Engineering, Kookmin University. Abstract: It is important for advanced active safety systems and autonomous driving cars to get the accurate estimates of the nearby vehicles in order to increase their safety and performance. This paper proposes a sensor fusion method for radar and vision sensors to accurately estimate the state of the preceding vehicles. In particular, we performed a study on compensating for the lateral state error on automotive radar sensors by using a vision sensor. The proposed method is based on the Interactive Multiple Model(IMM) algorithm, which stochastically integrates the multiple Kalman Filters with the multiple models depending on lateral-compensation mode and radar-single sensor mode. In addition, a Probabilistic Data Association Filter(PDAF) is utilized as a data association method to improve the reliability of the estimates under a cluttered radar environment. A two-step correction method is used in the Kalman filter, which efficiently associates both the radar and vision measurements into single state estimates. Finally, the proposed method is validated through off-line simulations using measurements obtained from a field test in an actual road environment. Keywords: sensor fusion, interacting multiple model, Kalman filter, probabilistic data association filter, automotive radar, vision sensor, tracking, active safety system, autonomous vehicle I. 서론 최근 자동차 업체 및 부품업체들을 중심으로 자율주행차 의 상용화를 위해 많은 연구가 진행 중이다. 또한 지능형 운 전자보조시스템(ADAS) 기술 개발에 많은 관심과 노력이 집 중되고 있다. 미국도로교통안전국(NHTSA)은 자율주행차 발전단계를 크 게 4단계로 분류하고 있으며, ADAS 시스템은 이에 맞춰 발 전하고 있는 상황이다. 자율주행에 대한 단계를 나누는 기준 은 아래와 같이 정의된다. 먼저, 0단계 수준은 자동화 기술이 없는 자동차를 의미하고, 1단계는 특정 자동화 기술이 적용 된 자동차, 2단계는 복합 자동화 기술이 적용된 자동차, 3단계 는 제한적으로 수동 제어를 허용하는 자율주행차, 마지막 4 단계는 운전자의 조작이 필요 없는 완전 자율주행차를 말한 다. 지금까지 1단계 수준인 크루즈 컨트롤(ACC)를 비롯하여 2개 이상의 시스템을 동시에 장착하는 2단계 수준인 전방차 량충돌방지(AEB), 적응형 스마트 크루즈 컨트롤(ASCC) 등의 ADAS 시스템을 탑재한 차량이 출시되어왔고, 최근 들어 고 속도로 등 제한적 구간에서 자율주행을 할 수 있는 3단계 수 준까지 발전하며 완전 자율주행차를 구현하기 위해 많은 자 동차업체들이 노력하고 있다. 자율주행차의 컴포넌트는 크게 세 가지로 분류되는데, 이는 환경 인식 시스템, 자동화 동작 * Corresponding Author Manuscript received April 1, 2016 / revised June 7, 2016 / accepted June 16, 2016 장성우: 국민대학교 대학원 보안-스마트 전기자동차공학과 ([email protected]) 강연식: 국민대학교 자동차공학과([email protected]) ※ 본 연구는 한국연구재단에 의하여 연구되었음(No. A2015-0150). Copyright© ICROS 2016. 시스템, 차량 제어 시스템이다[1,2]. 이 중 3단계 이상 수준의 자율주행을 구현하기 위해서는 무엇보다도 환경인식 시스템 에 대한 기술개발이 시급하다. 현재보다 더 정확하고 빠르게 외부환경을 인식하기 위해서는 센서 모듈 개발과 동시에 측 정범위, 신뢰성, 정밀성 등이 고려된 고급 센싱 기술이 요구 되며, 최근 들어 단일 센서를 사용하기보다 상호보완적 특성 을 갖는 복수 센서 간의 센서 융합을 통해 보다 현실적인 방 법으로 문제를 접근하는 추세이다. 본 논문에서는 레이더 센서와 비전 센서를 이용하여 복잡 한 도로 환경에서 선행차량의 운동상태를 정확히 추정하기 위한 센서 퓨전 기법을 연구하였다. 기존에는 동일한 목표를 위해 레이더 센서를 이용한 칼만필터 기반의 추적연구가 많 이 진행되어왔으며, 특히 선행차량의 운동 패턴을 고려하여 복수 모델 기반 추적알고리즘이 연구된 바 있다[3-5]. 하지만 레이더 센서의 특성상 발생하는 횡방향 거리 오차에 대한 문 제들을 해결하는데 어려움이 존재하였으며, 최근 이를 보완 하고자 센서 퓨전에 대한 많은 연구가 진행되고 있다. E. Richter 외 3명은 이미지 정보와 레이더를 이용하여 UKF (Uncented Kalman Filter)기반 추적연구를 진행하였고, R. Mobus 외 1명은 레이더와 적외선 간 센서 퓨전을 통해 추적의 정확 성을 향상시켰다. 또한 F. Liu 외 2명은 IMMPDAF를 기반으로 레이더와 단안카메라의 센서퓨전에 대해 연구한 바 있다[6-9]. 본 논문에서는 종방향 거리 측정이 정확한 레이더 센서와 횡방향 거리 추정에 유리한 비전 센서의 장점들을 결합하여 주변차량의 상태를 효과적으로 추정하는 알고리즘을 제안하 고 그 효과를 검증하였다. 먼저 각 센서 잡음에 의한 대상의 비정상적인 움직임을 구분하기 위하여 복수 모델로 나누고,.

(2) 634. Sung-wo oo Kang 장 Jang 성 우,and 강 Yeo 연on-sik 식. 모델 확률에 따라 따 각 모델의 의 칼만필터 추정 정치들을 결합하 하는 IMM(Interactivve Multiple Moddel) 알고리즘을 을 사용하였다. 또한 또 레이더의 클러 러터 노이즈와 비전 비 센서의 오인식 오 데이터를 를효 과적으로 제거 거하기 위해서 서 확률론적 데이터 데 결합기법 법인 PDAF(Probabillistic Data Assoociation Filter)를 를 적용하고, 나아 아가 센서의 개수만 만큼 칼만필터의 의 갱신단계를 여러 번 수행하 하는 n-step correctioons기법을 통해 해 각 센서의 오차 오 공분산을 반영 반 하여 추정치에 에 대한 신뢰성을 을 높였다[10]. 제안된 기법 법은 레이더 센서 서, 비전 센서 뿐 아니라 상호 호보 완을 위해 활용 용되는 다양한 센서들 간의 융합에도 융 적용이 이가 능할 것으로 기대되며, 기 나아 아가 첨단 지능형 형 자동차 및 자율 자 주행차를 위한 한 인지기술 개발 발에 도움이 될 것으로 예상된 된다. II. 레이더 센서 서 기반 트랙 관리 관 본 논문에서 서 사용된 센서 서는 차량용 레이더 센서와 단안 단 카메라이다. 먼저 먼 레이더 센서 서는 장거리 측정 측 레이더와 단거 단 리 측정 레이더가 결합된 것으로, 것 대략 20도의 2 측정범위 위를 갖고 약 200m의 장거리 측정 정이 가능한 Lonng Range Radar Data D 와 대략 60도의 의 측정범위를 갖고 약 60m 정도의 단거리 리 측 정이 가능한 Short S Range Raadar Data를 획득 득할 수 있다. 또한 또 차량의 가로축 축을 기준으로 중심 중 위치에 단안 단 카메라를 설치 설 하고, 640×4800 해상도를 갖는 는 영상을 획득 득하여 비전 알고 고리 즘을 적용하였 였다. 1. 레이더 센서 서 측정치에 대한 1차 분류 레이더의 측정치에는 측 추적 적의 대상이 되는 되 차량 이외에 에도 가드레일이나 가도교 등의 정적 시설물들 들로부터 측정된 된 데 이터가 포함된 된다. 따라서 본 논문에서는 자차의 자 속도 정보 보와 레이더로부터 얻은 측정치의 의 속도 상태 정보를 정 이용하여 여 1 차적으로 주변 변 시설물들로부 부터 온 측정치를 제거하고, 필터 필 링된 데이터를 를 기반으로 트랙관리기를 트 통 추적할 대상 통해 상을 결정한다. 데이터 분류 류기는 세 가지 종류로 분류하 하며, 이는 분류되 되지 않은 데이터, 정적 물체, 동적 동 물체로 나눈 눈다. 먼저 기준 준이 되는 정적 물체에 대한 속도 도 임계치를 정하고, 자차의 속도 속 와 레이더에 측정된 측 속도 상태 상 합의 절대값 값을 임계치와 비교 비. 그림 림 2. 트랙 생성 과정. Fig g. 2. Track Initiaator Process.. 그림 림 3. 트랙의 생명주기. Fig g. 3. Track Life Cycle. 하여 여 임계치보다 작은 경우 정적 적 물체로, 임계 계치보다 큰 경 우 동적 물체로 데이터를 데 구분한 한다. 즉, 동적 물체는 물 절대 속 도가 가 임계치보다 큰 값을 갖는 주 주변의 모든 물체를 물 의미한다 다. 2. 트랙관리기 센서에 센 의하여 관측되는 대상 상들에 대한 정확 확한 정보를 추 출하 하기 위하여 그림 그 2에서와 같 같은 트랙 생성과정을 거치게 게 된다 다. 트랙은 추적 적을 위해 연속적 적으로 유사한 위치에 들어온 온 측정 정치들을 대상으 으로 생성되는 임시 타깃을 의미하며, 의 획득 득 한 측정치로부터 생성된 트랙은 은 그들의 생명주 주기에 따라 세 가지 지 트랙타입으로 로 결정된다. 트 트랙 타입으로는 는 처음 유효 측 정값 값이 인식되었을 을 때 생성하는 는 임시 트랙(ten ntative track), 이 전 시간에서 생성된 임시 트랙이 이 현재 시간에 유효 측정값으 으 로 갱신되었을 때 유지되는 예비 비 트랙(prelimin nary track), 최종 종 적으 으로 타깃임을 확정하는 확정 트랙(confirmed d track)로 분류 류 된다 다. 또한 트랙생 생성과정을 통해 해 확정된 타깃 깃의 생명주기는 는 그림 림 3에서와 같이 같 각 트랙에 종속된 검출 벡터(Detectionn Vecctor)에 의해 결정되며, 트랙 초 초기화(track inittiation), 트랙 유 지((track maintenannce), 트랙 삭제((track deletion)로 로 이뤄져 있다.. 이때 때, 검출벡터는 일정 주기 안 안에 몇 번 측정 정치가 갱신되었 었 는지 지를 판별하며, 검출벡터 내 갱 갱신된 횟수를 체크하여 트랙 랙 의 상태를 결정한 한다. 대표적인 대 트랙관 관리 기법으로 앞서 적용한 검출 벡터로부 부 터 검출 횟수의 임계치를 임 두어 트 트랙을 관리하는 는 M/N logic과,, 확률 률적으로 트랙의 의 가중치를 주 주는 방식의 점수 수 기반 접근법 법 (sco ore based approoach) 등이 있는 는데, 본 논문에서 서는 연산 속도 도 를 고려하여 M/N logic방법을 사 사용하였다.. 그림 1. 레이더 더 측정 데이터(왼쪽), 분류된 데이터(오른쪽) 데 . Fig. 1. Radar Raw R Data(left), Classified C Data(riight).. III. 영상 기반 차량 검 검출 및 거리 추정 추 이번 이 장에서는 영상으로부터 차량을 검출하 하는 비전 알고 고 리즘 즘을 소개한다. 여기서 검출한 한 차량의 종/횡방 방향 거리 추정 정 값을 을 센서퓨전에서 서의 비전 센서 측정치로 활용 용하였다. 1. 컴퓨터 비전을 을 이용한 차량검 검출 단안 단 카메라 영상을 영 이용하여 여 차량을 검출하 하는 과정은 크 게 두 가지로 나눌 눌 수 있다. 먼저 저 학습된 데이 이터를 이용하여 여 검출 출하고자 하는 차량의 후보영역을 찾고, 차량 량의 에지, 명암 암.

(3) A Study on레이더와 IMM-PDAF bas sed Sensor Fusio on Method for Co ompensating De etected Vehicles s Using Radar an nd... 비전 센 센서를 이용하여 선행차량의 횡방향 향 운동상태를La 보정하기 보teral Errors 위한ofIMM M-PDAF 기반 센 센서융합 기법 연구 구. 그림 4. 비전에 에 의한 차량 검출(왼쪽), 검 haar-llike 분류기의 사각 사 형 특징 징점 예시(오른 른쪽). Fig. 4. Detecteed Vehicles by viision(left), Exampple rectangle feattures (right).. 과 그림 5. 검출 과정. Fig. 5. Detectiion Process. 등을 이용하여 여 차량임을 확정하였다. 확 차량 량 학습 데이터로 로는 “CBCL CAR DATBASE, D MIT T”를 활용하였고 고, 차량 검출을 을위 해 haar-like 특징 특 분류기를 사용하였다. 먼저 먼 haar-like 특징 특 분류기는 약 분류기로서 분 관심 심 후보영역인 sub-window를 일정 일 비율로 가변하 하며 이미지 전체 체를 검사하고 픽셀의 명암 구분 구 을 통해 haar--like 특징를 추출한다[11]. 추 또 약 분류기에 또한 에서 추출된 특징들 들을 조합하여 여 강 분류기 기를 만들기 위해 위 Adaboost 기법 법 중 검출 속도 도가 빠른 Cascaade 기법을 활용 용하 였고, 이를 통해 통 차량을 분류 류하였다[12,13]. 마지막으로 분류 분 된 차량 내 일정 일 크기 이하의 의 가로방향 에지가 에 임계치 이상 이 발견되는 경우 우 최종적으로 차량으로 차 검출하 하였다. IV V. IMM-PDAF 기반 센서 퓨전 전 기법 차량용 레이 이더는 일반적으 으로 종방향 거리에 거 대해서는 는 정 확한 측정값을 을 가지고 있고 또한 도플러 효과를 효 이용하여 여종 방향 속도정보 보를 알 수 있으 으므로 이를 이용 용하여 선행차량 량의 상태 벡터를 추정하는 추 경우 종방향 거리 및 속도에 대해서 서는 정확한 추정이 이 가능하다. 그러나 그 선행차량 량과의 거리가 멀어 멀 질수록 분해능 능(angle resolutioon)에 의한 오차 차가 크게 발생하 하게 되고 거리가 가깝더라도 레이더 레 반사위치 치가 선행차량 뒷면 뒷 에 불특정하게 게 분포할 수 있기 있 때문에 큰 횡방향 오차가 가발 생하게 된다. 반면 단안 카메 메라의 경우 양안 양 카메라와 달리 달 종방향 거리정 정보를 정확하게 게 알기 어렵지만 만 위에 설명한 한차 량검출기법을 통하여 횡방향 향 거리에 대해 해서는 비교적 정확 정 한 정보를 제공할 수 있는 것으로 알려져 져 있다. 따라서 서 본 논문에서는 레이더와 레 상보적 적 특성을 갖는 단안 카메라를 를사 용하였고, 앞서 서 소개한 컴퓨 퓨터 비전 알고리 리즘을 활용하였 였다. 또한 횡방향 오차에 의한 움직임이 움 작은 모델과 큰 모델 델로 구성된 두 개의 의 운동학 모델 델을 구성하여, 첫 번째 모델에 에는 레이더와 비전 전 센서의 데이 이터를, 두 번째 째 모델에는 레이 이더 단일 센서 데이터를 사용하도 도록 하였다. 또한 또 두 모델의 의 추 정치로부터 IM MM기법을 적용 용하여 최종 상태 상 추정값을 도출 도. 635 5. 그림 림 6. 선행차량의 의 직교 좌표계. Fig g. 6. Cartesian Coordinate C of forw ward vehicle. 하였 였고, 이를 통해 해 레이더 단일 센서만 사용할 할 경우 발생하 하 는 횡방향 오차를 를 보정하였다. 1. 운동학 모델링 선행차량의 선 상태 태를 추정할 때 추적 알고리즘에서는 추정 정 하고 고자 하는 실제 제 대상을 타깃이 이라 하며, 예측 측과 갱신 단계 계 를 재귀적으로 수행하는 수 칼만필 필터를 통해 타깃 깃의 상태 추정 정 값을 을 도출한다. 이때 이 선행차량의 의 과거 상태로 로부터 현재상태 태 를 예측하는 예측 측단계를 수행하 하기 위해서 동역학 동 모델링이 이 필요 요하다. 타깃의 상태벡터인 X X는 종방향 상대 대위치, 상대속 속 도, 상대가속도, 그리고 그 횡방향 상 상대위치, 상대속도, 상대가속 속 도로 로 구성하였고, 그림 6과 같이 이 센서가 설치된 된 차량 중심을 을 기준 준으로 선행차량 량의 직각좌표 표계가 정의된다 다[14]. 상태공간 간 (Staate Space)방정식 식으로 표현한 이산시간 동역 역학 모델 식은 은 다음 음 식 (1)와 같다 다. 1 , w(k)~N(0 0,௪ଶ ). (1)). k는 k 이산시간에서의 k번째 주 주기를 의미하며 은 k번째 째 주기 기에서의 상태변 변수벡터이다. 는 평균이 이 0, 분산이 σଶ୵ 인 가우시안 분포 포를 따르는 프로 로세스 노이즈를 를 표현한 것으 으 로 w(k)~N(0,௪ଶ )로 로 표기하였다. 또한 상태천이행렬인 A와 입 력행 행렬 B는 식 (2), 식 (3)와 같다 다. 1 ∆

(4) 0 1 0 0 0 0 0 0. 0 0. ∆ ଶ /2 0 0 ∆ 0 0 1 0 0 0 1 ∆ 0 0 1 0 0 0. 0 0 0 ଶ ∆ /2 2 ∆ 1 . 0 ∆ ଶ /2

(5) 0 ∆. 0 B 1 ଶ ∆ /2 0 0 ∆ . 0 1 . (2)). (3)). 상태변수 상 X로부 부터 레이더 센서 서의 측정치들을 을 출력하기 위 한 선행차량의 측정모델은 측 식 (44)과 같다. , v(k)~N(0,௩ଶ ). (4)).

(6) 장 성 우, 강 연 식. 636. 여기서, 는 는 레이더 센서로부터 측정 가능한 가 상태값에 에대 한 측정치 벡터 터이다. 는 는 평균이 0, 분산 산이 ߪ௩ଶ 인 가우 우시 안 분포를 따르 르는 측정 노이 이즈를 표현한 것으로 것 v(k)~N(00,ߪ௩ଶ ) 로 표기하였다 다. 측정 모델의 행렬 C는 측정 정 센서에 따라 라달 라지며, 본 논문에서는 논 레이 이더와 비전 두 가지 센서에 대해 대 ௥ , ௩ 행렬을 을 사용하였다. 레이더 센서는 x방향 상대위치 치와 상대속도, y방향 향 상대위치를 측정할 수 있기 기 때문에 레이더 더측 정 모델의 행렬 렬 ௥ 는 식 (5)과 과 같이 정의하였 였다. 또한 비전 전센 서는 x, y방향 향 상대 위치만 측정 측 가능하기 때문에, 비전 측정 측 모델의 행렬 ௩ 은 식 (6)과 같이 같 정의하였다 다. 이들을 구분하 하는 조건은 4-3장 레이더와 레 비전 데이터 갱신조건 건에서 설명한다 다. 1 ࢘ 0 0 1 ࢜ 0 0. 00 01 00 00 01 00. 0 0 1 0 0 0. 0 0 0 0 0 0. 0 0 0 0 0 0. (5). (6). 본 논문에서 서는 측정 노이 이즈를 레이더와 와 카메라 센서 서 특 성에 맞게 각각 각 설정하고, 프로세스 노이즈를 통해 움직 직임 을 구분한 두 가지 운동학 모델을 두었다 다. 각 운동학 모델 모 에 따라 횡뱡항 항 보상 모드와 와 레이더 센서 모드로 정의하 하고, 모드로 구분된 된 두 개의 복수 수 칼만필터를 구성하였다. 본 논 문의 목적에 맞게 모드는 횡가속도의 횡 증가 가량으로 구분하 하였 고, 식 (7)로 구성된 프로세 세스 노이즈 w(kk)의 공분산인 Q(k) 를 다르게 하였 였다. 앞서 정의 의한 모드 중 횡방향 횡 보상 모드 드는 레이더와 비전 전 센서를 활용한 한 모드로, 프로 로세스 노이즈의 의횡 방향에 대한 오차 오 bias를 작게 게 운동학 모델 델을 설계하고, 레이 레 더 센서 모드는 는 레이더만을 이용한 모드로 로, 오차 bias를 크게 크 설계하였다. 다시 말해, 횡방향 보상 모드는 레이더와 비전의 유효 효한 측정치를 혼합 합하여 갱신하기 기 때문에 불확 확실한 횡가속도 도 변 화가 적다고 가정하고 모델 델의 를 작은 작 값으로 설정 정한 반면, 레이더 센서 모드는 레이더의 횡방 방향 상태 측정치 치의 부정확성으로 횡방향 추정오 오차가 발생하기 기 때문에 이를 를 고 려하여 모델의 의 를 상대 대적으로 크게 설정하였다. 설 레이 이더 센서의 종방향 향 위치는 비교적 적 정확하기 때문에 때 레이더 센서 센 를 전적으로 신뢰하였고, 신 이에 따라 종가속 속도에 대해서는 는두 모델에 같은 값을 사용하였 였다. 각 모드는 는 뒤에서 설명 명할 IMM 기법에서 서 모델 간 확률 률 결합을 통해 해 연관되어 하나 나의 최종 상태를 추정하게 추 된다. ∆4. 43 ∆ 3 ∆2. 2 0. 0. 0

(7). ∆3 3 ∆2 2 ∆ 0 0 0. ∆ 2 2 0. 0. ∆ 0. 0. 0. 0. 1. ∆4. ∆3. 0 4 ∆3 0 3 2 0 ∆. 3 ∆2. 2. 2 ∆. ‫ې‬ ‫ۑ‬ 0‫ۑ‬ ‫ۑ‬ 0‫ۑ‬ ‫ ۑ‬ଶ ߪ௪ ∆2 ‫ۑ‬ ‫ۑ‬ 2 ‫ۑ‬ ∆ ‫ۑ‬ ‫ۑ‬ ‫ۑ‬ 1 ‫ے‬ 0. (7). 림 7. PDAF를 이용한 이 확률기반 반 측정치 갱신. 그림 Fig g. 7. Measuremeent update using P PDAF. 2. Probabilisticc Data Associaation Filter 레이더 레 센서는 전자기파 신호 호를 이용하는데, 그 원리는 일 반적 적으로 전송 신호와 신 에코 신호 호의 차이를 통해 통 얻은 비트 트 주파 파수와 도플러 주파수를 통해 해 물체의 거리와 와 속도를 도출 출 하게 게 된다. 이러한 한 과정에서 검 검출하고자 하는 는 대상 주변에 에 발생 생하는 전파 신호간섭, 신 사이드 드 롭 혹은 비정 정상적인 움직임 임 등에 에 의한 클러터 터 노이즈가 발생 생하고, 이러한 불확실한 데이 이 터에 에 대한 신뢰성 성을 판별하기 어 어렵다. 따라서 클러터 환경에 에 서 대상 타깃을 정확하게 추정 정하기 위해 본 논문에서는 는 PDAF기법을 사용 용하였다[15,16]. 이는 기존의 칼만필터 구조 조 를 그대로 유지하 하면서도 센서로 로부터의 얻은 측정치들을 확 률 기반으로 결합 합시켜 최종 상 상태를 추정하도 도록 한다. 상태 태 추정 정을 위해 사용 용된 칼만필터는 는 앞서 정의한 동역학 모델을 을 기반 반으로 선행차량 량의 상태를 예 예측하고 센서로 로부터 측정값이 이 계측 측되면 측정모델 델을 이용하여 갱신단계를 수행하게 수 된다.. 이 때, 그림 7에서 서와 같이 갱신 신단계에서 센서 서들로부터 다수 수 의 유효한 측정치 치가 측정되거나 나 클러터 노이즈가 발생하는 는 경우 우 하나의 타깃 깃 주변에 여러 개의 측정값이 이 계측된다. 이 때 PDAF는 예측치 치를 기준으로 일정한 거리를 를 갖는 게이트 트 를 먼저 설정하고 고 예측치와 측 측정값의 마할라 라노비스 거리가 가 게이 이트 내에 포함 함되는 데이터들 들을 확률적으로 로 결합하여 칼 만필 필터의 갱신에 사용한다. 게이 이트 내 확률적 데이터 결합에 에 대한 한 수식적인 내용은 내 이어지는 는 4-4장 IMM-P PDAF 알고리즘 즘 에서 서 설명한다. 3. 레이더와 비전 데이터 갱신 조 조건 앞에서 앞 레이더 센서와 비전 센 센서의 상보적 특성에 특 대해 소 개한 한 바 있다. 레이 이더 센서는 횡 횡방향에 대해 취약한 취 반면, 단 안카 카메라만을 이용 용하여 차량을 검출하는 경우 우 종방향에 대 한 에러가 크고 외부 외 환경에 따라 라 차량이 미검 검출되거나 오인 인 식 가능성이 존재 재한다. 따라서 종 종방향 위치에 대한 신뢰성이 이 높고 고 타깃 인식률 률이 높은 레이더 더 센서 측정치는 는 임시 트랙을 을 생성 성 및 추정치 갱신에 활용되 되고, 비전 데이터의 측정치는 는 아래 래 식 (8)을 통해 해 결정된 갱신 신 여부에 따라 추정치 갱신에 에 사용 용된다. 식 (8)에 에서 ௩௜௦௜௢௡ 는 는 비전에서 검출된 검 측정치이 이 | 1는 동역학 모델에 의한 예측치를 고 를, γ 는 비전 센 서의 의 사용 여부를 를, σ୶ 는 비전 센 센서의 횡방향 오차 표준편차 차 를, v௠௔௫ 는 타깃의 의 최대 속도를 를 나타낸다. 또한 또 식 (9)의 ߝ 는 비전 데이터를 를 갱신하기 위 위한 거리 임계값 값으로서, 단위 위 시간 간당 타깃이 최대로 이동할 할 수 있는 거리를 거 고려한 한.

(8) 레이더와 비전 센서를 센 이용하여 선행차량의 선 횡방향 향 운동상태를 보정하기 보 위한 IMM M-PDAF 기반 센 센서융합 기법 연구 구. residual 값이 상수 상 d 이하가 되도록 설정하 하였다. 이처럼 만약 만 비전 센서에 의해 의 검출된 선행차량이 선 유효 효영역 내 포함되 되는 경우, 예측치로 로부터 측정치들 들의 거리가 얼마나 얼 가까운지 지에 따라 측정치 갱신여부를 갱 판단 단하는 Nearest Neighborhood N (N (NN) 방식을 통해 레이더 레 센서와 비전 센서 중 사용할 센서의 의측 정치를 결정한 한다. 하지만 이때 센서들에 대해 대 선택적으로 로측 정 데이터를 한번만 한 갱신하는 는 경우 단일 센서에 센 대한 의존 존도 가 커지는 경향 향이 발생한다. 따라서 본 논문 문에서는 효과적 적인 센서 융합을 위해 위 칼만필터의 의 갱신단계를 두 단계로 나누 누어 수행함으로써 하나의 센서에 에 의존되지 않도록 않 설계하였 였다. 또한 이어지는 는 장에서 IMM M 알고리즘을 기반으로 기 복수모 모델 에 대한 확률 결합을 통해 각 모델의 확률에 따라 센서 의존 의 도가 결정되도 도록 설계하였다 다.. . 1 0. If ௩௜௦௜௢௡ | 1 . ௩௜௦௜௢௡

(9) | 1 ௥௔ௗ௔௥ | 1 . . .

(10). ௫ ௠௔௫ . (9). 4. IMM-PDAF 알고리즘 알 앞서 설명한 한 바와 같이 본 논문에서는 차량의 차 폭 및 클러 클 터 노이즈에 의한 의 레이더 센서의 센 횡방향 부정확성으로 부 인 인한 모델 불일치 문제에 문 대응하기 기 위해서 대상 상 타깃의 횡방향 향모 션들에 대해 모델 모 별로 모드 드를 분류하였다 다. 각 모드는 레이 레 더와 비전 센서 서를 모두 활용 용하여 횡방향 오차가 오 작은 횡방 방향 보정 모드와 레이더 레 센서만을 을 사용하여 횡방향 오차가 큰 레 이더 센서 모드 드로 구분되며, 각각에 대한 칼만필터를 칼 설계 계하 였다. 이번 장에서는 장 각 모델 델들을 효과적으 으로 연관시키기 기위 한 IMM 기법과 PDAF기법을 을 결합한 IMM M-PDAF를 통해 해 최 종 상태 추정치 치를 얻는 과정을 소개한다[6--8]. IMM-PDAF의 의 사이클은 그림 그 8에서와 같이 같 네 개의 단계 단 로 구성되어있 있다[4,5,17]. 4.1 Interacction of the estimates e 1,, 먼저 각 모델에 모 따른 칼만 만 필터의 초기 기값( ௝ 1| 0,1, … , )은 과거 과 상태 추정값 값(. 1, 0,1, … , ) 을 혼합하여 도출한다. 도 j는 선택 선 모델에 대한 모드를, N은 은모 델의 개수를 의미하며, 의 ‘j=0’이 이면 횡방향 보정 보 모드이고, ‘j=1’ ‘j 이면 레이더 센서 모드이다 다. 또한 1| 1는 1번 째 측정치로부 부터의 1번째 째 상태 추정값 값을 의미한다. 전 확률 정리 리를 이용하여 혼합 초기 상태 태를 계산하는 식은 식 다음 식 (10), 식 (11)과 같다 다. ఫ ‫ כ‬. 1

(11) . 1 ௝ , ௞ି ே 1| 1 ௛ Σ௛ୀ଴ | 1. 1 Σ 1| 1. 1. 1 . . 1 . 1 |௝ 1. . (10). (11)). 기서,

(12) 은 k번째 시간에서 서 j번째 모델이 이 사실인 사건 건 여기 을 의미하며, 는 1번째 째 시간까지의 누적 관측치를 를 한다. 또한 | 1 는 모델 델간 혼합확률로 로서 현재 사이 이 말한. 클에 에서 j번째 모델 델이 결정되었을 을 때, 이전 사이 이클의 모델이 h 번째 째 모델일 확률 률을 말한다. 혼합 합확률은 다음 식 (12)와 같이 이 정의 의한다. ିଵ | 1 1

(13) , .

(14)

(15) . . (8). 637 7. 1 ,

(16) 1 ௞ିଵ | 1 1 . (12)). Σ . 1. 위 식에서 은 이전 모델 hh에서 현재 모델 델 j로의 천이확 확 률((transition probabbility)이며, 는 현재 모델이 모델 h일 확률 률 이다 다. c는 정규화 상수로 상 가능한 혼합확률들의 합이다. 4.2 4 Model Condditional Filteering using PD DAF 두 번째 단계에서는 앞서 정의 의한 동역학 모델 델에 의해 얻어 어 진 각 모델의 예측 측값과 레이더 및 비전 센서의 의 측정치로부터 터 선행 행차량의 상태를 를 추정하는 단 단계이다. 먼저 예측 단계에서 서 의 예측 상태값과 과 예측 오차 공 공분산은 아래 식 (13), 식 (14)) 을 통해 각각 정의 의된다. | 1

(17) , . 1. (13)). . | 1

(18) , ௞ିଵ | 1 . 1 . (14)). 다음은 다 갱신단계 계를 수행하는 과정으로, 레이 이더만 사용하는 는 모델 델은 기존 칼만 만필터와 같이 한 한번 갱신하고 두 개의 센서를 를 사용 용한 모델은 센서의 센 효율적인 결합을 위해 두 단계에 걸쳐 쳐 갱신 신을 수행하도록 록 하였다. 앞으 으로 아래 식들 들에서의 아래첨 첨 자 j1은 j번째 모델 델에서 센서1(레 레이더 센서)에 의한 갱신 1단 단 계를 를, j2는 센서2((비전 센서)에 의 의한 갱신 2단계를 의미한다.. 먼저 저 갱신 1단계에 에서는 레이더 센서 측정치를 를 이용한 갱신 신 단계 계로서, PDAF기 기법을 활용하였 였으며 유효 영역인 게이트를 를 선정 정하기 위해서 다음 식 (15)을 을 이용하였다.

(19) . (15)). | 1 1 . (16)). !_ | 1. 그림 8. IMM-P PDAF 알고리즘 즘. Fig. 8. Schem matic of IMM-PDA AF method.. ! _ | 1. . !_. | 1. (17)).

(20) Sung-woo Kang 장 Jang 성 우,and 강 Yeon-sik 연식. 638. 여기서, g는 카이제곱분포(chi-square distribution)에서 얻은 경 계값이고, 는 j모델에서 사용된 센서에 의해 결정되는 측정 노이즈 공분산을, 는 레이더 센서에서 측정된 i번 는 갱신 1단계에서 j모델에 대 째 측정치를, 식 (17)의 . 식 (22)와 같은 사후확률을 도출하였다.

(21) . 한 i번째 측정치와 예측 측정치 | 1 을 통해 얻은 residual을 의미한다. 또한 갱신 1단계에서 j번째 모델의 측정 이노베이션 공분산 는 식 (16)와 같이 정의된다. 유효영역 안에 들어온 레이더 센서 측정치들에 대한 조건 부 확률은 다음 식 (18), 식 (19), 식 (20)를 통해서 구할 수 있다[16].

(22) 는 i번째 유효한 측정치 z 가 실제 타깃으 로부터 측정된 사건이고,

(23) 는 그 측정치가 실제 타깃이 아닌 클러터로부터 발생하는 사건이다. 이에 따라 식 (18), 식 (21), 식 (22)에서 는 모든 측정치에 대해

(24) 가 발 생할 확률을 의미하고, 는 모든 측정치에 대해

(25) 가 발생할 확률을 의미한다..

(26)

(27) 1. . .

(28) (18). 1 , 0 V୨ଵ k

(29) ௡ሺ௞ሻ. . , ! 1, … , . % ,-. ; 0, 0 b 1 2 3 4. (22). . 6 | 1, 7 | 1) 마지막으로, 앞서 계산한 예측치(5 )을 기반으로 식 (23), 와 측정 가중치( ), residual(. 6 | )과 식 (24)을 통해 갱신 1단계에서의 상태 추정값(5 8 |)을 도출한다. 상태 오차 공분산(7. . Σ 9:5

(30) , ;:

(31) ; . 8 | 7 7 | 1 ( 1 :7 | 1 < < ; . ( < &Σ . 위 식에서 갱신 1단계의 칼만 게인 < 는 식 (25)을, 혼 합 residual 는 식 (26)을 통해 계산된다.. . . 다음으로 식 (20)는 사전확률을 나타낸 것으로, 측정값이 실제 타깃으로부터 사상되었을 확률을 말한다. 이는 미리 정 해진 값으로부터 얻어지며 하나의 타깃에서 하나의 측정치 만 유효하다고 가정했기 때문에 게이트 내 유효한 측정치가 여러 개일 경우, 차량으로부터 사상된 측정치일 확률을 유효 측정치의 개수만큼 나누어 주어 동일하게 부여하였다. 또한 유효한 측정치가 없는 경우, 게이트 내 차량이 검출될 여사 건의 확률을 반영하였다.

(32) (20). 위 식들에서 구한 우도함수와 사전확률을 통해 아래 식 (21),. (24). 4< . k Σ . (19). (23). 6 | 1 ( < Σ : ; 5. < 7 1= . V k g π . 1 , ! 1, … , $ 1 , ! 0. . = ' &' ( Σ e k+. .

(33) , , . . (21).

(34) ,. 6 | Σ 5. 식 (18)에서와 같이 측정치들의 가중치에 해당하는 사후확 률(posterior probability, )을 도출하기 위해서는 사전확률 (priori probability)과 우도함수(likelihood function)가 필요하다. 수식의 이해를 위해 표기법은 다음과 같이 정의한다. c는 정 규화 상수이고, 는 유효영역 안에 측정치가 들어올 확률, 는 측정치가 센서에 의해 검출될 확률이다. 먼저 우도함수를 구하는 식은 식 (19)와 같이 정의된다. 이 는 유효부피 내에서 측정치들이 발생할 확률을 정규분포를 통해 도출한 것이다. 는 k번째 측정치들의 개수이고, V 는 앞서 구한 유효영역의 부피를 의미한다.. . , ! 1, … , . 6 | 9:5 ; 5.

(35) , ,

(36) . ିଵ.

(37) ; ௜ | 1

(38) , ௝ଵ

(39) ீ ௜ , 1, … ,

(40) V୨ଵ k

(41) ௡ሺ௞ሻିଵ . . . = % &' ( Σ e k+. (25) (26). 만약 횡방향 보정 모드인 경우, 레이더 센서와 비전 센서 두 개의 센서의 상태 오차 특성을 모두 고려해야 하므로 두 단 계에 걸쳐 갱신을 수행한다. 따라서 갱신 1단계에서 구한 센 서1(레이더 센서)을 이용한 추정값을 기반으로 비전 센서의 측정치를 갱신하기 위한 갱신 2단계를 수행한다. 즉, 갱신 2 단계에서는 비전 센서 측정치를 이용하여 갱신을 수행하는 단계로서, 다음 식 (27-29)에서는 센서2(비전 센서)에 맞게 새 로운 게이트 선정 및 칼만게인을 연산하고, 보정된 최종 상 태 추정값을 도출한다[10]. > ? . (27). |= =7 ( . (28).

(42) ̂ j |

(43). . ‫ݔ‬. . ‫ݎݎ‬. ௜

(44) .

(45). |

(46) ௝ଶ ‫ ! ̂ ݕ‬, 0

(47)

(48)

(49) ". (29).

(50) ̂ |

(51). 식 (27)에서의 게이트 선정 방식은 앞서 소개한 바와 동일 하며, 식 (29)에 의해서 비전 센서로부터 유효한 데이터가 들.

(52) A Study on레이더와 IMM-PDAF based Sensor Fusion Method for Compensating Errors Detected Vehicles Using Radar and... 비전 센서를 이용하여 선행차량의 횡방향 운동상태를Lateral 보정하기 위한ofIMM-PDAF 기반 센서융합 기법 연구 ) 어오는 경우 비전의 횡방향 측정치를 반영한 residual (. 은. 를 계산한다. 여기서, 비전 센서에서 획득한 i번째 측정치이다. 또한 갱신 2단계에서는 식 (28)에서와 같이 갱신 8 |)으로부터 측정 1단계에서 추정한 상태 오차 공분산(7 이노베이션 공분산( )을 도출하였고, 이들을 이용하여 식 (30)에서와 같이 보정된 칼만 게인(< )을 도출하였다. |= < 7 . (30). 그리고 최종적으로 식 (31), 식 (32)을 통해 갱신 2단계의 8 |)을 6 |)과 상태 오차 공분산(7 최종 상태 추정값(5 추정하였다. 6 | 9:5 ; 5 6 | ( < 5 | 8 | 7 7 < < . (31) (32). 4.3 Model Probability updates 세 번째 단계에서는 각 모델들에 대한 모델 확률(@ )과 우도함수(likelihood function, A )를 계산한다. 이는 다음 식 (33), 식 (34)와 같다. @ . A @B ! Σ A @B . A :' ( Σ % ;. (33). (34). 4.4 Combination of the estimates 앞서 설명한 세 가지 단계에서 각 모델마다의 상태 추정치, 오차 공분산, 모델확률, 우도함수를 구하였다. 이를 통해 마 지막 단계에서는 식 (35), 식 (36)을 이용하여 최종 상태 추정 6|과 최종 오차 공분산 7|을 도출한다. 값5 6| 9:5 ; 5 ! 6 |@ 5 Σ. (35). 7| C.:5| ; 6|;:5 5 6|; 4 92:5 5 ! 6 | D7 | ( E5 Σ. (36). 6| E5 6 | 5 6| + @ 5. V. 실험 검증 본 논문에서는 실제 도로 주행 환경에서 측정된 차량용 레이더 데이터와 단안 카메라 영상 데이터를 이용한 off-line 시뮬레이션을 통해 제안한 추적 및 센서 퓨전 기법을 검증 하였다. 데이터 수집을 위하여 실험 차량으로부터 CAN 통신 을 이용하여 레이더 측정값과 자차량 정보를 동기화 시켜 저장하였다. 비전 알고리즘의 경우 카메라의 차량에 장착된 위치와 이미지 센서 스펙을 고려하였으며 검출된 차폭 정보 를 활용하여 종방향 좌표를 매핑하였다.. 639. 표 1. 실험 파라미터. Table 1. Parameters used in Experiments. Transition Probability Standard Deviation (process noise for Radar based Model) Standard Deviation (process noise for Sensor Fusion Model) Standard Deviation (measurement noise for Radar based Model) Standard Deviation (measurement noise for Sensor Fusion Model). 0.95 0.05 + F& 0.05 0.95 w" 0.01, K 1 w" 0.01, K 0.01 v" 0.6, . 1.5, . 0.2 v" 1.5, . 0.6, . 0.2. 실험 시나리오는 선행차량이 직진 주행하는 경우와 차선 변경을 하는 경우, 두 가지 시나리오에 대해 선행차량의 상 태를 추정하였고, 센서 퓨전 모델과 레이더 센서만을 이용한 모델에 대한 선행차량의 상태 추정값 비교 그래프를 분석하 여 성능을 검증하였다. 또한 횡방향 오차에 따른 각 모델의 확률을 비교하여 센서 퓨전 모델의 타당성을 검증하였다. 표 1은 주요 실험 파라미터들을 보여준다. 먼저 Markov chain에 의거하여 기존에 선택된 모델이 유지될 확률을 95%, 모델이 천이될 확률을 5%으로 설정하였다. 또한 레이더의 횡뱡향 잡음을 고려하여 횡가속도에 대한 오차 표준편차를 횡방향 움직임이 큰 레이더 센서 기반 모델은 1m/s 로, 횡 방향 움직임이 작은 퓨전 모델은 0.01m/s 로 설정하여 횡가 속도의 변화에 따라 모델을 구분하고, 센서들의 고유 오차 특성을 고려하여 측정 노이즈들을 아래 표와 같이 각각 반영 하였다. 마지막으로 종가속도에 대해서는 레이더 데이터가 신뢰할만한 수준의 정확도를 가지기 때문에 0.01m/s 로 두 모델 다 동일하게 설정하였다. 각각의 프로세스 노이즈에 대 한 오차 표준편차는 실험을 통해 경험적으로 얻은 수치이며, 각 센서들에 대한 횡방향 운동 패턴을 결정하는데 적합한 횡 가속도 값을 기준으로 선정하였다. 1. 선행차량이 직진주행을 하는 경우 1.1 실험 개요 본 실험은 다수의 차량과 시설물들이 공존하는 실제 도로 환경에서 직진방향으로 주행하는 선행차량을 검출하는 시나 리오이며, 0.07초의 측정주기로 200 프레임 동안 관찰하였다. 1.2 실험 분석 결과 그림 9, 10, 11은 IMM-PDAF를 이용하여 레이더 센서만 사용 하는 경우와 레이더와 비전 센서를 함께 사용한 경우, 선행차 량의 위치를 추정한 결과를 보여준다. 그림 11에서 주행사진과 센서퓨전을 통해 얻은 선행차량 상태를 직교좌표 그래프를 통 해 가시적으로 나타낸 사진이다. 사진의 상단의 번호는 연속 되는 프레임의 순번을 표기한 것이며, 빨간색 점선은 자신 차량의 차선을, 검정색 별은 레이더의 측정치를, 파란색 x는 비전의 측정치를, 빨간색 및 파란색 사각형은 각각 차선 내/외 선행차량의 상태 추정값을 나타낸다. 또한 관심차량의 영역에 대해서는 빨간색 원형으로 표시하였다. 실험 결과 사진에서 보 여지는 바와 같이 선행차량으로부터 온 레이더 측정치가 차.

(53) 640. 장 성 우, 강 연 식. 그림 림 10. 모델 별 확률 비교 (왼 왼쪽: 레이더 센서, 오른쪽: 센 서퓨전). Fig g. 10. Comparisson of the modeel probability (leeft: radar sensor,, right: senssor fusion.. 그림 9. 횡방향 향 상대 위치, 속도, 속 가속도 추정 정값 비교. Fig. 9. Compaarison of latera ral position, veelocity, acceleraation estimattes. 량의 폭만큼 좌우로 좌 불규칙하 하게 진동함에도 도 관심 차량의 의횡 방향 위치가 정확하게 정 유지되 되는 것을 확인할 수 있다. 그림 9에서는 레이더 센서 서만 사용하는 는 경우와 레이더 더와 비전 센서를 함께 함 사용한 경우의 관심 선행 행차량의 횡방향 향상 대 위치, 상대 속도, 상대 가속도의 가 상태 추정 추 결과를 비교 교한 그래프이다. 본 그래프에서 빨간색 점선은 센서 퓨전 데이 이터 를 이용하여 추정한 추 결과이고 고, 검은색 실선 선은 레이더 센서 서만 을 이용하여 추정한 추 결과이다 다. 50~80프래임 임 구간은 선행차 차량 이 실험차량의 의 차선으로 진입 입하는 구간이고 고, 이후 구간은 은선 행차량이 직진 진주행을 하는 구간이다. 구 그래프 프에서 볼 수 있듯, 있. 그림 11. 직진주 주행 차량에 대한 대 성능 실험(번 번호순서대로). Fig. 11. Experrimental scenarioo 1.. 레이 이더 센서만을 통해 상태를 추 추정한 경우 횡방 방향 상태 오차 차 즉, 상대 거리, 속도, 속 가속도에 대 대한 오차가 진동하듯이 진 발생 생 한다 다. 또한 선행차 차량이 실험차량 량 차선의 중앙으 으로 완전히 진 입하 하였음에도 선행 행차량의 양쪽 모서리가 반복 복적으로 측정되 되 면서 서 횡방향 오차 차가 발생하는 것 것을 볼 수 있다 다. 반면, 비전과 과 의 센서 퓨전을 이용하여 이 상태를 를 추정하는 경우 우 차량의 상태 태 를 비교적 안정되고 정확하게 추 추정되는 것을 확인하였다. 확 그림 그 10는 더 정확한 정 실험 검 검증을 하기 위해 해 횡방향의 상 태 오차에 따른 모델 모 별 확률을 을 나타낸 그래프 프이다. 본 논문 문 에서 서는 선행차량의 의 상태에 대한 한 정확한 값을 알 수 없기 때 문에 에 추정 오차에 에 대한 직접적인 인 분석이 어렵 렵다. 따라서 간 접적 적으로 모델 확률에 확 대한 분석 석을 통해 제안한 한 기법의 효율 율 성을 을 분석하였다. 그림 11의 오른 른쪽 그래프에서 서 레이더 센서 서 만 사용하는 경우 우 직진 주행을 하 하는 차량임에도 도 횡방향 오차 차 가 크게 발생하여 여 두 모델에 대 대한 확률이 비슷 슷한 결과를 보 였다 다. 반면 센서 퓨전을 퓨 이용한 경우 횡방향 오차가 오 적은 모 델의 의 확률이 85% % 이상의 수치를 를 보였다. 따라 라서 본 논문에 에 서 제안한 센서퓨 퓨전 기법을 통해 해 선행차량을 추정하는 경우 우 상태 태 오차가 더 작다는 작 것을 추론 론할 수 있다..

(54) 레이더와 비전 센서를 센 이용하여 선행차량의 선 횡방향 향 운동상태를 보정하기 보 위한 IMM M-PDAF 기반 센 센서융합 기법 연구 구. 641. 그림 림 14. 모델 별 확률 비교 (왼 왼쪽: 레이더 센서, 오른쪽: 센 서퓨전). Fig g. 14. Comparisson of the modeel probability (leeft: radar sensor,, right: senssor fusion.. 그림 12. 횡방향 향 상대 위치, 속도, 속 가속도 추정값 추 비교. Fig. 12. Compparison of later eral position, veelocity, acceleraation estimaates. 2. 선행차량이 이 차선변경을 하는 하 경우 2.1 실험 개요 개 본 실험은 앞서 앞 소개한 실험과 실 같은 다수 수의 차량과 시설 설물 들이 공존하는 는 실제 도로 환경에서 환 차선 변경을 변 수행하는 는선 행차량을 검출 출하는 시나리오 오이며, 0.07초의 의 측정주기로 160 프레임 동안 관찰하였다. 관 2.2 실험 분석 분 결과 그림 12, 13,, 14에서의 표기 기법은 위 실험 시나리오에서와 와같 다. 먼저 그림 림 13에서 센서 퓨전을 이용하 하여 차선을 이동 동하 는 선행차량의 의 위치 상태 추정 추 결과를 가시 시적으로 확인할 할수 있다. 또한 그림 그 12에서는 앞서 앞 보인 선행 행차량의 직선 주행 주 실험과 마찬가 가지로 측정 센서 서에 따른 횡방 방향 상태 추정 결과 결. 그림 13. 차선 변경 차량에 대한 대 성능 실험. Fig. 13. Experrimental scenarioo 2.. 를 비교한 그래프 프로서, 340~360프 프래임과 405~4 440프래임 구간 간 에서 서 선행차량이 두 차례 차선을 을 이동하는 것을 것 확인할 수 있다 다. 앞선 시나리 리오보다 선행차 차량과의 거리가 가 가까웠기 때 문에 에 레이더의 횡방향 횡 거리 오 오차가 작게 나타 타났다. 하지만 만 본 시나리오에서도 도 레이더 센서 서만을 사용하는 는 경우 차선의 의 중앙 앙에서 차량 폭에 폭 의한 횡방향 향 거리 오차와 상태 추정값에 에 미세 세한 진동이 존재하는 존 것을 확 확인할 수 있으 으며, 선행차량의 의 속도 도와 가속도 상태를 상 비교해보 보면 좌우로 진동이 진 발생함을 을 더 극명하게 알 수 있다. 특히, 횡 횡가속도 그래프 프의 370~380프 프 래임 임 구간에서 실제 실 차량의 상태 태와 관계없이 횡방향 노이즈 즈 에 의해 음의 방향 향의 횡가속도가 가 검출되었고, 이러한 속도와 와 가속 속도 상태 추정 정의 부정확성은 은 선행차량을 추적하는데 있 어 실패할 가능성 성을 야기할 수 있다. 반면 센서 서 퓨전을 수행 행 하는 는 경우 선행차 차량에 대해 안정 정적으로 상태를 를 추정하는 것 을 보여준다. 마지막으로 마 그림 림 14을 통해 각 모델의 확률 률을 비교해보면,, 센서 서 퓨전을 수행 행하였을 경우 비 비전 센서의 미검출 미 상황에서 서 다소 소 모델 확률의 의 변화가 보였지 지만 전체적으로 로 횡방향 오차 차 가 작은 모델의 확률이 확 70% 이 이상이 되는 것을 을 확인하였고,, 서 설명한 이유 유와 같이 횡방향 향 오차가 작은 모델의 확률이 이 앞서.

(55) 642. Sung-woo Kang 장 Jang 성 우,and 강 Yeon-sik 연식. 횡방향 오차가 큰 모델의 확률보다 높음을 보이며 본 논문에 서 제안한 알고리즘의 효용성을 검증하였다. VI. 결론 본 논문에서는 지능형 운전자 보조 시스템 및 자율주행차 의 환경 인지 기술 개발을 위한 센서 퓨전에 기반한 선행차 량 추적 알고리즘을 제안하였다. 특히 레이더 센서로부터 발 생하는 횡방향 상태 오차를 비전 센서로 보정하고, 또한 클 러터 노이즈가 발생하는 환경에서 선행차량의 상태를 정확 하게 추정하도록 하는 것을 목표로 하였다. 본 연구에서는 실제 도로 주행 환경에서 측정한 차량용 레 이더 데이터와 단안 카메라 영상을 이용한 비전 데이터를 활 용하여 Matlab/Simulink을 통해 off-line 시뮬레이션을 수행하 였으며, 단일 레이더 센서를 사용하는 모델과 비전 센서와의 센서 융합을 기반으로 한 모델에 대해 확률론적 결합기법인 IMM-PDAF을 적용하였다. 또한 단일 센서와 복수 센서를 사 용하는 각각의 경우에 대해 상태 추정 오차와 모델 확률들을 비교하여 그 성능을 분석 하였다. 이를 통해 선행차량의 상대 위치, 속도, 가속도를 추정하는 상황에서 레이더 센서와 비전 센서를 활용한 센서 퓨전 기법 이 레이더 센서만을 이용한 경우보다 높은 성능을 얻는 것을 확인할 수 있었다. 따라서 제안한 센서퓨전 기법을 통해 효과적으로 단일 센 서의 단점을 보완할 수 있으며, 첨단 ADAS 시스템 및 자율 주행차량 개발을 위한 환경 인지 시스템의 발전에 기여할 수 있을 것으로 생각된다. REFERENCES [1] A. Marinik, R. Bishop, V. Fitchett, J. F. Morgan, T. E. Trimble, and M. Blanco, “Human factors evaluation of level 2 and level 3 automated driving concepts: concepts of operation,” NHTSA, Report, no. DOT HS 812 044, Jul. 2014. [2] M. Blanco, J. Atwood, H. M. Vasquez, T. E. Trimble, V. L. Fitchett, J. Radlbeck, G. M. Fitch, S. M. Russell, C. A. Green, B. Cullinane, and J. F. Morgan, “Human factors evaluation of level 2 and level 3 automated driving concepts,” NHTSA, Report, no. DOT HS 812 182, Aug. 2015. [3] J. Yoo and Y. Kang, “Performance analysis on the IMM-PDAF method for longitudinal and lateral maneuver detection using automotive radar measurements,” Journal of Institute of Control, Robotics and Systems Engineering (in Korean), vol. 21, no. 3, pp. 224-232, Mar. 2015. [4] H. A. P. Blom and Y. Bar-Shalom, “The interacting multiple model algorithm for systems with Markovian switching coefficients,” IEEE Trans. on Automatic Control, pp. 780-783, Aug. 1988. [5] X. R. Li and Y. Bar-Shalom, “Design of an interacting multiple model algorithm for air traffic control tracking,” IEEE Trans. on Control Systems Technology, vol. 1, pp. 186-194, Sep. 1993. [6] R. Mobus and U. Kolbe “Multi-target multi-object tracking, sensor fusion of radar and infrared,” 2004 IEEE Intelligent Vehicles Symposium, pp.732-737, Jun. 2004. [7] F. Liu, J. Sparbert, and C. Stiller, “IMMPDA vehicle tracking system using asynchronous sensor fusion of radar and vision,” IEEE Intelligent Vehicles Symposium, Jun. 2008.. [8] E. Richter; R. Schubert, and G. Wanielik, “Radar and vision based data fusion - Advanced filtering techniques for a multi object vehicle tracking system,” IEEE Intelligent Vehicles Symposium, Jun. 2008. [9] H. Kim, B. Song, H. Lee, and H. Jang, “Multiple vehicle recognition based on radar and vision sensor fusion for lane change assistance,” Journal of Institute of Control, Robotics and Systems Engineering (in Korean), vol. 21, no. 2, pp. 121-129, Feb. 2015. [10] A. Houles and Y. Bar-Shalom, “Multisensor tracking of maneuvering target in clutter,” IEEE Transactions on aerospace and Electronic System, vol. AES-25, no. 2, Mar. 1989. [11] J. Choi, “Realtime on-road vehicle detection with optical flows and haar-like feature detector,” A Final Report of a Course CS543, 2006. [12] Y. Freund, R. Schapire, and N. Abe, “A short introduction to boosting,” Journal of Japanese Society for Artificial Intelligence, vol. 14, no. 5, pp. 771-780, Sep. 1999. [13] P. Viola and M. Jones, “Rapid object detection using a boosted cascade of simple features,” Proc. of Conference on Computer Vision and Pattern Recognition, 2001. [14] Y. Kang and D. S. Caveney, “Performance analysis of an IMMbased obstacle detection algorithm,” Proc. of IMECE, 2004 ASME International Mechanical Engineering Conference and RD&D Expo, Anaheim, California, USA, Nov. 2004. [15] B. W. Ahn, J. W. Choi, and, T. L. Song, “A variable dimensional structure with probabilistic data association filter for tracking a maneuvering target in clutter environment,” Journal of Institute of Control, Robotics and Systems Engineering (in Korean), vol. 9, no. 10, pp. 747-754, Oct. 2003. [16] Y. Bar-Shalom and T. E. Fortmann, “Tracking and data association,” Academic Press, 1988. [17] S. Jung, W. Lee, and Y. Kang, “Neighboring vehicle maneuver detection using IMM algorithm for ADAS,” Journal of Institute of Control, Robotics and Systems Engineering (in Korean), vol. 19, no. 8, pp. 747-754, 2013. 장성우 2014년 국민대학교 전자공학부 졸업. 2014년~현재 국민대학교 대학원 보안 스마트 전기자동차공학과 석사과정 재 학 중. 관심분야는 차량 추적, 자율주행, 센서퓨전 및 인지기술, 위치인식.. 강연식 1999년 서울대학교 조선해양공학과 졸 업. 2001년 서울대학교 조선해양공학과 (공학석사). 2006년 University of California, Berkeley Mechanical Engineering Ph.D. 2007년~2010년 KIST 인지로봇센터 선 임연구원. 2010년~현재 국민대학교 자동 차공학과 부교수. 관심분야는 차량용 레이더 추적알고리즘 개발, 능동안전시스템, 이동로봇 네비게이션, 모델 예측제어, 장애물 회피..

(56)