Fundamental research of the target tracking system using a CMOS vision chip for edge detection

윤곽 검출용 CMOS 시각칩을 이용한 물체 추적 시스템 요소 기술 연구

현효영·공재성 * ·신장규 * ^†

Fundamental research of the target tracking system using a CMOS vision chip for edge detection

Hyo-Young Hyun, Jae-Sung Kong *, and Jang-Kyoo Shin * ^†

Abstract

In a conventional camera system, a target tracking system consists of a camera part and a image processing part.

However, in the field of the real time image processing, the vision chip for edge detection which was made by imitating the algorithm of humanís retina is superior to the conventional digital image processing systems because the human retina uses the parallel information processing method. In this paper, we present a high speed target tracking system using the function of the CMOS vision chip for edge detection.

Key Words : edge detection, vision chip, target tracking

1. 서 론

물체의 이동에 선택적으로 응답하는 시스템에서는 이동하는 물체의 좌표를 인식하는 과정이 필요하다 .

일반적으로 널리 사용 되는 영상 시스템에서는 CCD (charge coupled device) ^{카메라로 영상을 획득한 후} , PC 로 전송해 소프트웨어적인 영상처리 알고리듬을 이 용하여 물체의 좌표를 인식한다 . 따라서 영상을 획득 하는 부분과 획득된 영상정보를 처리하는 부분이 구분 되어 있어서 정보의 양이 많은 영상정보의 특성상 실 시간 정보처리가 어렵고 소프트웨어적인 영상처리 알 고리듬의 구현을 위해 PC 와 같은 추가적인 프로세서

가 요구된다 ^[1,2] .

그러나 수평세포들 간의 병렬 신호처리를 통해 물체 의 윤곽을 검출하는 인간 망막의 영상처리 메커니즘을 모방해 영상획득과 신호처리의 기능을 CIS(CMOS

image sensor) ^{와 저항망 및 신호처리 회로를 이용하여}

구현한 윤곽 검출용 시각칩의 경우 , 병렬 신호처리를 통해 물체의 전체 영상정보가 아닌 윤곽 영상정보만 이용할 수 있으므로 화소의 증가에 따라 영상처리에 제약을 받지 않고 실시간 영상처리 시스템에 효율적으

로 적용이 가능하다 ^[3-10] .

본 연구에서는 윤곽 검출용 시각칩이라는 일반적이 지 않은 지능형 이미지 센서의 활용 가능함을 증명하

기 위해 시각칩의 출력을 FPGA 의 간단한 신호처리를

통해 물체의 위치 추적 및 시선 결정 시스템을 설계 및 제작하였다 . 제작된 시스템은 일반적인 시각 시스템과 달리 PC ^{와 같은 추가적인 소프트웨어 프로세서 없이}

실시간 정보처리가 가능하고 기존의 물체 추적 시스템 에 비해 간결하고 규모면에서도 효율적인 시스템으로 구현하였다 .

2. 이론 및 설계

인간의 눈은 실시간으로 전체 영상 정보를 뇌로 전 달하지 않고 피사체의 움직임이나 윤곽 부분을 중점적 으로 인식하는 것을 통해 뇌로 전달되는 정보의 양을 획기적으로 줄여 뇌에 걸리는 부하를 줄여준다 ^[12,13] .

이러한 과정을 통해 인간의 망막은 시각 신경계통의 신호처리를 가장 이상적이고 효율적으로 수행하는 곳

경북대학교센서및디스플레이공학과

(Department of Sensor and Display Engineering, Kyungpook National University)

*

(School of Electrical Engineering and Computer Science)

†

Corresponding author: [email protected]

(Received : January 8, 2009, Revised : March 4, 2009

Accepted : March 18, 2009)

이므로 인간의 망막이 가지는 병렬 신호처리 구조를 전기적으로 모방해 실시간 영상처리를 위한 시각 시스 템의 입력부로 사용할 경우 , 전체 시각 시스템은 효율 적이고 보다 간결하게 구현될 수 있다 .

2.1. 윤곽 검출용 시각칩

본 연구에 이용한 윤곽 검출용 시각칩이 물체의 윤 곽을 검출하는 원리는 Fig. 1 과 같다 ^[3] .

시각칩의 수광부는 입사된 광신호를 전기적 신호로

변환하여 Fig. 1(a) ^{와 같이 계단함수의 형태를 가지는}

신호를 출력하게 된다 . 수광부의 출력신호는 저항망을

통해 이웃하는 픽셀들과 연결되어 Fig. 1(b) ^{와 같이 공}

간적으로 평활된 신호를 출력하게 된다 . 그리고 최종 출력단에서 수광부의 출력신호와 저항망을 거친 평활 된 출력신호의 차이를 출력하여 Fig. 1(c) ^{와 같은 물체}

의 윤곽부분에서 피크형태를 갖는 신호를 최종 출력하 게 된다 . 따라서 이웃하는 픽셀들 간의 동일한 입력신 호가 발생할 경우 최종 출력신호는 일정한 신호를 최종 출력하고 , 이웃하는 픽셀 간의 입력신호가 차이가 나는 경우 피크형태의 출력 특성을 가진다 . 시각칩의 출력신 호를 이용 한다면 전체 영상정보가 아닌 물체의 윤곽 정보를 이용하여 영상 신호처리를 수행할 수 있다 .

Fig. 2 는 빛을 받아 이에 상응하는 전기적 신호로 변

환하는 능동픽셀센서 (active pixel sensor) 와 획득된 전 기적 신호를 공간적으로 평활하는 저항망 (resistive net-

work), ^{두 신호의 차이를 출력하기 위한 신호처리 회로}

(differential circuit), 그리고 수광회로에 있는 트렌지스 터의 부정합으로 인해 발생되는 FPN(fixed pattern noise) ^{을 제거하기 위한 잡음 제거 회로} (SCDS, simpli- fied correlated double sampling) 를 하나의 칩에 구현한

시각칩의 단위픽셀 회로도를 나타낸다 . 능동픽셀센서

는 4-Tr. APS ^{에 비해 개구율이 높고 표준} CMOS ^공정

을 적용이 가능한 3-Tr. APS 를 적용하였고 잡음 제거

회로는 Kavadias 에 의해 제안되어 2 개의 커패시터를

필요로 하는 기존의 CDS ^{회로에 비해} 1 ^{개의 커패시터}

로 구성된 SCDS 회로를 이용하여 면적소모를 줄이게

설계되었다 . 또한 , 저항망은 CMOS 공정을 이용하여 선형저항망의 출력특성을 나타내기 위해 4 ^개의 MOS- FET 으로 구성된 포화저항망으로 설계되었다 ^[7-10] .

Fig. 3 은 0.35 µ m double-poly four-metal 표준 CMOS

공정을 이용하여 제작된 윤곽 검출용 시각칩의 전체 Fig. 1. Principle of the edge detection. Fig. 2. Unit-pixel circuit.

Fig. 3. Layout of the vision chip for edge detection.

레이아웃을 나타낸다 . 시각칩은 능동픽셀센서 , 윤곽 검 출을 위한 신호처리 회로 , ^{디코더 회로로 구성되어 있}

고 5 × 5 mm ² 의 크기와 160 × 120 해상도를 가진다 . 시 각칩의 성능은 Table 1 과 같다 .

2.2. 물체 추적 시스템의 구성

윤곽 검출용 시각칩을 이용한 물체 추적 및 시선 결

정 시스템은 Fig. 4 ^{와 같이 크게 아날로그 신호처리를}

하는 시각칩과 디지털 신호처리를 위한 FPGA 의 두 부 분으로 구성되어 있다 . 시각칩의 출력인 아날로그 윤곽

신호는 A/D ^{컨버터를 통해} 8 ^{비트의 디지털 신호로 변}

환된 후 , FPGA(field programmable gate array) 의 디지 털 신호처리 회로로 전달된다 .

FPGA 의 디지털 신호처리 회로는 윤곽이 발생하는

위치 정보를 검출하는 부분과 검출된 윤곽의 위치 정 보를 이용하여 물체의 중심점을 계산하는 부분 , ^그리고

검출된 물체의 중심점 좌표를 이용해 시각 시스템의

시선을 이동하기 위한 서보모터 (servo motor) 제어 부

분으로 구성되어 있다 . ^{서보모터는 출력 펄스의 듀티비}

로 전압의 양을 제어하는 PWM(pulse width modula-

tion) 방식으로 제어된다 .

FPGA ^{의 디지털 신호처리 회로는} Verilog HDL(hard- ware description language) 을 이용하여 각각의 신호처 리 회로들이 설계되었다 .

윤곽의 위치 정보를 검출하는 부분은 특정 값 이상 의 시각칩 출력 신호를 이용하는 방법으로 구현되었다 .

윤곽 검출용 시각칩으로 부터 나오는 최종 출력신호는

Fig. 5 와 같이 윤곽이 아닌 부분에서는 동일한 신호를

출력하고 윤곽부분에서는 피크형태의 출력신호를 가지 게 된다 . ^{따라서 피크형태를 갖는 시각칩의 최종 출력}

신호에서 임의의 문턱 값을 설정하는 것을 통해 문턱

값의 범위를 벗어나는 픽셀의 어드레스 신호 즉 , 윤곽 의 위치 정보를 검출하게 된다 .

이를 통해 윤곽 부분에서 피크 형태를 가지는 전압 신호가 아니라 윤곽이 발생하는 지점의 위치 정보만 얻을 수 있으므로 처리해야 할 정보의 양을 획기적으 Table 1. Specification of the Vision Chip and the Vision

System

Vision chip

Process Standard CMOS

0.35 ^µ m double- poly four-metal Resolusion 160(H) × 120(V)[pixel]

Pixel size 5 ^× 5 mm

Power consumption 10 mW

light sensitivity 0.37 V/lux · sec Operation speed 3 frames/sec Target

tracking system

FPGA Altera CycloneII

Operation speed 3 frames/sec Power consumption 810 mW servo motor control PWM

Fig. 4. Electronic circuit model for the single pixel.

Fig. 5. Principle of getting the position information of

edge.

로 줄일 수 있다.

윤곽의 위치 정보를 이용하여 물체의 중심점을 계산 하는 부분은 식(1)과 같이 윤곽에 해당하는 픽셀들의 좌표를 각각 평균하는 방법으로 설계되었다. 물체의 윤 곽이 발생하는 픽셀의 X, Y좌표 값에서 X좌표 값의 평균은 전체 윤곽이 분포하는 평균적인 X좌표의 위치 즉, 중심점의 X좌표이고 Y좌표 값의 평균 값은 중심점 의 Y좌표 값을 나타낸다.

(1)

X center : 중심점의 X좌표

Y center : 중심점의 Y좌표

N: 윤곽 픽셀의 수

X excited : 윤곽 픽셀의 X좌표 값

Y excited : 윤곽 픽셀의 Y좌표 값

피크 형태를 가지는 윤곽 검출용 시각칩의 출력에서 한 프레임 동안 윤곽 픽셀의 수는 물체가 가지는 윤곽 의 크기에 비례한다. 즉, 윤곽의 크기가 커질수록 문턱 값의 범위를 벗어나는 픽셀의 수는 커지고 반대의 경 우는 감소하고 물체의 크기가 일정하다면 물체와 시각 시스템과의 거리에 대해 윤곽의 크기는 반비례한다. 따 라서 일정한 크기의 물체가 이동할 경우, 문턱 값의 범 위를 벗어나는 픽셀의 수는 물체와 시각 시스템과의 3 차원 거리 정보로 활용할 수 있다.

물체 위치 추적 및 시선 결정을 위한 시스템은 윤곽 검출용 시각칩, 바이어스 회로부, A/D 컨버터, FPGA, 서보모터 제어부, 그리고 측정 시스템을 구현하는 부분 으로 구성되어 있다. Fig. 6은 물체의 위치 추적 및 시 선 결정을 위한 시스템의 신호 흐름도이다.

FPGA의 디지털 신호처리 회로 설계를 통해 생성된 시스템 제어부는 제어 신호 생성을 통해 윤곽 검출용 시각칩과 A/D 컨버터를 제어한다. 윤곽 검출용 시각칩 의 출력은 A/D 컨버터를 거쳐 디지털 신호로 변환되 어 FPGA로 전송되고 전송된 윤곽 검출 신호는 FPGA 의 신호처리 회로를 통해 물체의 위치를 검출하고 모 터를 제어한다. 또한, 실험에서 시각 시스템이 가지는 물체 추적과 시선 결정의 신뢰성을 확인하기 위해 윤 곽 검출용 시각칩에서 나오는 윤곽 검출 신호와 FPGA 를 이용하여 검출된 물체의 위치 정보를 PC의 측정 프 로그램으로 전송하여 윤곽 검출용 시각칩의 출력인 윤 곽 영상 및 FPGA의 신호처리 회로를 통해 획득된 위

치 정보를 구현하였다.

설계된 시스템은 PCB(printed circuit board)설계를 이용하여 Fig. 7와 같이 구현하였다.

3. 실험 및 측정 결과

Fig. 8은 제안된 윤곽 검출용 시각칩을 이용한 시각 시스템으로 하나의 윤곽을 가지는 물체를 측정한 결과 이다. Fig. 8(a)는 윤곽 검출용 시각칩에서 출력되는 윤 곽영상을 아무런 영상처리 없이 구현한 영상이고 Fig.

8(b)는 60번째 열의 160개 픽셀의 출력을 나타낸다. 측 정된 결과를 통해 윤곽부분에서 피크형태를 갖는 윤곽 검출용 시각칩의 출력 특성을 확인할 수 있다.

Fig. 9는 2차원 평면상에서 원의 형태를 가지는 물체 의 위치를 검출한 결과를 나타낸다. 임의의 문턱 값들 사이의 범위를 벗어나는 픽셀에서 X, Y좌표 값을 평균 하는 것을 통해 중심점을 계산한 결과 물체의 이동에 따른 중심점의 X, Y좌표의 결과를 흰색 십자가와 중심 점 표시부의 좌표 값으로 확인할 수 있다.

물체의 좌우 이동에 따라 각 프레임에서 획득된 물 체 중심점의 X좌표 값이 변화하고 이 값의 변화에 따 라 서보모터를 좌우로 제어하여 Fig. 10과 같이 시각 X

1

N ---- X ∑

= Y

1

N ---- Y ∑

= Fig. 6. Signal flow of measurement system.

Fig. 7. Photograph of the system board.

시스템의 시선이 좌우로 이동하여 물체를 추적하는 것 을 확인할 수 있었다 .

Fig. 11(a) 는 직경 5 cm 인 물체가 시각 시스템으로부

터 50 cm ^{떨어진 지점에서 시각 시스템을 향해 점점}

Fig. 8. Output characteristic for an edge.

Fig. 9. Detecting the center position in a two dimensional image.

Fig. 10. Controlling the servo motor depending on the moving object.

Fig. 11. 3D-information and stop signal of the vision

system.

다가올 경우 윤곽 크기를 나타내는 신호의 변화를 나 타낸다.

신호의 크기가 특정 값인 300 픽셀을 넘을 경우, 충 돌 방지 신호를 발생하게 된다. Fig. 9(b)는 거리에 따 른 실제측정 결과를 나타낸다. 이를 통해 윤곽의 크기 변화 즉, 물체와 시각 시스템과의 거리 변화에 따라 충 돌 방지용으로 사용될 수 있음을 확인하였다.

4. 결 론

본 연구에서는 지능형 이미지 센서인 윤곽 검출용 시각칩의 활용 가능함을 증명하기 위해 윤곽 검출용 시각칩과 FPGA를 이용하여 물체 추적 및 시선 결정 시스템을 구성하였고 그 특성을 측정 및 분석하였다.

제안된 시스템은 소프트웨어적인 영상처리를 위해 PC 와 같은 소프트웨어 프로세서 없이 윤곽 검출용 시각 칩과 FPGA의 간단한 신호처리를 통해 물체의 위치 추 적을 구현하였다. 따라서 윤곽 검출용 시각칩을 이용한 시각 시스템은 규모면에서 소형이고 이로 인해 저전력 소모를 갖는 시스템을 구현할 수 있고 병렬신호처리를 통해 화소의 증가에 제약을 받지 않는 실시간 영상 시 스템으로 구현이 가능하다.

감사의 글

본 연구는 BK21과 IDEC(integrated circuit design education center)의 지원으로 수행되었습니다. 더불어 2008년도 정부(교육과학기술부)의 재원으로 한국과학 재단의 지원을 받아 수행된 연구입니다.(No. R11- 2008-105-02003-0)

참고 문헌

[1] J. Ohta. Smart CMOS image sensors and applica- tions , CRC Press, 2007.

[2] C. Koch and H. Liu, Vision chips, Implementing vision algorithms with analog VLSI circuits, IEEE Computer Society, 2005.

[3] C. A. Mead, Analog VLSI and neural Systems, Add- ison-Wesley, 1989.

[4] Alireza Moini, Vision chips, Kluwer Academic Pub- lishers, 2000 .

[5] H. Ikeda, K. Tsuji, T. Asai, H. Yonezu, and J. K.

Shin, “A novel retinal chip with simple wiring for edge extraction,” IEEE Photonics Technology Let- ters, vol. 10, no. 2, pp. 261-263, 1998.

[6] H. Yamada, T. Miyashita, M. Ohtani, K. Nishio, H.

Yonezu, and Y. Furukawa, “An integrated circuit for two-dimensional edge-detection with local adapta- tion based on retinal networks ^” , Optical Review , vol. 9, no. 1, pp. 1-8, 2002.

[7] 공재성 , ^“포화 저항망을 이용한 생체 기반 CMOS

윤곽 검출용 시각칩 , ^” 경북대학교 박사학위논문 , 2008.

[8] 공재성 , 서성호 , 김정환 , 신장규 , 이민호 , ^“포화 저항 망을 이용한 광적응 윤곽 검출용 시각칩” , 센서학회 지 , 제 14 권 , 제 6 호 , pp. 430-437, 2005.

[9] 공재성 , 서성호 , 김상헌 , 신장규 , 이민호 , ^“수광 회로 와 윤곽 검출 회로의 분리를 통한 윤곽 검출용 시각 칩의 해상도 향상” , 센서학회지 , 제 15 권 , 제 2 호 , pp.

112-119, 2006.

[10] 성동규 , 공재성 , 현효영 , 신장규 , ^“단위 픽셀 회로의 간소화를 통해서 해상도를 향상시킨 이차원 윤곽 검 출용 시각칩” , 센서학회지 , 제 17 권 , 제 1 호 , pp. 15- 22, 2008.

[11] H. Okuno and T. Yagi, “Real-time robot vision for collision avoidance inspired by neuronal circuits of insects ^” , Proc. of the 2007 IEEE/RSJ Int. Conf. on Intelligent robots and systems , pp. 1302-1307, 2007.

[12] 김성수 , 박승택 , 서영석 , 안의태 , 원무호 , 이인환 , 이 화동 , 허영범 , 한후재 , 황세진 , 신경해부학 , 정문각 , 1999.

[13] Michael H. Ross, Gordon I. Kaye, and Wojciech Pawlina, 옮긴이대표 이왕재 , 조직학 - forth edition,

군자출판사 , 2004.

현 효 영

• 2007 년 경북대학교 생물산업기계공학과 졸업 ( 공학사 )

• 2009 년 경북대학교 대학원 센서 및 디스 플레이공학과 석사 졸업 ( 공학석사 )

• 현 LIG Nex1, EO/IR R&D Lab, 근무

• 주관심 분야 : CMOS vision chip and its applications.

신 장 규

• 센서학회지 제 3 권 , 제 1 호 , p. 26 참조

• 현재 경북대학교 전자전기컴퓨터학부 교수

공 재 성

• 2002 년 경북대학교 전자공학과 졸업 ( 공 학사 )

• 2005 년 경북대학교 전자공학과 졸업 ( 공 학석사 )

• 2008 년 경북대학교 전자공학과 졸업 ( 공 학박사 )

• 현 경북대학교 전자전기컴퓨터학부 박사 후 연구원

• 주관심 분야 : CMOS image sensor, bio-

inspired vision chip, and its applications.