1. 서론
1.1 연구의 배경 및 목적
대한전문건설협회 통계연보-업종별 도급별 계약실적 기 준에 따르면, 토공사는 전체 건설공사 업종 중 철근 콘크리트 공사(18.7%), 기계설비 공사(15.7%)에 이어 세 번째로 높은 비중(12.3%)을 차지하는 건설공사의 주요 공종이다(KOSCA 2015). 하지만 이러한 중요성에도 불구하고 토공사는 작업에 투입되는 건설기계 운전원의 운용 숙련도나 현장 적응도에 의해 작업 생산성이 크게 좌우되는 노동 집약적 프로세스를 벗어나지 못하고 있는 실정이다(Kim and Seo 2011).
현재 건설기계의 운용은 건설산업에서 대표적인 3D업종으 로 인식되고 있으며, 낮은 임금수준, 열악한 근로환경으로 인
해 신규 면허취득자가 건설기계 운용부분으로의 취업을 기피 하는 경향이 있어 현장에서의 인력부족 문제가 지속적으로 심화되는 중이다(Lee et al. 2009). 또한 이 같은 취업 기피 현상으로 인해 건설현장에는 숙련된 건설기계 운전원의 수가 매우 부족해짐에 따라 이에 따른 건설기계의 운용 효율 저하, 건설기계 운용 미숙으로 인한 안전사고 증가 등의 문제점이 지속적으로 발생하고 있다. 2014년 고용노동부 산업재해 현 황분석에 따르면, 건설기계 관련 사망사고가 전체의 29%이 상을 차지하며, 사망자 수 또한 2008년 80명에서 2014년 103 명으로 25% 이상의 증가 추세를 보이고 있어, 건설현장 내 건설기계와 관련된 사고 예방 방안 마련이 시급한 실정이다 (Ministry of Employment and Labor 2015).
최근 국내외에서는 건설기계 조작의 용이성 향상, 작업 효 율성 제고 및 안전성 향상을 위해 상용차량의 운용 편의(주차 보조 등) 및 충돌 방지 기술인 어라운드 뷰 모니터링(Around View Monitoring; AVM) 시스템을 건설기계에 적용하려는 노력을 기울이고 있다. 그러나 현재까지 개발 중인 국내외 건 설/비건설 관련 대형장비 AVM 시스템은 차량형 장비가 아
건설기계 어라운드 뷰 모니터링(AVM) 시스템의 파일럿타입 개발
염동준1·서정훈1·염한승1·유현석2·김영석*
1인하대학교 건축공학과·2한국교원대학교 기술교육과
The Development of Around View Monitoring System Pilot Type for Construction Equipment
Yeom, Dong Jun
1, Seo, Jung Hoon
1, Yeom, Han Seung
1, Yoo, Hyun Seok
2, Kim, Young Suk
*1Department of Architectural Engineering, Inha University
2Department of Technology Education, Korea National University of Education
Abstract :
Recently, the interest on applying AVM(Around View Monitoring) systems in construction equipments have been increasing due to the demand for better control, work efficiency and safety. Most of the existing AVM systems have been developed focusing on the application in automobiles and only several AVM systems have been developed for construction equipments. However, the original technology of AVM remained the same as in the automobiles that failed to consider the main properties of construction equipments and suggest appropriate range of AVM display (Top-view).
Therefore, the purpose of this study is to suggest a pilot type of AVM system for construction equipment. Accordingly, literature review, deduction of main consideration factors, selection of sensors, system design, algorithm development of a pilot type of AVM system for construction equipment have been conducted. A laboratory experiment has also been conducted for the deduction of further improvements. As a result, a minimum image refresh rate of 20 fps has been achieved that clearly reflects the actual situation of the equipment and also, the actual motions of Boom, Arm, Bucket have been displayed appropriately on the AVM system based on the angle data collected by sensors. However, the experiment results have also shown that the following tasks still remain for future work: 1)Improvement of AVM image interpolation, 2)Development of calibration module for variety construction equipment.
Keywords :
Construction Equipment, AVM(Around View Monitoring), Productivity, Safety
* Corresponding author: Kim, Young-Suk, Department of Architectural Engineering, Inha University, Incheon 22212, Korea E-mail: [email protected]
Received April 14, 2016: revised Apreil 29, 2016 accepted May 2, 2016
닌 굴삭기, 도저와 같은 건설기계에는 적용되지 못하고 있으 며, 건설기계에 적용하고 있는 일부 기술의 경우 적용되는 원 천기술의 알고리즘 자체가 건설기계가 아닌 승용차량을 대상 으로 개발됨에 따라 탑뷰(Top-view)로 표현할 수 있는 영역 의 크기가 제한되고, 건설기계의 특성을 반영하지 못하고 있 다는 한계점을 지닌 것으로 조사 및 분석되었다.
따라서 본 연구의 목적은 건설기계 제원에 적합한 영역을 탑뷰로 표현할 수 있고 건설기계 및 운용상의 특성을 반영할 수 있는 건설기계 AVM 시스템을 개발하는 것이다. 이를 위 해 본 연구에서는 선행기술 조사를 통해 건설기계 AVM 시스 템의 개발 요구사항을 도출하였으며, 건설기계 AVM 시스템 에 적합한 센서 선정 및 시스템 설계, 알고리즘 구축 등을 수 행하여 건설기계 AVM 시스템의 파일럿타입(Pilot Type)을 개발하고, 실험실 실험을 통해 시스템의 개선요구사항을 도 출하였다. 본 연구를 통해 건설기계 및 운용상의 특성이 반영 된 AVM 시스템이 개발될 경우, 건설기계 운용의 용이성 증 가로 인한 작업 생산성 향상 및 안전사고 감소는 물론, 개발 기술의 국산화를 통한 기술력 확보 및 국제 시장에서의 경쟁 력 확보가 가능할 수 있을 것으로 기대된다.
1.2 연구의 범위 및 방법
본 연구는 건설기계 AVM 시스템 개발에 관한 것으로서, 개발 예정인 AVM 시스템은 다양한 건설기계의 유형 및 제원 에 적용 가능할 수 있도록 계획하였다. 그러나 본 연구에서는 그 적용대상을 소형 굴삭기로 한정하여 AVM 시스템 파일럿 타입을 개발하고 실험실 실험을 수행하였으며, 추후 이를 다 양한 유형 및 제원의 건설기계에 확대 적용하고자 한다.
1.2.1 AVM 기술의 정의 및 건설기계 적용의 중요성 분석
본 연구에서는 건설기계 운용효율 제고를 위한 시각화 기 술을 개발함에 있어, AVM 시스템의 역할과 중요성을 도출하 고, 관련 기술개발의 필요성을 분석한다.
1.2.2 건설기계 AVM 시스템 관련 선행연구 및 기술 개발동향 분석
본 연구에서는 AVM 시스템 관련 선행연구 및 기술개발동 향 등을 분석하여, 건설기계의 특성이 반영된 건설기계 AVM 시스템 개발의 요구사항을 도출한다.
1.2.3 건설기계 AVM 시스템 개발을 위한 센서 선정 및 적용 알고리즘 개발
본 연구에서는 AVM 기술 구현을 위한 최적의 센서를 선정 하고 해당 센서에 적합한 알고리즘을 구축함으로써 건설기계 AVM 시스템 구현을 위한 관련 기술을 개발한다.
4) 실험실 실험을 통한 건설기계 AVM 시스템 파일럿타입 의 검증 및 개선요구사항 도출
본 연구에서는 개발된 건설기계 AVM 시스템 파일럿타입 의 성능을 실험실 실험을 통해 검증하고, 건설기계 AVM 시 스템 파일럿타입의 개선요구사항을 도출한다.
2. 이론적 고찰
2.1 AVM 기술의 정의 및 건설기계 적용의 중요성 AVM 시스템은 상용차량의 운용 편의(주차 보조 등)성 제 고 및 충돌 방지를 위해 활용되는 시각화 기술로서, 상용차량 4면에 설치된 4개의 카메라를 통해 자신의 차량을 중심으로 360° 주변의 사물 및 사람을 감지하는 기능을 의미한다. 특히 해당 시스템은 운전자에게 차량 주변 현황을 탑뷰의 형태로 제공하여 차량운용의 용이성, 효율성 및 안전성을 제고할 수 있다는데 그 장점이 있다.
최근 미국, 호주, 한국 등 국내외적으로 차량 운용의 보조 장치로서 시각화 장비의 적용을 의무화하려는 시도가 증가하 고 있으며, 또한 세계 건설기계 산업 매출규모 2위 국가인 일 본의 국토교통성은 2013년 4월 미래 건설 로봇 기술 개발 및 활용에 관한 보고서에서 건설 로봇 기술의 개발 및 활용의 중 점 단기 목표로서 AVM 시스템을 통한 건설기계의 자동화 추 진을 명시한 바 있다. 그밖에 세계 건설기계산업 매출액 기 준 10위의 국내 기업인 두산인프라코어는 2014년 4월부터 건 설기계에 자동차 기술 도입을 확대하고 있다고 밝혔으며, 작 업 도중 안전사고를 줄이는 대표적인 시스템으로서 AVM 시 스템을 언급한 바 있다. 이처럼 최근 건설기계 운용에 있어 AVM 시스템에 대한 국내외적 관심은 더욱 높아지고 있으며, 이를 건설/비건설 관련 대형장비에 적용하고자 하는 시도 또 한 지속적으로 증가하는 추세이다.
현재까지 AVM 시스템 개발은 주로 소형 차량형 장비에 국 한되어 이루어져 왔으나, 최근에는 건설기계, 트레일러, 버스 등의 대형 장비로의 적용범위 확장을 시도하고 있다. 따라서 본 연구를 통해 건설기계 AVM 시스템이 개발되어 실제 현장 에 적용될 경우, 해당 분야에 있어 선도적 연구 결과물이 될 수 있을 뿐만 아니라 기존 시스템 대비 장비의 운용의 효율성 증가로 인한 작업효율성 향상 및 원가절감 또한 기대할 수 있 을 것으로 사료된다.
2.2 AVM 시스템 알고리즘 관련 선행연구 분석 본 연구에서는 건설기계 AVM 기술 구현을 위한 원천기 술(적용 알고리즘) 관련 선행연구 분석을 수행하였다. 적용 알고리즘에 대한 선행연구 분석 결과, 현재까지 건설기계에 AVM 시스템을 적용하기 위한 연구는 전무하였으며, 일부 차 량 및 영상 연구에서 관련 알고리즘을 적용하여 왜곡보정 및 탑뷰 변환을 수행하고 있는 것으로 조사되었다. 아래 Table 1 은 어라운드 뷰 구현의 원천기술인 왜곡보정 및 탑뷰 구현을 위해 수행된 선행연구를 분석한 것이다.
Table 1. Literature Reviews
Author Title Contents
Kim, S. H (2008)
Geometric correction of
fisheye lens images for wide-angle view generation
Before Distortion Correction After Distortion Correction This study proposes a distortion correction method to minimize image loss. The proposed method enables cameras to accurately calibrate fisheye lens having over 180° view.
Cho, Y. J.
et al.
(2010)
Image data loss minimized
geometric correction for
asymmetric distortion fisheye lens
Before Distortion Correction After Distortion Correction This study introduces a geometric correction technology to minimize the data of image loss from a vehicle fisheye lens having over 180°
view and asymmetric distortion.
Ahn, R. S.
et al.
(2010)
Real-Time Implementation
of Top-view system for Camera-on-
vehicle
Before Application of the Top-view System
After Application of the Top-view System In order to implement a real-time top-view system, this study suggests two methods; the look-up table for perspective transformation and 25-point interpolation algorithm.
Kim, J. I.
et al.
(2014)
Perspective transformation
using top- view parking
assistance system
Before Application of the Top-view System
After Application of the Top-view System This study proposes an algorithm that enables perspective transformation. The algorithm is obtained by calculating the value of transformation matrix with obtained images.
카메라 왜곡보정에 관한 선행연구 분석 결과, Kim(2008) 의 연구는 어안렌즈 카메라 영상의 기하학적 왜곡보정에 관 한 연구로서 카메라를 통해 수집된 어안렌즈의 영상을 손실 이 최소화된 왜곡보정 영상으로 변환하는 알고리즘을 제안하 였다. 그러나 이는 특수목적을 위해 제작된 별도의 카메라 모 듈에 대한 영상보정만을 제시하고 있어, Cho et al.(2010)의 연구에서는 이를 보정하여 범용 카메라에 대한 왜곡보정을 수행할 수 있도록 비대칭 왜곡을 가진 차량용 어안렌즈의 왜 곡보정 방안이 제시되고 있다.
탑뷰 구현을 위해 수행된 선행연구 분석 결과, Ahn et al.(2010)의 연구는 자동차용 후방카메라에서 얻은 영상에 원 근변환 방식을 적용하여 탑뷰영상으로 변환하는 연구인 것으 로 조사되었다. 해당 연구에서는 역 원근 매핑행렬 기반의 보 간 알고리즘 및 모듈을 제안함으로써 탑뷰 구현을 위한 메모 리 크기 및 계산량을 최소화 하였다는 장점을 지니고 있으나, 구현 된 영상의 범위가 비교적 좁다는 한계점을 지니고 있어
본 연구에 적용하기 위해서는 영상의 범위를 넓힐 수 있는 알 고리즘의 변환이 필요할 것으로 분석되었다.
또한, Kim and Kwon(2014)의 연구는 기존 AVM 관련 연 구에서 4면의 영상의 정합부가 매끄럽게 이어지지 않는 문제 점을 해결하기 위해 원근투영법, 역 투영변환, 배럴왜곡보정 방법 등의 영상보완 방안을 마련하였으며, 영상에서 필요한 부분만을 잘라내어 원근변환 및 투시변환 후 영상을 정합하 는 방식의 알고리즘을 제안하였다. 그러나 해당 알고리즘은 영상 정합부 개선을 위한 명확한 해결책을 제시하지 못하였 으며, 장애물 판별 및 보행자 추적에 관한 기술의 부재로 인 해 추후 추가적인 연구수행이 필요한 것으로 분석되었다.
2.3 대형차량 및 건설기계 AVM 시스템 관련 기술 개발현황 분석
본 연구에서는 건설기계 AVM 시스템 개발에 앞서, 국내외 에서 개발된 유사사례 분석을 수행하고, 이를 통해 본 연구에 서 개발하고자 하는 건설기계 AVM 시스템의 개발요구사항 을 도출하고자 한다.
2.3.1 어라운드 뷰 영상장치 관련 국외 유사 개발 사례
본 연구에서는 먼저 국외에서 건설/비건설 관련 대형장비 에 적용하고 있는 AVM 기술에 대한 조사를 수행하였다. 조 사 결과, 타이완 P社 V-system, 독일 C社 P-system 등이 건설/비건설 관련 대형장비 AVM 시스템으로서 개발되고 있 는 것으로 조사되었다(Table 2).
Table 2. A Case Study on Precedent Similar Developments
Tile Representative Drawing Contents
V system by P Company in Taiwan
The V system developed by P company in Taiwan is an AVM based system for large vehicles. This system is planned to expand the scope of application by vehicle size.
P system by C Company in Germany
The P system developed by C company in Germany is an AVM based system for special and construction vehicles.
The company is preparing to release its present system for a field test.
국외 유사 개발 사례 분석 결과, 현재 개발되고 있는 국외 AVM 시스템을 건설/비건설 관련 대형장비에 적용하려는 노 력을 기울이고 있으나, 아직까지 개발단계에 머물러 있으며, 차량형 장비가 아닌 굴삭기 및 도저와 같은 건설기계에는 적 용되지 못하고 있는 것으로 분석되었다.
2.3.2 국내외 AVM 관련 특허 분석
본 연구에서는 한국특허정보원의 특허정보검색서비스를 바탕으로 건설기계 AVM 시스템 및 차량용 영상장치와 관련 된 특허 동향조사를 수행하였다. 조사 결과, AVM 시스템 및 차량용 영상장치 관련 특허는 국내외적으로 다수의 특허가 출원 및 등록된 반면, 조사의 범위를 건설기계 AVM 시스템 으로 축소한 결과 일본과 한국에서 총 3건의 특허가 출원 및 등록된 것으로 조사되었다(Table 3).
Table 3. Patents Related to AVM System for Construction Equipment Nation Title of Invention Representative
Drawing Contents
Japan
Method and equipment for demolishing tower-
like structure (2006)
Application of AVM system to demolish a tower-like concrete structure
Korea
Subsea installations, underwater-work- systems & underwater
work methods (2014)
Application of AVM system to control aquatic underwater robots in underwater work
Display device for a construction machine
(2013)
Application of AVM system to detect obstacles in the direction of construction equipment heading
조사된 3건의 유관 특허에 대한 분석 결과, 실제로 본 연구 에서 개발하고자 하는 소형 건설기계 AVM 시스템과 관련된 특허는 국내 D社의 “건설기계의 화면표시장치(2013)”가 유일 한 것으로 조사 및 분석되었다.
2.3.3 국내 건설기계 AVM 시스템
국내 건설기계 AVM 시스템 관련 기술을 보유하고 있는 업 체에 대한 조사 결과, 국내 D社, 국내 I社만이 AVM 시스템을 건설기계(굴삭기)에 적용하여 제품개발을 수행하고 있는 것 으로 조사되었다. 한편, 두 회사에서 개발 중에 있는 건설기 계 AVM 시스템은 일본 F社의 W-system을 원천기술로 하 고 있어, 그 기술의 구현방식 및 하드웨어 구성이 동일하고, 표현되는 영상 및 시스템 제원이 유사한 것으로 분석되었다.
아래 Table 4는 국내 D社 및 I社에서 개발한 건설기계(굴삭 기) AVM 시스템의 화면 및 세부 사양을 나타낸 것이다.
Table 4. AVM Systems for Construction Equipment (Domestic) Title Representative Drawing Contents
AVM System for Construction
Equipment (Company D.)
Specifications : 1) Angle of View : 190°
2) Range of AVM Display (Top-view) : Over 4m 3) Original Technology of AVM System at HD Resolution:
Japan F社 W-system
AVM System for Construction
Equipment (Company I.)
Specifications : 1) Angle of View : 190°
2) Range of AVM Display (Top-view) : Under 4m 3) Original Technology of AVM System at HD Resolution:
Japan F社 W-system
상기 두 업체를 통해 개발 중인 건설기계 AVM 시스템은 화각 190°의 어안렌즈를 통해 HD급(1280×720p) 영상획득을 수행하고 있으며, 이를 일본 F社 W-system에 접목하여 장 비 중심으로부터 최대 4m대 영역의 어라운드 뷰를 구현하고 있는 것으로 조사되었다. 두 시스템은 모두 장비의 사각지대 를 제거하여, 작업의 안전성 및 효율성을 극대화 시켜준다는 점에서 의의가 있으며, 특히 굴삭기 주변현황 전체를 모니터 링하면서 주행할 수 있고, 다수의 뷰 모드를 제공하기 때문에 정지(整地)된 지면 및 평탄한 포장도로에서의 주행 시 건설기 계 운전원의 장비 운용효율을 제고할 수 있는 것으로 분석되 었다.
반면 해당 기술은 넓은 영상인식 범위에 비해 장비로부터 먼 영역(원거리)의 영상에는 심각한 왜곡이 포함되어 어라운 드 뷰로 표현할 수 있는 영역이 제한되고, 적용하고 있는 원 천기술(F社 W-system)이 굴삭기가 아닌 승용차량을 대상 으로 개발된 기술이므로 건설기계의 특성이 반영되지 못하 고 있으며, 폐쇄적인 시스템 개발환경으로 인해 건설기계의 특성(붐, 암, 버킷 등)을 AVM 영상에 반영하는데 한계가 있 는 것으로 분석되었다. 또한 정지(整地)된 지면 및 평탄한 포 장도로 위에서만 영상의 테스트가 수행되었으나, 토공환경 은 지면 경사 및 굴곡에 따른 건설기계의 기울기 변화가 발 생할 수 있어 건설기계의 자세에 따라 AVM 영상에 심각한 오류(왜곡)가 포함될 수 있다는 문제점을 지닌 것으로 분석 되었다.
한편 F社 W-system을 활용한 건설기계 AVM 기술의 개 발은 다양한 장비(Linux 기반의 e-Binder, Linux OS eT- Kernel, Connected via YDC AdviceLUNA)를 구매하여 개 발환경을 구축해야 하는 등 개발환경 구축에 과다 비용이 소 요되고, 기술사용을 위한 라이선스 비용(Graphic Library, OMNIVIEW Library, eT-Kernel Library, 양산라이선스 등) 이 지속적으로 소요되는 등 개발 및 양산 비용 측면에 있어서 도 문제점이 있는 것으로 분석되었다.
따라서 본 연구에서는 국외에서 원천기술을 보유하고 있는 AVM 기술을 국산화하여 자체 개발함으로써 해당 분야의 원 천기술을 획득하고 해당 기술에 건설기계의 특성(붐, 암, 버 킷 등) 및 작업 효율성 제고를 위한 정보를 접목시켜 건설기 계만을 위한 독자적인 건설기계 AVM 시스템을 개발하고자 한다.
3. 건설기계 AVM 시스템 설계
3.1 건설기계 AVM 시스템의 표현정보 정의 본 연구에서는 건설기계 AVM 시스템 개발을 위한 표현정 보 정의 및 시스템 설계를 위해, 국내외 선행개발 기술 분석 및 기존 기술의 문제점 도출을 수행하고, 굴삭기를 활용하여 건설공사를 수행하고 있는 국내 현장조사를 통해 굴삭기에서 발생할 수 있는 안전사고 및 작업 생산성 저하요인 분석을 수 행하였다. 또한 상기 결과를 기반으로 건설기계 AVM 시스템 의 표현정보를 아래와 같이 3가지로 정의하였다.
3.1.1 건설기계 전방위(全方位) 영상표현기술 앞서 2.2절에서 왜곡보정 및 탑뷰 구현을 위한 선행연구 분 석을 수행한 결과, 현재까지 수행된 연구는 공통적으로 승용 차량을 위한 탑뷰 구현을 목적으로 연구 및 개발됨에 따라 탑 뷰로 구현된 영역이 비교적 협소하다는 한계점을 지니고 있 는 것으로 분석되었다. 또한 현재까지 개발된 국내 D社, I社 의 건설기계(굴삭기) AVM 시스템의 경우도 원천기술(F社 W-system)이 승용차량을 위한 기술로 개발됨에 따라 탑뷰 로 구현할 수 있는 영상의 범위에 한계가 있는 것으로 분석되 었다. 이는 원거리 영상에 대한 왜곡 보정은 난이도가 높은 영상 보정기술이고, 규모가 작은 승용차량을 대상으로 요구 되는 탑뷰의 영상은 원거리의 시각정보를 필요로 하지 않기 때문인 것으로 판단된다.
그러나 건설기계는 승용차량에 비해 규모가 크고, 주행목 적 외에도 작업(굴삭, 정지, 파쇄 등) 수행을 위한 별도의 시 각정보를 필요로 하므로, 작업 효율성 향상 및 안전성 제고를 위해 보다 넓은 영역의 왜곡보정 및 탑뷰 영상이 구현될 필요 가 있다. 따라서 본 연구에서는 건설기계에 특화하여 건설기 계의 제원을 반영할 수 있고, 작업영역에 대해 왜곡이 최소화 된 탑뷰 영상을 건설기계 운전원에게 제공할 수 있는 건설기 계 전방위(全方位) 모니터링(AVM) 기술을 개발하고자 한다.
해당 기술의 개발은 작업반경이 넓은 굴삭장비에서 보다 효 용성 있게 활용될 것으로 기대된다(Fig. 1).
Fig. 1. A Conceptual Design for Representing the AVM Image of Construction Equipment
3.1.2 건설기계 운용의 효율성 및 작업 생산성 제고 기술
굴삭기를 활용하여 건설공사를 수행하고 있는 국내 현장 조사를 통해 건설기계 운전원의 인터뷰를 수행한 결과, 현재 까지 국내에서 개발된 건설기계(굴삭기) AVM 시스템은 장 비 운전원이 어라운드 뷰 영상 내에서 붐, 암, 버킷 등의 움 직임을 판단하는 것이 불가능하고, 이를 표현하는 가이던스 장비와 병행하여 활용할 수 없어, 극히 제한적인 환경에서만 어라운드 뷰 영상의 활용이 가능한 것으로 조사되었다. 한 편, 현재 국내에서 개발된 건설기계(굴삭기) AVM 시스템은 원천기술(F社 W-system)의 폐쇄적인 시스템 개발환경으 로 인해 커스터마이징이 용이하지 않아 건설기계의 특성(붐, 암, 버킷 등)을 AVM 영상에 구현하는데 한계가 있는 것으로 분석되었다.
따라서 본 연구에서는 제공되는 AVM 환경 내에서 자신이 운용하고 있는 건설기계의 붐, 암, 버킷의 움직임(현재 위치), 굴삭기 선회 시 버킷 및 장비의 회전 반경, 지면과 버킷의 이 격거리 등 작업정보를 시각화하여 화면 내에 표현함으로써, 건설기계 운전원의 장비운용 효율성 및 작업 생산성을 제고 시킬 수 있는 시스템 UI를 구성하고자 한다.
3.1.3 건설기계 자세에 따른 영상 보정 기술 토공현장은 정지(整地)된 지면 및 평탄한 포장도로와는 다 르게 바닥면의 형태나 재질이 일정치 않으므로 작업환경에 따라 건설기계가 수평 자세를 유지하지 못하는 경우가 빈번 하게 발생한다. 4면에 설치된 카메라를 통해 취득된 영상을 보정하여 탑뷰로 제공하는 현재 AVM 기술의 특성상 건설기 계의 자세는 AVM 영상에 오류(왜곡)를 가져올 수밖에 없으 며, 이로 인해 작업 운용 지원 측면에서의 활용이 극히 제한 되는 문제점을 지니고 있다(Fig. 2).
Fig. 2. Distortion Adjustment Method of the AVM Image Reflecting Current Posture of Construction Equipment
AVM 시스템의 원천기술인 F社 W-system의 경우도, 평 탄한 포장도로에서의 상황만이 고려된 상용 차량의 AVM 시
스템으로 설계되었기 때문에 장비의 자세에 따른 영상 보정 기술을 보유하지 못하고 있는 것으로 조사되어, 장비 주행을 제외한 건설기계 운용 등 실용적 측면에서의 활용성에는 극 히 한계성이 있을 것으로 판단된다.
따라서 본 연구에서는 건설기계 자세의 변화에 따라 이를 반영하여 최적의 AVM 영상을 건설기계 운전원에게 제공할 수 있도록 하는 건설기계 자세에 따른 영상 보정 기술을 개발 하고자 한다. 개발 기술은 장비의 기울어진 각도와 영상의 인 식영역을 계산하여 자세에 따른 카메라별 최적의 AVM 영상 을 제공할 수 있도록 구현하고자 한다.
3.2 건설기계 AVM 시스템 개발을 위한 센서 및 하드웨어 선정
본 연구에서는 건설기계 AVM 시스템 개발의 핵심이 되는 하드웨어 장비인 CCD 센서를 선정하기 위한 실험실 실험을 수행하였으며, 실험실 실험의 결과와, 그 외 본 연구에서 개 발하고자 하는 건설기계 AVM 시스템 기능적 요소를 반영하 여, 시스템 구현을 위한 최적의 하드웨어를 선정하였다.
3.2.1 카메라(CCD 센서 및 렌즈) 선정을 위한 실험실 실험
본 연구에서는 건설기계 AVM 시스템의 영상 구현을 위해 먼저 건설현장에서 주로 활용되는 주요 굴삭기의 제원을 분 석하고, 카메라가 설치될 수 있는 카메라의 설치 위치 분석을 수행하였다. 분석 결과, 카메라는 건설기계의 제원에 따라 전 면 2.5~3.4m, 측면 1.5~2.5m, 후면 1.9~3.6m에 설치 가능 한 것으로 분석되어 본 연구에서는 실험을 위한 카메라의 설 치 높이를 1.5m~2.5m 사이로 설정하고, 해당 범위 내에서 변화를 주면서 실험실 테스트베드(6.0m×4.8m)에 대한 영 상취득 실험을 수행하였다. 영상취득 실험에 사용된 CCD 센 서의 종류는 기존 장비의 스펙과 동일한 HD급(1280×720p) 으로 설정하였으며, 적용되는 렌즈는 넓은 화각을 가지지만 왜곡률이 높은 화각 180°의 15㎜어안렌즈와, 비교적 작은 화 각을 가지나 왜곡률이 매우 낮은 화각 120°의 16㎜광각렌즈의 두 가지를 대표적인 비교대상으로 두고 실험을 수행하였다.
아래 Table 5는 선정된 CCD 센서 및 렌즈에 대한 실험실 실 험 결과를 나타낸 것이다.
설계된 실험 방법에 따른 실험실 실험 결과, 16㎜ 광각렌즈 의 경우 카메라의 설치위치가 높아짐에 따라 광각렌즈의 영 상 인식범위는 확대되었으나, 테스트베드(Test-bed)상의 모 든 영역의 영상을 취득하기에는 한계가 있는 것으로 판단되 었다. 또한 영상 합성을 위해서도 충분한 화각의 영상이 확보 되지 못함에 따라 낮은 왜곡률에도 불구하고 어라운드 뷰 구 현에는 부적합한 렌즈인 것으로 분석되었다.
반면, 15㎜ 어안렌즈의 경우 왜곡의 발생으로 인해 취득된 영상을 탑뷰로 구현하기 위한 별도의 왜곡보정 알고리즘 구
성이 필요하나, 카메라의 설치 위치가 높아짐에 따라 영상의 인식범위가 크게 증가하였으며, 90° 단위의 영상 합성이 가능 하므로, 어라운드 뷰 구현을 위해 적합한 화각을 지닌 렌즈인 것으로 분석되었다.
Table 5. Images Acquisited for the Selection of CCD Sensor and Experimental Results
Height 16㎜ Wide Angle Lens 15㎜ Fisheye Lens
1.5m
2.0m
2.3m
아래 Table 6은 본 연구에서 15㎜ 어안렌즈를 통해 취득된 영상을 활용하여 탑뷰 보정 테스트를 수행한 것으로서, QR분 해를 이용하여 왜곡상수를 초기화하고 왜곡보정 결과의 정확 성을 높이기 위해 정규화법을 사용하였으며, 원근변환을 통 해 탑뷰로 변환한 결과이다.
Table 6. Top-view Transformation Result using 15㎜ Fisheye Lens Before Top-view Transformation After Top-view Transformation
탑뷰 보정 테스트 수행 결과, 원근변환을 통한 보정만으로 는 변환 영상의 왜곡이 포함될 수밖에 없으며, 측면으로 갈수 록 영상의 왜곡이 심화되는 것을 확인할 수 있었다. 또한 변 환을 위해 영상의 손실이 다량 발생함에 따라 탑뷰로 표현할 수 있는 영역이 제한된다는 문제점을 확인할 수 있었다. 따라 서 본 연구에서는 원근변환과 왜곡보정 기능이 모두 포함된 알고리즘을 도입하여 건설기계 AVM 기술 개발을 수행해야 할 것으로 판단된다.
3.2.2 건설기계 AVM 시스템 구현을 위한 하드웨어 선정
본 연구에서는 앞서 수행된 실험실 실험 결과와 건설기계 AVM 시스템의 기능별로 요구되는 하드웨어의 종류를 반영 하여 아래 Table 7과 같이 하드웨어의 구성 및 제원을 선정하 였다. 본 연구의 하드웨어 구성은 HD급(1280×720p) 이상의 영상취득을 위한 CCD 센서(카메라), 초광각의 영상 취득을 위한 어안렌즈, 붐, 암, 버킷의 움직임 파악을 위한 앵글 센 서, 본체 장비의 기울기 측정을 위한 틸트 센서, 센서로부터 수신된 데이터 처리를 위한 AVM 프로세서 등으로 구성된다.
Table 7. Hardware Configuration of the AVM System for Construction Equipment
Title Representative Drawing Contents
AVM Processor
Processor for the calibration of image acquisition (Minimum specifications)
CPU : Intel Core i5System Chipset : intel IC8M HDD : SSD 256Gb Memory : DDR3 4Gb VGA : GMA 3150 I/O : USB 3.0 4Port Resolution : HDMI 1366×768
CCD Sensor
(4EA)
More than 720P(1280x720) HD level
Port : USB 3.0 / 2.0Frame Grabber 내장형 Resolution : 720p, 20fps 이상 Version : Color Version Lens Mount : C-mount Operating System : Windows
Fisheye Lens (4EA)
More than 720P(1280x720) HD level (Minimum specifications)
Mount : C-mount Angle of View : 170°Iris Range : F1.5
Tilt Sensor (1EA)
Sensing of changing equipment position
[INS(Roll, Pitch, Yaw) 대체 가능]Port : USB 2.0 USB Communications RGB status LED Two input buttons Angle
Sensor (3EA)
Sensing of Boom, Arm, and Bucket motion
Port : USB to CAN Operating System : Windows
3.3 건설기계 AVM 시스템 설계
본 연구에서는 앞서 도출된 하드웨어 선정 결과를 기반 으로 AVM 시스템의 하드웨어 설계를 수행하고, 건설기계 AVM 시스템의 기능 및 UI를 구성하였다. 아래 Figure 3은 본 연구에서 개발하고자 하는 건설기계 AVM 시스템 설계 및 시스템 UI 구성을 나타낸 것이다.
3.4 건설기계 AVM 시스템 알고리즘 설계 본 연구에서는 건설기계 AVM 시스템 알고리즘을 설계 하기 위해 앞서 조사된 왜곡보정 및 탑뷰 구현 알고리즘과 더불어, 어라운드 뷰 구현을 위한 어파인 트랜스폼(Affine Transform) 알고리즘, 건설기계 움직임(붐, 암, 버킷) 인식 및 디스플레이 알고리즘 등을 융합하여 건설기계 AVM 시스 템 알고리즘의 프로세스를 아래 Fig. 4와 같이 설계하였다.
각 알고리즘의 세부사항에 관한 설명은 다음과 같다.
Fig. 4. Image Processing Algorithm for the AVM System of Construction Equipment
3.4.1 영상획득(Image Acquisition)
영상획득 단계에서는 USB 카메라 4대를 굴삭기와 동일한 프레임에 고정 설치한 후 HD급(1280×720p)의 영상을 획득 하되 최대한 Refresh Rate를 떨어뜨리지 않고 카메라 4대의 영상을 획득해야 한다. 본 연구의 CCD 센서(USB Interface) 를 인식하기 위해서는 4개 이상의 USB 호스트 컨트롤러가 요구되며, CPU 리소스를 효율적으로 활용하기 위해 멀티 스 레드를 활용하여 CCD 센서(USB)를 제어하도록 하였다. 또
Fig. 3. Conceptual Architecture Design of the AVM System for Construction Equipment
한 큐(queue)의 적용을 통해 영상 및 영상 프레임이 일정하고 안정적으로 동작할 수 있도록 설계하였다.
3.4.2 카메라 영상보정(Camera Calibration) 카메라를 통해 취득된 영상은 카메라의 고정된 설치위치와 방향, 설치 각도에 따라 영상보정(Calibration) 작업을 필요 로 하며, 사용되는 렌즈 특성에 적합한 보정 또한 요구된다.
따라서 본 연구에서는 해당 보정 값인 Intrinsic Parameter, Distortion Parameter를 도출할 수 있도록 별도의 프로그램 을 적용하였으며, 영상 보정을 위해 4개 이상의 영상을 사용 하여 높은 정확도의 보정 값을 도출할 수 있도록 하였다. 또 한 왜곡보정 시 영상(화각)의 손실을 최소화 할 수 있도록 선 행연구 분석을 통해 조사된 “영상손실 최소화 왜곡보정 기법”
을 알고리즘에 적용하였다(Fig. 5).
Fig. 5. Distortion Adjustment Result for Minimizing Image Loss in the AVM System for Construction Equipment
3.4.3 탑뷰 변환
탑뷰 변환을 위해서는 가로 6칸, 세로 7칸으로 구성된 체커보드를 활용하여 Homography Matrix를 도출해야 한다. Homography Matrix 도출은 AVM 시스템 하드웨 어를 고정하고 1회 실시되며, 한번 생성하면 카메라의 위 치 및 방향이 변하지 않는 이상 계속 사용할 수 있다. 아래 Figure 6은 카메라 영상보정(Camera Calibration)이 이뤄 진 영상의 Homography Matrix 도출을 통한 탑뷰 변환의 예시이다.
Fig. 6. Top-view Transformation Result using Homography Matrix
3.4.4 어파인 트랜스폼(Affine Transform)
어파인 트랜스폼(Affine Transform) 단계는 탑뷰로 변환된 영상을 설치된 카메라의 전후좌우에 맞춰 회전, 확대/축소, 이동(Rotation, Scaling, Move) 시키고, 변환된 영상에서 사
용자가 필요한 영역(ROI; Region of Interest)만 추출하는 단 계이다. 아래의 Fig. 7에서 P0점은 사용자가 지정하며, P1점 과 P2점은 카메라 위치에 따라서 자동으로 계산되도록 구현 되었다.
Fig. 7. An Example of Affine Transform
3.4.5 워프맵(Warp Map)을 활용한 고속화 알고리즘 AVM 시스템 알고리즘의 전체 과정 중 ②카메라 영상보 정(Camera Calibration), ③탑뷰 변환, ④어파인 트랜스폼 (Affine Transform)의 과정을 매 프레임마다 반복할 경우 막 대한 CPU 리소스를 사용하게 되므로, 실제로 해당 방식을 통해 4대의 CCD 센서로부터 수집되는 영상을 처리하는 것 은 거의 불가능하다. 앞선 ②~④의 과정은 영상의 매 프레임 마다 동일한 계산과정이 반복되고, 입력영상에 관계없이 계 산결과가 동일하므로 본 연구에서는 AVM을 로드할 때 전체 과정을 단 한번만 계산하고 그 결과를 메모리에 저장(Warp Map)함으로써 AVM을 구현할 수 있도록 고속화 알고리즘을 구축하였다(Fig. 8).
Fig. 8. Simplification of AVM Conversation Process by Warp Map Application
3.4.6 AVM 디스플레이 및 영상보간(Interpolation) 본 연구에서는 4대의 CCD 센서로부터 수집되는 영상을 ② 카메라 영상보정(Camera Calibration), ③탑뷰 변환, ④어파 인 트랜스폼(Affine Transform)의 과정을 통해 아래 Fig. 9 와 같이 4개의 Raw영상과 변환된 AVM 영상을 동시에 표현 하도록 알고리즘을 구축하였다.
Fig. 9. AVM Display Proposed in this Study
③탑뷰 변환, ④어파인 트랜스폼(Affine Transform)은 실 제 영상을 늘이거나 줄이는 연산이 포함되므로, 영상보간 (Interpolation)이 반드시 수반되어야 한다. 따라서 본 연구에 서는 화소의 공백을 주변 8개 화소의 R,G,B 값의 평균으로 보간(interpolation)할 수 있도록 알고리즘을 설계하였다.
3.4.7 건설기계 움직임(붐, 암, 버킷) 인식 및 디스 플레이
본 연구에서는 건설기계 움직임(붐, 암, 버킷)을 인식하여 AVM 화면 위에 표현함으로써, 장비운용의 효율성, 작업 생 산성 및 안전성을 제고할 수 있도록 시스템을 구성하였다. 해 당되는 기술로는 ①AVM 기반 지면-버킷 이격거리 표현기 술, ②AVM 기반 붐, 암, 버킷 표현기술, ③AVM 기반 버킷 회전반경 표현기술의 3가지가 적용되었으며, 이를 AVM 화 면 위에 구성하기 위한 수식을 아래 Table 8과 같이 구성하여 시스템 알고리즘에 반영하였다.
Table 8. Formulas for Representing Boom, Arm and Bucket Motions of the Construction Equipment
Cross-Sectional Drawing of the Construction Equipment
H : Vertical height of the boom’s starting point from the ground A : The shortest length of a boom
B : Length of an arm
C : The shortest length between the boom’s starting point and arm’s ending point
α : Angle values of a boom β : Angle values of an arm γ : Angle values of a bucket
Classification Formula
Vertical length from the bucket to the
ground [Y]
Horizontal length of a boom [f]
Horizontal length of an arm [g]
Radius of rotation on a bucket [X]
Fig. 10. Entire User-interface of the AVM System for Construction Equipment Devised in this Study
4. 건설기계 AVM 시스템의 파일럿 타입 개발 및 실험결과분석
4.1 건설기계 AVM 시스템의 파일럿 타입 개발 본 연구에서는 앞서 3장의 연구를 통해 도출된 건설기계 AVM 시스템 설계 결과를 기반으로, 건설기계 AVM 시스템 의 파일럿타입을 아래 Fig. 10과 같이 개발하였다. 본 연구를 통해 개발된 건설기계 AVM 시스템 파일럿타입은 1)Raw 영 상, 2)AVM 디스플레이, 3)붐, 암, 버킷의 수평 움직임, 4)버 킷 회전반경, 5)건설기계 본체 회전반경, 6)지면-버킷 이격 거리, 7)건설기계 자세정보의 7개 모듈로 구성되어 있다.
4.1.1 Raw 영상
AVM 영상을 생성하는 과정(②카메라 영상보정(Camera Calibration), ③탑뷰 변환)에서는 영상 가장자리 일부분의 손 실이 발생하게 된다. 이러한 손실은 AVM 시스템의 어라운 드 뷰를 구성함에 있어서는 문제가 되지 않으나, 영상이 중첩 되는 부분에서 미세한 사각이 발생할 수 있다는 문제점을 지 닌다. 따라서 본 연구에서는 CCD 센서로부터 취득되는 Raw 영상을 사용자 화면에 표현함으로써 사각의 발생을 원천적으 로 예방하고, AVM 시스템의 활용성을 극대화하였다.
4.1.2 AVM 디스플레이
건설기계 360° 주변의 현황을 탑뷰의 형태로 디스플레이하 는 AVM 영상으로서, 왜곡이 최소화된 탑뷰의 영상을 정합하 여 하나의 AVM 디스플레이를 구현함으로써 그 활용성을 극 대화 하였다.
4.1.3 붐, 암, 버킷 표현
본 연구에서는 앵글 센서(Angle Sensor)를 활용하여 붐, 암, 버킷의 각도 정보를 수신하고, Table 8에서 사용된 계산 식을 활용하여, 건설기계의 움직임에 따라 붐, 암, 버킷의 모 션이 변화할 수 있도록 하는 표현기술을 구현하였다. AVM 영상 위에서 위와 같은 굴삭기의 거동이 탑뷰의 형태로 제공 될 경우 굴삭기 운전원의 작업 편의성 및 안전성은 크게 향상 될 수 있을 것으로 기대된다.
4.1.4 버킷 회전반경
버킷의 회전반경 표현기술은 현재 굴삭장비 버킷 끝단이 선회하는 반경을 시각적으로 표현하는 기술로서, 선회작업을 수행하는 건설기계에 있어 충돌사고 방지 및 작업효율성 제 고를 위해 적용된 기술이다.
4.1.5 건설기계 본체 회전반경
건설기계 본체 회전반경 표현기술은 건설기계 본체가 회 전할 경우 본체의 회전반경을 표현하는 기술로서 장비 주변 부의 장애물 및 사람과의 충돌을 방지하기 위해 적용된 기술 이다.
4.1.6 지면-버킷 이격거리
AVM 시스템은 장비 주변의 현황을 탑뷰의 형태로 구현 함에 따라 2D 기반으로 정보가 표현된다. 그러나 굴삭작업 은 붐, 암, 버킷의 위치뿐만 아니라 높이(깊이) 정보도 주요정 보로 활용되므로 2D 기반의 붐, 암, 버킷 표현 뿐 아니라, 지 면-버킷의 이격거리를 표현함으로써 건설기계 운용의 편의 성 및 안전성을 제고하고자 한다.
4.1.7 건설기계 자세정보
건설기계 자세정보는 현재 건설기계의 자세에 따라 발생가 능한 AVM 영상의 왜곡보정을 위한 기초 값으로 활용될 예정 이며, 장비에 자세에 따라 발생 가능한 전복사고 등을 방지하 기 위한 지표로도 사용된다.
4.2 실험실 실험을 통한 개선요구사항 도출 본 연구에서는 앞서 개발된 건설기계 AVM 시스템 파일럿 타입 현장실험 이전단계에서의 구동실험을 위해, 실내공간에 실험실(Test-bed)을 설계하고, 소형 굴삭기(D社 DX55) 제원 에 맞춰 제작된 가설장비에 AVM 시스템 하드웨어를 적용하 여 개발된 AVM 시스템의 검증 및 개선요구사항 도출을 수행 하고자 한다. 아래 Fig. 11은 소형 굴삭기 제원 중 가장 낮은 카메라 설치위치를 대상으로 설정된 가설장비와 가설장비를 활용한 실험의 방법을 나타낸 것이다.
Fig. 11. Temporary Equipment Manufactured for Laboratory Experiment and Experimental Method
본 연구에서는 개발된 건설기계 AVM 시스템 파일럿타입 의 성능검증을 위해 1)가설장비의 이동 및 장애물 인식 실험, 2)붐, 암, 버킷 각도(Angle) 값에 따른 AVM 구동 실험의 두 가지로 구분하여 실험을 수행하였다.
4.2.1 가설장비의 이동 및 장애물 인식 실험
본 연구에서는 준비된 가설장비에 건설기계 AVM 시스템 파일럿타입을 설치하고, 바닥면에 장애물을 구성하여 가설장 비의 전/후방 이동에 따른 AVM 영상의 구동 및 장애물 인식 실험을 수행하였다. 실험 결과, 가설장비의 이동에 따라 하단 부 AVM 영상이 정상적으로 구동됨에 따라 장애물의 식별이 충분히 가능하였으며, 최소 20fps 이상의 Refresh Rate를 확 보함에 따라 실시간으로 AVM 영상의 활용이 가능할 것으로 분석되었다(Fig. 12).
Fig. 12. Experimental Result for the Movement of Temporary Equipment and the Recognition of Obstacles
4.2.2 붐, 암, 버킷 각도(Angle) 값에 따른 AVM 구동 실험
본 연구에서는 가설장치를 제자리에 고정시켜두고, 앵 글 센서(Angle Sensor)로부터 획득되는 붐, 암, 버킷의 각도 값에 따른 AVM 영상의 변화를 확인하는 실험을 수행하였 다. 실험 수행 결과, 임의로 주어지는 앵글 센서의 값에 따라 Figure 13-a와 같이 Table 8의 계산식에 의해 산정된 붐, 암, 버킷의 위치정보를 수신할 수 있었으며, 수신된 위치정보에 따라 AVM 디스플레이 상에서 실시간으로 반영되는 것으로 확인되었다(Fig. 13-b).
Fig. 13. Verification of the AVM Operation According to Boom, Arm and Bucket Angle Values in Construction Equipment
4.2.3 실험실 실험을 통한 개선요구사항 도출 본 연구에서 적용하고 있는 영상의 보간(Interpolation) 방 법은 관심화소가 검은색(RGB 0,0,0)인 경우 주변 8개 화소의 (R,G,B) 값을 평균하여 보정하도록 설계되었다. 그러나 해당 보간(Interpolation) 방법은 검은색 화소가 뭉쳐있는 경우 보 간(Interpolation)을 수행한 뒤에도 검은색 화소가 뭉쳐있는 경우가 발생(Fig. 14-a)할 수 있고, 검은색 물체가 AVM 화면 상에 포함되는 경우 이를 보간(Interpolation)의 대상으로 판 단하여 영상이 훼손되는 현상(Figure 14-b)이 발생하였다.
따라서 이를 개선하기 위한 알고리즘의 수정이 필요할 것으 로 사료된다.
Fig. 14. Problem in the Current Interpolation Method Applied to the AVM System for Construction Equipment
또한 본 연구는 앞서 언급된 바와 같이 건설기계 AVM 시 스템 파일럿타입을 개발함에 있어, 그 적용대상을 소형 굴삭 기로 한정하였으나, 추후 다양한 건설기계 유형 및 제원에 적 용 가능할 수 있도록 칼리브레이션(Calibration) 모듈 개발이 수행되어야 할 것으로 사료된다.
5. 결론
본 연구에서는 건설기계 제원에 적합한 영역을 탑뷰로 표 현할 수 있고, 건설기계의 특성을 반영할 수 있는 건설기계 AVM 시스템 파일럿타입을 개발하고, 실험실 실험을 통해 시 스템의 개선요구사항을 도출하였다. 이를 위해 1)어라운드 뷰 구현을 위한 선행 알고리즘 및 국내외 건설기계 AVM 시스템 개발사례 분석, 2)건설기계 AVM 시스템 표현정보 정의, 3)건 설기계 AVM 시스템 하드웨어 선정 및 알고리즘 구축, 4)건 설기계 AVM 시스템 파일럿타입 개발, 5)실험실 실험을 통한 건설기계 AVM 시스템의 개선요구사항 도출을 수행하였다.
본 연구를 통해 얻은 결론은 다음과 같다.
1) 어라운드 뷰 구현을 위한 선행 알고리즘 및 개발기술현 황 분석 결과, 대부분의 기술은 차량형 장비에 한정하여 개발 됨에 따라 건설기계에서의 활용이 극히 제한되고, 일부 건설 기계 AVM 시스템의 경우도 적용되는 원천기술의 알고리즘 이 승용차량을 대상으로 개발됨에 따라 탑뷰로 표현할 수 있 는 영상영역이 제한되고, 건설기계의 특성을 반영하지 못한 다는 한계점을 지닌 것으로 조사되었다.
2) 건설기계 AVM 시스템의 개발요구사항 분석결과, 건설 기계 AVM 시스템의 표현정보를 1)건설기계 전방위(全方位) 영상표현기술, 2)건설기계 운용의 효율성 및 작업 생산성 제 고기술, 3)건설기계 자세에 따른 영상 보정 기술의 3가지로 정의하였다.
3) CCD 센서 선정을 위한 실험실 실험 결과, 15㎜ 어안렌 즈를 활용할 경우 탑뷰로 구현을 위한 별도의 왜곡보정 알고 리즘 구성이 필요하나, 카메라의 설치 위치가 높아짐에 따라 영상의 인식범위가 크게 증가하였으며, 90° 단위의 영상 합성 이 가능하므로, 어라운드 뷰 구현을 위해서는 초광각의 어안
렌즈가 적합한 것으로 분석되었다.
4) 개발된 건설기계 AVM 시스템 파일럿타입의 구동실험 을 위한 Test-bed를 설계하고 실제 건설기계를 대상으로 한 현장실험 이전단계에서, 제작된 가설장비에 AVM 시스템 하 드웨어를 적용하여 실험실 실험을 수행하였다. 실험실 실험 을 통한 개발 시스템의 성능분석 결과, 최소 20fps 이상의 영상 Refresh Rate를 확보함에 따라 장비주변의 현황(장애 물, 사람 등)에 대한 실시간 모니터링이 가능하고, 앵글 센서 (Angle Sensor)를 통해 수집된 데이터를 토대로 붐, 암, 버 킷의 현황이 AVM 디스플레이 위에 적합하게 표현되는 것을 확인할 수 있었다. 또한 1)AVM 영상의 품질 향상을 위한 보 간(Interpolation) 방법의 개선, 2)다양한 건설기계 유형 및 제원에 적용 가능할 수 있도록 이를 지원하는 칼리브레이션 (Calibration) 모듈의 개발이 필요한 것으로 분석되었다.
본 연구를 통해 개발된 건설기계 AVM 시스템 파일럿타입 은 건설기계 특성이 반영된 최초의 AVM 시스템이라는 점에 서 기술의 창의성 및 진보성을 지니고 있다고 판단되며, 추후 본 연구를 통해 개발된 기술을 적용하여 건설기계 AVM 시스 템 실용화 모델이 개발될 경우, 건설기계 운용의 용이성 증가 로 인한 작업 생산성 향상 및 안전사고 감소는 물론, 개발 기 술의 국산화를 통한 기술력 확보 및 국제 시장에서의 경쟁력 확보가 가능할 것으로 기대된다.
감사의 글
본 연구는 국토교통부/국토교통과학기술진흥원 건설기술 연구사업의 연구비지원(14SCIP-B079344-01)에 의해 수행 되었습니다.
References
Ahn, R. S., Luo, L. B. and Chong, J. W. (2010). “Real- time implementation of top-view system for camera on vehicle.” Proceeding of the Institute of Electronics and Information Engineers Summer Conference, 33(1), pp. 1219-1222.
Chae, M. J., Lee, G. W., Kim, J. R., Park, J. W., Yoo, H. S. and Cho, M. Y. (2009). “Development of the 3D imaging system and automatic registration algorithm for the intelligent excavation system (IES)”
Korean Journal of Construction Engineering and Management, KICEM, 4(3), pp. 136-145.
Cho, Y. J., Kim, S. H., Park, J. Y., Son, J. W., Lee, J. R.
and Kim, M. H. (2010). “Image data loss minimized geometric correction for asymmetric distortion
fish-eye lens.” Journal of the Korea Society for Simulation, 19(1), pp. 23-31.
Continental, “ProViu®ASL360”, <http://www.
continental-automotive.com> (Apr. 11, 2016).
FUJITSU, “360° Wrap-Around Video Imaging Technology” <http://www.fujitsu.com> (Apr. 11, 2016) .
ImageNEXT, “OMNIVUE 3D VGA”, <http://www.
imagenext.co.kr> (Apr. 11, 2016).
Jo, Y. S., Display device for a construction machine. KR Patent, 10-2013-0088051, Aug. 07, 2013.
Kim, J. H. and Seo, J. W. (2011). “BIM based intelligent excavation system.” Journal of KIBIM, 1(1), pp. 1-5.
Kim, J. I. and Kwon, G. R. (2014). “Perspective transformation using top-view parking assistance system.” Journal of KIIT, 12(7), pp. 43-49.
Kim, S. H. (2008). “Geometric correction of fish- eye lens images for wide-angle view generation.”
Thesis, Ewha Womans University.
KOSCA (2015). “statistical yearbook of contract performance in 2014”, <http://www.kosca.or.kr>
(Apr. 11, 2016).
Lee, D. H.; Kim, T. H., Subsea installations, underwater-work-systems & underwater work methods. KR Patent, 10-2014-0013209, Feb. 05, 2015.
Lee, K. J., Choi, Y. J. and Park, T. K. (2009). “Studies on the ways to improve usability of construction machinery for production efficience.” Proceedings of Korea Institute of construction engineering and management Annual Conference for students, pp.
112-116.
Ministry of Employment and Labor (2015). The analysis of industrial accident.
Ministry of Land, Infrastructure, Transport and Tourism (2013). Technology development to utilize construction robot.
PSVT, “VIRTUAL 360” <http://www.psvt.com> (Apr. 11, 2016).
Toda Construction Co., Ltd., Method and equipment for demolishing tower-like structure. JP Patent, 18097306, Apr. 13, 2006.
Yoo, H. S., Park, J. Y., Choi, Y. N. and Kim, Y. S.
(2011). “Object detection from 3D terrain data gender ated by laser scanner of intelligent excavating
system(IEs).” Korean Journal of Construction Engineering and Management, KICEM, 12(6), pp.
130-141.
요약 :
최근 건설 중장비 운용의 용이성 향상, 작업 효율성 제고 및 안전성 향상을 위해 어라운드 뷰 모니터링(Around View Monitoring) 시스템을 건설 중장비에 적용하려는 시도가 증가하고 있다. 그러나 현재까지 개발된 대부분의 선행기술은 차량형 장 비를 위해 개발되었으며, 일부 건설 중장비에 적용되고 있는 AVM 시스템의 경우도 원천기술이 차량형 장비를 대상으로 개발됨에 따라 건설 중장비의 특성을 반영하지 못하고, 탑뷰로 표현할 수 있는 영역이 제한된다는 한계점을 지닌 것으로 분석되었다. 따라 서 본 연구의 목적은 건설 중장비에 특화된 건설 중장비 AVM 시스템의 파일럿타입을 개발하는 것이다. 이를 위해 본 연구에서는 선행연구 및 기술개발동향 분석, 개발 요구사항 도출, 최적 센서 선정, 시스템 디자인, AVM 알고리즘 구축 등을 수행하여 건설 중 장비 AVM 시스템 파일럿타입의 개발하고, 실험실 실험을 통해 시스템의 개선요구사항을 도출하였다. 개발된 시스템을 활용한 실 험실 실험 결과, 최소 20fps 이상의 영상 Refresh Rate를 확보함에 따라 장비주변의 현황(장애물, 사람 등)에 대한 실시간 모니터 링이 가능하고, 앵글 센서(Angle Sensor)를 통해 수집된 데이터를 토대로 붐, 암, 버킷의 현황이 AVM 디스플레이 위에 적합하게 표현되는 것을 확인할 수 있었다. 또한 1)AVM 영상의 품질 향상을 위한 보간(Interpolation) 방법의 개선, 2)다양한 건설 중장비 유형 및 제원에 적용 가능할 수 있도록 이를 지원하는 칼리브레이션(Calibration) 모듈의 개발이 필요한 것으로 분석되었다.
키워드 :
