증강현실 기반 농업용 환경 정보 관리 시스템 *
An Environment Information Management System for Cultivation in Agricultural Facilities using Augmented Reality
김민지1․김종호1․고진광2․이성근1†․이재학3
순천대학교 멀티미디어공학과1, 순천대학교 컴퓨터공학과2, 송원대학교 전기전자공학과3
요 약
본 논문은 농지에 구축된 LoRa기반 무선통신망으로부터 수집되는 다양한 환경 센싱 데이터를 스마트폰의 스크린에 증강시켜 시각화하는 증강현실 기반의 농업용 환경 정보 관리 시스템을 제안한다. 제안된 시스템은 사용자가 스마트폰 카메라로 농지를 비추면 그곳에 설치된 다양한 센서로부터 수집된 환경 정보를 스마트폰 스크린의 영상에 증강시켜 시각화한다.
따라서 기존 시스템이 농업 시설물을 검색한 후 센서를 선택하는 번거로운 과정을 거친 후 나열식으로 환경 정보를 제공하는 것에 비해 제안하는 시스템은 이러한 과정 없이 스마트폰의 카메라 영상에 증강되어 나타난다. 원하는 정보를 습득하는 방식이 그림이나 영상인 특징 때문에 보다 더 쉽게 정보를 제공받을 수 있어 농업 재배지의 편리한 모니터링 및 효율적인 관리가 가능하다.
■ 중심어 : 증강현실, 농업 환경 정보 관리, 스마트 농업, 무선 센서 네트워크 Abstract
In this study, an augmented reality(AR)-based information management system for agricultural facility is proposed.
Using a variety of sensed data transmitted by Lora-based wireless networks deployed at the agricultural facility, this system is capable of augmenting the sensed data and displaying them on the user's smartphone screen to provide visualized information to user. When users point their smartphone camera to the agricultural facility, the environment information collected from numerous sensors installed at the facility would be visualized and appear on the screen. Unlike traditional system which requires user to search a specific facility and then select sensor(s) to obtain the environment information, the proposed system shows the information on smartphone screen by augmenting it with real image captured by camera without doing a series of time-taking selection process. Since the way of acquiring information is through image or video, this system contributes to convenient monitoring and efficient management for agricultural facility.
■ Keyword : Augumented Reality, Environment Information Management for Agricultural Facilities, Smart Agriculture, Wireless Sensor Networks
2018년 12월 11일 접수; 2018년 12월 12일 수정본 접수; 2018년 12월 31일 게재 확정.
* “본 연구는 과학기술정보통신부 및 정보통신기술진흥센터의 대학ICT연구센터육성지원사업의 연구결과로 수행되었음”
(IITP-2018- 2013-1-00877)
†교신저자 sklee@scnu.ac.kr
Ⅰ. 서 론
최근, 최근 농·축산업을 둘러싼 환경 변화에 따라 생산, 가공, 유통 등 부가가치를 증대시키 는 농업의 미래를 위한 다양한 기술이 활발히 시도되고 있다. 특히 IoT(Internet of Things), ICT(Information and Communication technology) 등의 신기술을 농업 분야의 생산 과정 전반에 접목시켜 진보된 IT 융합 서비스들이 삶의 질 향상을 도모하는 형태로 연구가 진행되고 있다.
그러나 농업 종사자의 고령화로 인해 이러한 서 비스에서 제공하는 데이터를 이해하고 활용하 기 어렵기 때문에 보다 직관적이고 편리한 환경 정보 관리 시스템이 요구되고 있다. 이러한 문 제를 해결하기 위해 다른 분야에서는 증강현실 기술을 이용하여 현실세계의 정보에 가상의 정 보를 합성하여 시각화함으로써 사용자에게 향 상된 몰입감과 현실감을 제공한다[1-4]. 방송, 쇼핑, 의료, 교육, 군사, 게임, 건축, 조선, 제조업 등의 다양한 분야에 적용이 되고 있으나, 농업 분야에 적용하는 연구는 시작 단계에 있다.
또한 시설하우스, 축사, 노지와 같은 다양한 부류의 농업용 재배지에서는 넓은 면적으로 인해 무선 통신 네트워크 구축에 어려움이 있 다. 와이파이, 지그비와 같은 무선 통신 기술은 비교적 근거리로 넓은 면적에 적용하기에는 많은 비용이 드는 단점이 있다. 최근 LoRa 무 선통신 모듈이 대중화됨으로써 1Km 이상의 장거리를 저렴한 비용으로 통신할 수 있게 되 었다[5][6].
본 논문은 농업 재배지에 구축된 장거리 무선 통신 기술인 LoRa 네트워크로부터 수집되는 다 양한 환경 센싱 데이터를 스마트폰의 스크린에 증강시켜 시각화하는 증강현실 기반의 농업 재 배지 환경 정보 관리 시스템을 제안한다. 제안 된 시스템은 사용자가 스마트폰 카메라로 농업 시설물을 비추면 그곳에 설치된 다양한 센서들
로부터 수집된 환경 정보를 스마트폰 스크린 영 상에 증강시켜 시각화한다.
따라서 기존 시스템이 농업 시설물을 검색한 후 센서를 선택하는 번거로운 과정을 거친 후 나열식으로 환경 정보를 제공하는 것에 비해 제 안하는 시스템은 이러한 과정없이 스마트폰의 카메라 영상에 증강되어 나타난다. 원하는 정보 를 습득하는 방식이 그림이나 영상인 특징 때문 에 보다 더 쉽게 정보를 제공받을 수 있어 농업 시설물에 대한 편리한 모니터링 및 효율적인 관 리가 가능하다.
본 논문의 구성은 다음과 같다. 2장에서는 관 련연구로 증강현실 기술들에 대해 기술하고, 3 장에서는 제안하는 증강현실 기반 농업용 환경 정보 시스템을 설계한다. 4장에서는 구현된 결 과를 보이고, 마지막 5장에서는 결론을 맺는다.
Ⅱ. 관련연구
증강현실(Augmented Reality, AR)은 가상현 실(Virtual Reality, VR)의 한 형태로 현실 세계 에서 얻어내기 어려운 부가적인 정보들을 보강 해서 제공해, 새로운 정보를 습득하거나 일의 수행을 돕는다. 증강현실은 부가 정보를 갖는 실제 환경과 가상세계를 합쳐 하나의 영상으로 보여주어 혼합된 형태를 띠게 되며 이를 혼합현 실(Mixed Reality, MR)이라고도 한다[7].
증강현실을 구현하기 위한 기술은 다양하다.
구현에 필요한 주요 핵심 기술로는 객체의 움직 임, 위치, 방향 등에 대한 추적(Tracking) 기술, 컴퓨터 그래픽을 통해 가상의 영상을 만들어 내 는 기술, 실제 영상의 위치에 가상의 영상을 정 확하게 배치하는 정합(Registration) 기술 그리 고 사용자와의 상호작용을 처리하는 사용자 인 터페이스(User Interface) 기술 등이 있다[3]. 그 림 1은 증강현실 시스템 구성을 나타낸다.
현실세계에서 카메라로 촬영한 영상 데이터를
<그림 1> 증강현실 시스템 구성
<그림 2> 센서 기반 증강현실 구현 원리
전송하면, 비디오 인터페이스(Video Interface)를 통해 그 이미지를 사물의 위치와 움직임, 속도 나 방향 등을 추적하는 기능을 수행하는 추적 (Tracking) 모듈로 전달한다. 렌더링(Rendering) 모듈에서는 추적 모듈을 통해 파악된 사물의 위 치를 기반으로 가상 물체의 생성이나 제거 작업 을 거쳐 증강 이미지를 생성한다. 그 후 병합 (Merging) 모듈에서 생성된 가상 물체나 좌표계 간의 거리와 방향을 측정하고 간섭 여부를 확인 하여 화면(Display)을 통해 증강현실이 표현된 다[4]. 이러한 기술들은 센서 기반 기술과 비전 기반 기술로 나눌 수 있다.
센서 기반 기술은 그림 2에 나타낸 바와 같이 카메라나 GPS, RFID, 가속도 센서, 자이로스코 프 등의 다양한 센서를 이용하여, 사물의 움직 임과 위치, 속도, 방향 등을 정밀하게 추적하여 화면에 나타낼 증강 위치를 파악하여 관련 콘텐 츠를 시각화하는 기술이다. 비교적 쉽게 구현할 수 있기 때문에 많은 활용 분야를 가지고 있지
만 특정 위치에서 정확하게 정보를 증강시키는 것이 어렵다는 단점을 가진다[8][9].
비전 기반 기술은 입력 영상으로부터 특징점 을 인식하고 추적하여 움직임을 실시간으로 추 적하는 방법이 적용되며, 크게 마커 기반과 비 마커 기반 기술로 분류할 수 있다. 마커 기반 방식은 카메라 등을 이용해 획득한 영상이나 QR코드와 같은 마커를 인식, 추적하고 매핑하 는 기술이다. 마커를 통해 인식하기 때문에 특 정위치에 정확한 정보를 증강시킬 수 있으나, 마커가 손상되거나 카메라 각도가 좋지 못할 경 우 콘텐츠 구현이 어려워진다는 단점을 가진다.
비마커 기반 방식은 카메라를 통하여 촬영된 이 미지와 비교할 대상인 물체를 필터링하고 이를 비교하여 관련된 정보를 제공한다. 마커 인식 증강현실보다 훨씬 정교한 이미지 등록 및 인식 기술이 요구되며 비슷한 사물에 대해서는 인식 률이 떨어지는 단점이 있다.
본 논문에서 제안하는 증강현실 기술은 야외
<그림 3> 시스템 개요도 에서 여러 시설하우스, 축사, 노지를 대상으로
하므로 비전 기반 기술보다는 센서 기반의 증강 현실 기술을 활용한다.
Ⅲ. 증강현실 기반 농업용 환경 정보 관 리 시스템 설계
본 논문에서 제안하는 시스템은 증강현실 기 반의 농업용 환경 정보 관리 시스템으로서 크 게 환경 센서, 싱크 노드 그리고 사용자에게 환 경 정보를 제공하는 증강현실 스마트폰 애플리 케이션으로 구성된다. 환경 센서들은 여러 재 배지의 환경 정보를 센싱하여 얻은 데이터를 LoRa 무선 통신을 이용해 싱크 노드로 전송한 다. 인터넷과 연결된 싱크 노드를 통해 관리자 가 시설하우스 외의 현장에서 스마트폰 애플리 케이션을 이용하여 실내 환경 정보를 관리할 수 있게 해주는 시스템이다. 그림 3은 증강현실 기반의 농업용 환경 정보 관리 시스템의 개요 도이다.
3.1 환경 데이터 관리
농작물 재배지의 환경 정보를 사용자에게 증 강현실 서비스하기 위한 환경 데이터 수집을 위 한 센서 노드를 그림 4와 같이 구성하였다.
<그림 4> 환경 센서 노드 구성도
환경 센서는 ESP8266을 MCU로 채택하고 위 치정보를 위한 GPS 모듈과 고정밀의 DHT22 온 습도 센서, 토양습윤량 센서, 그리고 센싱 된 환 경 데이터를 싱크 노드로 전송하기 위한 LoRa 모듈로 구성된다. 환경 센서는 주기적으로 온습
도 데이터를 수집하고 수집된 데이터를 LoRa 모듈로 전송한다. 싱크 노드는 여러 환경 센서 데이터를 수집, 저장, 관리하며, 스마트폰 사용 자의 요청에 따라 해당 환경 센서의 데이터를 서비스한다.
싱크 노드는 IoT분야에서 널리 활용되고 있는 라즈베리파이3를 기반으로 LoRa 무선트랜시버 에 연결하여 환경 센서 노드와 통신하며 이더넷 을 통해 인터넷에 연결되어 스마트폰 사용자에 게 데이터를 서비스한다.
3.2 증강현실 기반 환경 정보 서비스 사용자에게 시설하우스, 축사, 노지 시설물 등의 환경 정보를 제공하기 위해서는 스마트폰 에 내장된 GPS 위치정보를 바탕으로 주위 시설 물들과의 거리, 방향을 계산하고 이를 스마트폰 화면에 증강시켜 나타내도록 해야 한다. 스마트 폰에 내장된 GPS 위치 센서, 나침반 센서, 기울 기 센서를 이용하여 스마트폰 스크린에 증강시 키는 구성은 그림 5와 같다.
<그림 5> 센서기반 증강현실 개요도
스마트폰에 탑재된 GPS 센서의 데이터를 읽 어 들여 위도, 경도를 얻어내며, 카메라의 방향은 지자기 센서와 자이로스코프 센서의 값을 읽어
들여 계산한다. 다음 표 1은 스마트폰 스크린에 증강시키기 위해 사용되는 데이터를 나타낸다.
필드명 데이터 구조 설명
GPS [latitude], [longitude]
스마트폰 위치의 GPS좌표 [위도],
[경도]
Heading [magnetic_bearing], [true_bearing]
스마트폰 카메라의 방향
Gyroscope
[rotation_x], [rotation_y],
[rotation_z]
스마트폰의 x, y, z 회전각에 대한
라디안 값
<표 1> 스마트폰 센서 데이터 테이블
제안한 증강현실 기반의 농업용 환경 정보 관 리 시스템은 센서 노드의 위치 및 온습도 데이 터를 제공한다. 환경 센서가 데이터를 수집하고 싱크 노드가 이를 저장, 관리하며 사용자의 스 마트폰에 증강시켜 사용자에게 서비스하는 전 체 과정은 그림 6과 같다.
먼저 환경 센서들은 10초 간격으로 시설하우 스 내의 온도와 습도를 센싱하고 센싱 된 데이 터를 LoRa 무선통신을 이용해 싱크 노드로 전 송한다. 증강현실 서비스를 이용하는 사용자 스 마트폰은 싱크 노드에게 환경 센서 목록을 요청 하고 싱크 노드는 환경센서 목록을 반환한다.
스마트폰은 수신한 환경 센서 목록 중에서 거리, 방향을 고려하여 증강시켜 시각화할 환경 센서 데이터를 요청하고 싱크 노드는 요청받은 데이 터를 서비스한다. 스마트폰은 수신 받은 환경 데이터를 증강시켜 사용자에게 시각화 서비스 를 제공한다.
Ⅳ. 구현 결과
4.1 환경 센서 및 싱크노드
본 논문에서 구현한 환경 센서와 싱크노드를
<그림 6> 농업용 환경 정보 관리 서비스 순차 다이어그램 그림 7에 나타내었다. 환경센서 노드는 ESP8266
MCU에 LoRa무선 통신 모듈, DHT22 온습도 센 서, 그리고 GPS 모듈을 연결하여 구현하였다.
싱크노드는 라즈베리파이3에 LoRa 모듈을 연결 하여 구현하였다.
<그림 7> 환경센서와 싱크 노드 구현 결과
싱크 노드는 여러 환경 센서들의 데이터를 저 장, 관리하며 사용자에게 서비스하는 역할을 수 행해야 한다. 이를 위해 탑재된 소프트웨어는 표 2와 같다.
항목 사양
운영체제 Raspbian(Linux Kernel 4.4)
데이터베이스 Maria DB 10
사용언어 C
추가 라이브러리 WiringPi
<표 2> 싱크 노드 소프트웨어
Linux 기반의 운영체제에서 C언어를 이용해 시리얼 통신 소프트웨어를 제작하여 LoRa 모듈 로부터 환경 센서 데이터를 수신하고 이를 MariaDB에 저장하여 관리한다. 그리고, TCP 소 켓 통신을 이용해 사용자 스마트폰의 요청에 따 라 시설하우스 환경 데이터를 전송한다.
(a) 정면 (b) 왼쪽으로 방향 회전
(c) 후면 (d) 측면
<그림 8> 스마트폰 구현 결과 4.2 증강현실 스마트폰 어플리케이션 구현
본 논문에서 제안하는 농업용 환경 정보 관리 시스템에서 서비스하는 데이터를 시각화하는 스마트폰 애플리케이션을 구현하기 위한 개발 환경은 표 3과 같다.
항목 사양
스마트폰 운영체제
최소 사양 Android 4.0 구현 사양 Android 4.4.2
사용언어 Java
추가 라이브러리 Google APIs
<표 3> 스마트폰 애플리케이션 개발 환경
테스트를 위해 시설하우스 3개에 각각 환경 센서들을 설치하였으며, 온습도 데이터를 실시 간으로 수집하여 이를 싱크 노드에 전송하도록 하였다. 스마트폰에서 싱크 노드를 통해 서비스 받아 증강시켜 화면에 출력된 결과는 그림 8과 같다.
Ⅴ. 결론
현재 개발된 농업용 환경 정보 시스템들은 다 양한 멀티미디어 데이터를 제공하지만, 농업 종 사자의 고령화로 인해 이들 데이터를 이해하고 활용하기 어려워 보다 직관적이고 편리한 환경 정보 관리 시스템이 요구되고 있다.
이러한 문제를 해결하기 위해 증강현실 기술 을 이용하여 현실세계의 정보에 가상의 정보를 합성하여 시각화함으로써 사용자에게 향상된 몰입감과 현실감을 제공하는 증강현실 기반의 농업용 환경 정보 관리 모델이 필요하다.
본 논문에서는 증강현실 기술을 이용하여 스 마트폰에 시각화된 영상으로 농작물 재배지 및 시설물들의 여러 환경 데이터를 관리할 수 있는 증강현실 기반 농업용 환경 정보 관리 시스템을 제안하였다. 제안된 시스템은 증강현실 기술을 이용하여 시설하우스, 축사, 노지 등의 환경 정 보를 스마트폰의 카메라 영상과 합성하여 시각 화하여 농업 종사자들에게 제공한다. 이를 통해 기존 시스템에 비해 보다 향상된 몰입감과 편리 한 사용이 가능할 것으로 기대된다.
향후, 본 논문에서 제안한 증강현실 기반의 시설하우스 정보 관리 시스템에 환풍기, 개폐기, 난방기, 제습기, 관수 시스템을 제어하는 기능을 추가함으로써 직관적이고 편리한 인터페이스를 제공하는 복합 제어 및 관리 시스템으로 확장하 는 것에 대한 연구가 필요하다.
참 고 문 헌
[1] Haller, M., billinghurst, M. and Bruce, T. “Emerging Technonologies of Augmented Reality: Interfaces and design”, Idea Group Publishing, 2007.
[2] Caudell, Thomes P. “Introduction to Augmented Reality”, Spie Proceedings Volume 2351:
Telemanipulator and Telepresence Technologies, pp. 272-281, 1994.
[3] Julie Carmmigniani, Borko Furht and Marco Anisette, “Augmented Reality Technologies, Systems and Applications” Multimedia Tools and Applications, pp. 314-377, 2011.
[4] Azuma, Ronald T. “A survey of augmented reality.”
Presence: Teleoperators & Virtual Environments 6.4, pp. 355-385, 1997.
[5] Lora : https://lora-alliance.org/
[6] Reda, H.T., Daely, P.T., Kharel, J. and Shin, S.Y., On the application of IoT: Meteorological in- formation display system based on LoRa wireless communication. IETE Technical Review, 35(3), pp. 256-265, 2018.
[7] Caudell, Thomas P. and David W. Mizell.
“Augmented Reality: An Application of Heads-Up Display Technology to Manual Manufacturing Processes”, Proceedings of Hawaii International Conference on System Sciences, pp. 659~669, 1992.
[8] B.H.JO, “Mobile Augmented Reality Technology Trends”, IT planning series, NIPA, pp. 16~23, 2013.
[9] 오지현, “모바일 환경에서의 하이브리드 방식을 이용한 증강현실 시스템”, 한양대학교, 2008.
저 자 소 개
김 민 지(Min-ji Kim)
․2016년 : 순천대학교 멀티미 디어공학과 (학사)
․2018년 : 순천대학교 멀티미 디어공학과 (석사)
․관심분야 : Augmented Reality, Internet of Things
김 종 호(Jong-Ho Kim)
․1998년 : 한양대학교 전자통 신공학과(공학사)
․2008년 : 한양대학교 대학원 전자통신공학과(공학박사)
․2008년∼2009년 : 삼성전자 통신연구소 책임연구원
․2009년∼현재 : 순천대학교 멀티미디어공학과 교수
․관심분야 : 영상압축, 컴퓨터비전, VR/AR
이 성 근(Sung-Keun Lee)
․1985년 고려대학교 전자공 학과 학사 졸업.
․1987년 고려대학교 대학원 전자공학석사 졸업
․1995년 고려대학교 대학원 전자공학 박사 졸업
․1997년 3월 ~ 순천대학교 멀티미디어공학과 교수
․관심분야 : IoT, wireless sensor network, multi- media communication, Internet QoS and machine learning for agriculture>
고 진 광(Jin-Gwang Koh)
․홍익대학교 공과대학 컴퓨 터공학과 이학사·이학석사·
이학박사
․1988.3. - 현재 순천대학교 공 과대학 컴퓨터공학과 교수
․관심분야 : 데이터베이스, Wireless Sensor Networks.
이 재 학(Jae-Hak Lee)
․중앙대학교 전기공학과 공 학사· 공학석사·공학박사
․2017.3. - 현재 송원대학교 전 기전자공학과 교수
․관심분야 : Electric Power ICT, IoT Contol
