논문 2013-50-12-13
증강현실을 통한 WSN 데이터 가시화
( WSN Data Visualization using Augmented Reality )
박 진 관*, 정 민 아**, 김 경 호***, 이 성 로*****
( Jin-Gwan Park
ⓒ, Min-A Jung, Kyoung-Ho Kim, and Seong-Ro Lee )
요 약
본 논문은 실내에 구축된 무선센서네트워크 데이터를 효과적으로 가시화하기 위해 증강현실을 통한 WSN 모니터링 시스템 을 제안한다. 본 논문에서 제안하는 시스템을 구현하기 위해서는 무선센서네트워크, 실내위치측위, 위치기반 증강현실 기술의 연동이 필요하다. 이를 위해 먼저, 실내에 무선센서네트워크 환경을 구성하고 웹서버를 구축한 후, 안드로이드폰을 이용하여 서버 DB에서 데이터를 획득한다. 다음으로 사용자의 (x, y) 좌표를 측위하기 위해 실내에 설치된 AP중에서 신호세기가 가장 강한 3곳의 RSSI를 수집하여 삼각측량법을 통해 좌표를 얻는다. 그리고 칼만필터를 통해 위치를 보정하였다. 마지막으로, 칼만 필터를 통해 보정된 (x, y) 좌표를 Mixare에서 사용하는 GPS 신호의 위도와 경도에 대입하고, 현재 사용자의 위치와 서버 DB 에 저장되어 있는 무선센서들의 위치를 획득하였다. 그 후, 안드로이드폰을 사용하여 현실세계의 영상과 무선센서의 위치 및 데이터를 정합하여 증강현실을 구현하였다.
Abstract
We proposed the WSN monitoring system applied the augmented reality to visualize effectively an indoor WSN. To implement system, we used wireless sensor network, indoor location determination, location-based augmented reality technology. First, we composed the wireless sensor networks indoors and implement web server and then get data from server DB using Android phones. Then, we obtained the (x, y) coordinates using the triangulation method from RSSI of three point of the strongest signal strength of the AP's. Also, we adjusted coordinates using the Kalman filter. Finally, we inserted the adjusted coordinates to the latitude and the longitude of the Mixare that use the GPS signal, and we got location of user and wireless sensor in the server DB. After that, we implemented augmented reality system using the android phone and wireless sensor location and data and real life image.
Keywords: AP, RSSI, AR, Kalman Filter, WSN, Indoor location
* 정회원, ** 정회원, 목포대학교 컴퓨터공학과
(Dept. Computer Engineering, Mokpo National University)
*** 정회원, 목포대학교 정보통신공학과
(Dept. of Information and Communication Engineering, Mokpo National University)
**** 정회원, 목포대학교 전자공학과
(Dept. of Electronics Engineering, Mokpo National University)
ⓒ Corresponding Author(E-mail: [email protected])
※ 본 연구는 미래창조과학부 및 정보통신산업진흥원의 IT융합 고급인력과정 지원사업의 연구결과로 수행되었 음”(NIPA-2013-H0401-13-2006).
※ 이 논문은 2013년도 정부(교육부)의 재원으로 한국연구재단의 지원을 받아 수행된 기초연구사업임 (No. 2009-0093828)
접수일자: 2013년8월12일, 수정완료일: 2013년11월27일
Ⅰ. 서 론
무선 센서 네트워크(WSN : Wireless Sensor Network) 기술은 환경/생태 감시 분야는 물론, 에너지 관리 분야, 물류/재고 관리 분야, 전투 지역 관리 분야 및 의료 모니터링 등 다양한 분야에 걸쳐 연구가 진행 되고 있다[1]. 무선 센서 네트워크는 초소형 장치 센서 노드들로 구성된 네트워크이며 주변 환경에 대한 정보 (온도, 습도, 오염 정보, 위치 정보 등) 수집을 목적으로 한다[2]. 무선센서네트워크를 활용한 예로는 센서를 몸이 나 옷에 부착시켜 홈네트워크를 통한 헬스케어, 과수원 등 농지에 설치하여 온도, 습도, 조도, 토양 등의 데이터 를 수집하여 시기에 따른 적절한 대처를 할 수 있도록 서비스를 제공하는 형태, 그리고 주요 건축물의 고층화 대형화 추세에 따라 건축물에 대한 건전성 감시(SHM : Structural Health Monitoring)와 같은 형태의 서비스를 제공하는 형태 등의 많은 연구가 진행되고 있다. 이러 한 무선센서네트워크 활용 방법 중 SHM 기술을 활용 한 대표적인 가시화 기법은 2D기반의 사용자 인터페이 스를 제공하는 애플리케이션을 활용하거나, 네트워크 카메라를 이용하여 무선센서 주변을 활용하는 기법이 다. 2D 기술을 사용한 경우 무선센서 네트워크의 전달 이 실세계와 차이가 존재하며, 비현실적인 인터페이스 가 많아서 정보의 전달이 원활하지 못한 단점이 있다.
또한, 카메라를 이용하여 주변 상황정보를 촬영하는 경 우에는 벽면 뒤 공간 등 카메라의 촬영 영역이 비추지 못하는 사각지역이나 사람이 직접 눈으로 확인하지 못 하는 위치에 있는 무선센서네트워크의 상황은 알 수 없 다. 그리고 사용자가 무선센서네트워크를 유지 및 보수 를 하는데 있어서 무선센서의 위치를 정확하게 파악할 수 없다. 이러한 문제점들을 보완하기 위해 최근에는 3 차원 가시화 및 증강현실 기술을 활용한 시각화 기법들 에 대한 연구가 진행되고 있다[3].
본 논문에서는 최근 2000년대 중반 이후 스마트폰의 등장 및 활성화됨에 따라서 주목받고 있는 기술 중 하 나인 증강현실을 사용하여 무선센서네트워크에서 수집 된 데이터를 가시화 한다. 가상현실(VR : Virtual Reality) 기술이 컴퓨터그래픽이 만든 가상환경에 사용 자를 몰입하도록 함으로써 실제 환경을 볼 수 없는 데 비해, 증강현실 기술은 실제 환경에 가상의 객체를 혼 합하여 사용자가 실제 환경에서 보다 실감나는 부가정
보를 제공받을 수 있다. 예를 들면 길을 가다 스마트폰 카메라로 주변을 비추면 근처에 있는 상점의 위치 및 전화번호, 지도 등의 정보가 입체영상으로 표시되고, 하 늘을 비추면 날씨정보가 나타나는 등 다양한 분야에 적 용되고 있다[4]. 이처럼 증강현실이라는 직관적인 인터페 이스를 사용함으로써, 사용자는 무선센서네트워크에서 수집한 데이터를 보다 편리하게 이용할 수 있다.
현재 무선센서네트워크에서 수집한 데이터를 증강현 실을 통해 가시화 하는 연구가 진행되고 있으며, 대부 분은 마커인식을 통하여 증강현실을 구현한다[5]. 무선센 서가 설치된 장소에 마커를 설치하여 사용자가 단말기 로 마커를 인식하였을 경우 해당 위치에 있는 무선센서 에서 수집된 데이터를 증강현실을 통해 시각화 하는 것 이다. 마커의 인식을 통하여 손쉽고 정확하게 무선센서 에서 수집된 데이터값을 표현하는 것이 가능하지만 직 접 무선센서에 부착되어야 하는 마커는 조명의 변화에 민감하고 마커의 훼손으로 인하여 인식이 불가능 하거 나 부착된 마커마다 카메라를 통해 인식을 시켜야 하는 등의 단점이 도출되고 있다. 따라서, 본 논문에서는 마 커기반 증강현실의 이러한 단점을 보완하고자 위치기반 증강현실을 사용하였다.
본 논문에서는 실내에 설치된 무선센서에서 수집된 정보를 보다 직관적으로 사용자에게 제공하기 위해 위 치측위기술 중 하나인 삼각측량법을 이용하고, 삼각측 량법을 사용하기 위해 WLAN의 신호세기를 이용하여 실내위치를 측위한다. 하지만 신호세기에는 노이즈가 포함되어 있기 때문에 위치측위시 오차가 생긴다. 그래 서 Kalman Filter를 사용하여 위치를 보정하고, 보정된 위치 좌표값을 Mixare(위치기반 증강현실 플랫폼)에서 사용하는 위도와 경도에 대입하여 증강현실을 구현하는 방법을 연구 하였다.
Ⅱ. 관련 연구
1. 무선센서네트워크를 위한 증강현실기법
무선센서네트워크에서 수신된 데이터를 증강현실을 이용하여 시각화 한다. 그림 1은 무선센서가 설치된 장 소에 마커를 설치하여 사용자가 단말기로 마커를 인식 하였을 경우 해당 위치에 있는 무선센서에서 수신된 데 이터를 증강현실을 통해 시각화 하는 장면이다. 보는 바와 같이 마커의 인식을 통하여 손쉽고 정확하게 무선
그림 1. 증강현실을 통한 WSN 모니터링 시스템 Fig. 1. WSN monitoring systems using augmented
reality.
그림 2. 모바일기기의 3차원 시각화와 증강현실에 기반 한 센서네트워크 모니터링
Fig. 2. 3D-visualization of mobile devices and sensor network monitoring based on augmented reality.
센서의 데이터값을 표현하는 것이 가능하다[5].
그림 2는 3차원 모델링과 증강현실 기술을 활용하여 기존의 SHM 분야에서 주로 사용되던 2차원 센서 네트 워크 시각화 기술과 카메라등을 이용한 모니터링 기능 에서 발생하는 사각 지역 때문에 실제 상황의 reality를 충분히 전달하지 못하는 단점을 극복하였다[3].
2. 증강현실 구현기술
증강현실을 구현하기 위한 기술은 위치기반, 심플마 커, NFT(Natural Feature Tracking), 마커리스, 마커리 스+HCI의 형태로 발전되어 왔으며, 그림 3은 증강현실
그림 3. 증강현실 기술의 발전
Fig. 3. The development of augmented reality technology.
을 구현하기 위한 기술을 분류해 놓은 것이다.
가. 영상기반 증강현실
근본적인 증강현실 트래킹 방식은 ‘영상 트래킹’ 방식 이다. 컴퓨터 장치에 부착되어 있는 이미지 센서(카메 라)를 통해 입력된 영상을 인식 및 추적함으로써 그에 해당하는 디지털 정보를 합성하여 최종 컴퓨터의 화상 디스플레이에 표시하는 방식이다. 영상 트래킹 방식은 절대위치 트래킹 방식의 ‘지표상의 절대값’과 같은 좌표 계가 없다. 즉, 각 어플리케이션은 입력된 목표이미지가 인식이 되면 그 이미지를 기준으로 3차원 좌표계를 구 성하고, 기준이 되는 목표이미지의 움직임을 실시간 추 적하여 합성할 2D&3D 영상의 형체를 그에 맞게 변화 시키는 것이다.
나. 위치기반 증강현실
위치기반 방식(Geolocation-based)은 GPS의 위도, 경 도, 고도값과 자이로스코프, 전자나침반을 이용하여 현 재의 위치와 화면에 어떤 실사 정보가 나타나고 있는지 파악하는 방식이다. 즉, 어느 위치에서(GPS), 어느 방향 으로(나침반), 어느 각도로(자이로스코프) 어떤 대상을 (카메라 렌즈의 초점 거리를 바탕으로 계산) 가리키고 있는지 확인하는 것이다.
그림 4는 스마트폰 AR 브라우저중 하나인 Wikitude 의 동작과정을 보여주는 것이다[6]. 사용자의 현재 위치 는 GPS 신호를 수신하여 위도와 경도, 고도를 계산하 고, 나침반과 자이로스코프를 통해 방향과 각도를 보정
그림 4. 위치기반 방식으로 POI(Point Of Interest)를 검색 하는 방법
Fig. 4. Searching for POI(Point Of Interest) using Location-based method.
하고 DB에 저장되어 있는 물체의 GPS 좌표를 검색하 여 증강현실로 보여준다.
Ⅲ. 증강현실을 통한 WSN 모니터링 시스템
본 논문은 실내에 설치된 무선센서네트워크 데이터 를 가시화하기 위해 위치기반 증강현실을 사용한다. 하 지만 위치기반 증강현실은 GPS를 이용하기 때문에 실 내에서 사용이 불가능하다. 그래서 AP의 RSSI를 이용 하는 실내위치측위를 통해 생성된 좌표를 위치기반 증 강현실에 대입하여 실내에서 증강현실을 구현함으로써 무선센서네트워크 데이터를 가시화 하였다.
그림 5는 증강현실을 통한 WSN 모니터링 시스템 구 성도이다. AP가 설치된 장소에 무선센서네트워크를 구 축하고 무선센서에서 수집되는 데이터를 웹 서버 DB에 저장한다. 그리고 실내에 설치된 AP의 RSSI를 이용하 여 실내위치측위를 통해 생성된 좌표를 Mixare 증강현 실 플랫폼에서 사용하는 GPS 신호의 위도와 경도에 대 입하여 증강현실로 구현한다. 실내위치측위를 통해 생성된 좌표를 기준으로 실내에 설치된 무선센서들을 안드로이드폰의 화면에 증강하여 보여준다. 화면에 표 시되는 마커(무선센서)를 터치하면 무선센서네트워크에 서 수집한 데이터가 저장된 서버에 접속하여 DB에 저 장된 데이터를 가져온다. 가져온 데이터는 그래프와 텍 스트를 통해 실시간으로 사용자에게 제공된다.
그림 5. 증강현실을 통한 WSN 모니터링 시스템 구성도 Fig. 5. Configuration of WSN monitoring system using
augmented reality.
1. 무선센서네트워크 환경 구축 및 서버 DB 접근 증강현실을 통한 WSN 모니터링 시스템을 구현하기 위해 Zigbee 프로토콜을 사용하는 무선센서를 이용한
그림 6. 무선센서네트워크를 통한 환경정보 수집 Fig. 6. Collected environmental information using
wireless sensor networks.
그림 7. 무선센서네트워크에서 수집된 데이터의 저장을 위한 DB 구축
Fig. 7. DB construction for storage to data collected from the wireless sensor networks.
그림 8. 안드로이드와 Mysql의 연동 순서도 Fig. 8. Interlocking flowchart of Android and Mysql.
무선센서네트워크(WSN)를 구축하였다. Cygwin을 통 해 각각의 무선센서에 TinyOS를 설치하여 싱크노드와 노드로 구분하였다. TinyOS란 버클리 대학에서 만든 저전력 8또는16bit 프로세서로 구동되는 무선센서노드 들을 위한 운영체제로서 무선센서네트워크를 구성하는 데 필수적이다. 각각의 무선센서에 TinyOS를 설치한 후 Cygwin에서 실행하면 그림 6에서 보는 것과 같이 무선센서는 환경정보를 수집하여 싱크노드로 데이터를 전송하게 된다.
각각의 무선센서에서 수집되는 환경정보를 저장하기 위해 Mysql을 통해 DB를 구축하여야 한다. 그림 7은 무선센서네트워크에서 수집되는 환경정보를 저장하기 위해 Mysql을 통해 DB를 구축하여 데이터를 적재한 것이다.
안드로이드폰을 통해 싱크노드가 연결되어 있는 컴 퓨터의 DB에 접근하기 위해서는 서버로 구축하여야 한 다. 싱크노드가 연결된 컴퓨터를 서버로 구축하기 위해 APM setup(Apache+PHP+Mysql)프로그램을 통해 웹서 버를 구현하였다. 그림 8은 안드로이드와 무선센서네트 워크에서 수집된 환경정보가 저장되는 Mysql을 연동시 키기 위한 순서도이다.
서버를 구축한 후 서버의 IP(Internet Protocol)와 포 트(Port)번호를 이용하여 서버에 접속한다. 안드로이드 는 서버에 접속하더라도 직접적으로 Mysql의 DB에 접 근할 수 없기 때문에 서버 컴퓨터에 DB에 접근할 수 있는 PHP파일을 생성하여야 한다. 이 PHP 파일은 DB 에 접근할 수 있는 쿼리(Query)문이 작성되어져 있다.
안드로이드가 PHP 파일을 이용하여 서버 DB에 넘길 인자값을 넣어 실행한다. 인자값은 그림 6의 mote, datet, tem, hum, light, mic, dtr, speed이다.
그림 9. DB에 쿼리를 전송할 PHP 명령문
Fig. 9. PHP statement to send a query to the DB.
그림 10. 검색된 쿼리 결과가 저장된 xml파일 Fig. 10. Stored xml-file from Searched Query Results.
그림 9는 안드로이드 대신 서버 DB에 쿼리를 전송하 여 검색 결과를 xml파일로 생성하는 PHP 명령문이다.
실행된 PHP 파일은 안드로이드에서 전송된 인자값을 이용해 Mysql DB에 접근하고 검색한 쿼리 결과를 xml 파일을 생성하여 저장한다. 그림 10은 DB에서 검색한 쿼리 결과를 xml 파일로 생성된 내용이다.
안드로이드는 저장된 xml 파일을 열고 xml 파서를 이용해 최종적으로 쿼리 결과를 받게 된다. xml 파서는 DB를 검색하기 위해 사용하였던 인자값인 mote, datet, tem, hum, light, mic를 인식하여 쿼리 결과만을 가져오 게 된다. 쿼리 결과값을 이용하여 그래프와 텍스트를 통해 사용자에게 제공된다.
2. 삼각측량법을 이용한 실내위치측위
실내위치측위를 하기 위해 안드로이드기반 휴대폰을 이용하여 Wireless AP에서 발신되는 RSSI를 이용하여 위치측위를 한다. 실내위치측위를 위해 필요한 조건은 표 1과 같다.
실내위치측위를 하기 위해서는 표 1에서 보는 것과 같이 실내에 설치된 AP의 RSSI를 수신할 수 있는 안 드로이드폰이 필요하고, AP의 (x, y) 좌표 및 Mac주소 가 필요하다. 각 AP의 Mac주소는 안드로이드폰을 이 용하여 직접 수신해서 서버DB에 저장하고, 각 AP의 (x, y) 좌표는 건물의 설계도면의 축척을 이용하여 얻 어진 (x, y) 좌표를 서버DB에 저장한다. 본 논문에서는 AP를 이용한 실내위치측위를 하기 위해 목포대학교 대 외협력관 4층 복도에서 실험을 하였다.
1.AP의 RSSI를 수신할 안드로이드폰
2.실내에 설치된 AP(Access Point)의 (x, y) 좌표 및 Mac 주소
3.실내에 설치된 AP(Access Point)의 (x, y) 좌표 와 Mac 주소가 저장될 서버
표 1. 실내위치측위를 위한 필요조건
Table 1. Requirements for indoor location determination.
그림 11. 목포대학교 대외협력관 4층 평면도
Fig. 11. 4th floor plan of Mokpo national university foreign cooperation.
그림 12. AP의 위치
Fig. 12. The location of the AP.
그림 13. 실내위치측위를 위한 시스템 알고리즘 Fig. 13. System algorithm for indoor location
determination.
그림 11에서 보는 것과 같이 실제 평면도를 사용하여 실내위치측위를 실험하였다. 그림 11에서 표시된 3개의 점은 실내위치측위에서 사용될 AP의 위치이다. 3개의 AP에서 발신되는 RSSI를 사용하여 삼각측량을 통해 실내위치측위를 하는 것이다. 각각의 AP의 위치는 평 면도의 실제 축척을 이용하여 m(미터) 단위로 변환한 다. Friis 공식을 통해 생성된 거리가 m(미터) 단위이기 때문이다. 그림 12는 목포대학교 대외협력관 4층 복도 에 설치된 AP들의 위치와 Mac 주소를 DB에 저장해놓 은 것이다.
그림 11의 평면도의 축척을 이용한 각 AP의 좌표값 은 그림 12에서 보는 것과 같이 4층복도1의 좌표는 (59, 4), 4층복도2의 좌표는 (44, 3), 4층복도3의 좌표는 (38, 4)가 된다. 각 AP의 좌표, 안드로이드폰, 각 AP 사이의 거리를 측정하여 삼각측량법을 통해 현재위치를 구할 수 있다. 본 논문에서 제안하는 실내위치측위에 사용되 는 기법의 알고리즘은 그림 13과 같다.
우선 AP에서 발신되는 RSSI 신호를 수신한 후, 각 AP의 Mac주소를 서버 DB에 저장된 AP Mac주소와 비교를 한다. 만약 수신되는 각 AP의 Mac 주소가 같다 면 RSSI가 가장 강한 3곳에서 수신된 신호를 Friis의 공식에 대입하여 거리로 환산한다. 수신 신호 세기
(RSSI)를 이용하는 경우 안드로이드폰으로부터 AP 사 이의 거리는 식 1에서 보는 것과 같은 Friis의 공식을 통해 구할 수 있다.
log
(1)
식 1의 Friis의 공식은 자유 공간에서의 경로 손실을 구 하는 것이며, 여기서 λ 는 전파의 파장을 나타내며 거리 d 와 동일한 단위를 사용한다. 식 1을 두 지점 사이의 거 리 d에 대해 나타내면 식 2와 같다.
∙
∙
(2)
식 2에서 c는 전파속도이며, f는 주파수, L은 이동개체가 송신한 신호의 전송 손실(RSSI)이다. 예를 들어, 2.4Ghz 대역을 사용하는 AP와 RSSI가 60dB이고 전파속도가
× sec라면, 현재 위치와 AP 두 지점 사이의 거리 d 는 식 3과 같은 값을 얻을 수 있다[7].
∙
≅
(3)
Friis 공식을 통해 환산된 거리는 삼각측량법을 통해 (x, y) 좌표로 변환된다. 본 논문에서 쓰일 삼각측량법은 그 림 14와 같고 식 4의 피타고라스 정리를 통해 현재 위치 인 (x, y) 좌표를 구할 수 있다.
(4)
그림 14. 삼각측량법을 수행하기 위한 구성 Fig. 14. Configuration to Triangulation perform.
식 4는 현재 AP에서 발신되는 RSSI를 수신하는 안드로 이드폰으로부터 각 AP 사이의 거리를 계산하기 위해 피 타고라스 정리를 이용한다. 각 AP의 좌표를 (x1, y1), (x2, y2), (x3, y3) 이고, 현재 위치인 (x, y)로부터 각 AP 까지의 거리는 , , 이다. , , 는 Friis공식 을 통해 거리로 환산된 값을 대입하고, 각 AP의 (x, y) 좌 표는 서버DB에 저장되어 있는 값을 현재위치에서 수신 되는 RSSI 중 가장 강한 3곳의 AP의 좌표에 대입하면 된다. 현재의 위치인 (x, y)를 구하기 위해 각각의 AP의 위치를 X(x1, y1), Y(x2, y2), Z(x3, y3)라고 하고 현재위 치와 AP 사이의 거리를 , , 라고 가정하였을 때 피타고라스 정리에 대입하면 식 5와 식 6으로 정리할 수 있다.
(5)
식 5는 AP 위치인 X, Y, Z 중에서 X와 Y를 중심으로 하 는 원 A와 원 B의 교점을 지나는 직선 방정식을 구하는 방법이다. 식 5를 풀이하면 식 6에서 보는 것처럼 y의 값 을 구할 수 있다.
(6)
식 6을 통해 구해진 y의 값을 식 4에서 제시한 원 A와 C의 원의 방정식에 대입하여 각각의 근을 구하여 같은 근이 나오면 (x, y) 좌표를 구할 수 있다. 삼각측량법를 통하여 생성된 (x, y) 좌표는 RSSI의 노이즈까지 포함되 어 있기 때문에 측정한 위치에 정지하고 있어도 (x, y) 좌 표값의 변화폭이 크다. 이러한 노이즈를 감소시키기 위 한 방법으로는 여러 가지 방법이 존재 하지만 가중치 평 균을 통한 필터링과 Kalman Filter를 통한 필터링을 비 교하여 보다 노이즈에 강건한 필터인 Kalman Filter를 선택하였다.
∼
∼
(7)
x_k : k시간에서의 시스템의 상태 x_k-1 : k-1시간에서의 시스템의 상태 w_k-1 : k-1시간에서의 process noise v_k : k시간에서의 measurement noise
A, B, H : 시스템 매트릭스 Q : process noise covariance R : measurement noise covariance
식 7은 칼만필터의 기본공식이다. 여기서 x_k는 k시간에 서의 시스템의 상태를 나타내는 벡터이다. 이 값은 직접 적으로 측정할 수 없다. 다만 측정 잡음(v_k, measurement noise)이 포함된 z_k 값(센서에서 읽어들 인 값)으로 측정된다. 한편, 칼만필터를 적용하기 위해서 는 적용하려는 대상의 모델이 필요하며 이 모델의 정확 도가 중요하다. 이런 모델의 부정확도를 process noise (w_k) 라 한다. 이 process와 measurement noise가 평균 이 0인 가우시안 분포를 이루며 이때의 covariance가 각 각 Q와 R인 정규분포를 나타낸다고 가정하면, 노이즈는 Q와 R을 통해서 표현된다. 또한, process와 measurement noise는 서로 독립적이어야 한다.
본 논문에서는 Q = 1.0/100000.0, R = 0.0001 로 값을 설정하고 AP에서 발신되는 RSSI를 삼각측량법에 적용 한 후 생성된 (x, y) 좌표를 칼만필터에 9번 적재하여 노이즈가 제거된 (x, y) 좌표를 사용하였다.
× ×
× ×
(8)
식 8은 가중치평균을 통한 필터링으로, 최근 과거 5개의 값을 사용하고 각각 가중치를 부여하여 평균을 구하는 것이다. 최근 수집된 값일수록 높은 가중치를 두고 이전 에 수집된 값일수록 낮은 가중치를 두는 것이다[8].
그림 15는 안드로이드폰을 이용하여 정지한 상태에
그림 15. 칼만필터와 가중치평균을 통한 필터링 비교 Fig. 15. Compared from Kalman filter and Weighted
average filter.
서 실내위치측위를 통해 생성된 좌표값을 각각 나타낸 것이다. 필터를 사용하지 않은 좌표값은 표준편차가 22.46을 보여 매우 불안정한 상태임을 알 수 있다. 가중 치평균을 통한 필터링은 표준편차가 13.15를 보여 필터 링을 사용하지 않는 그래프에 비해 비교적 안정적이지 만, 칼만필터는 표준편차가 7.28로써 노이즈에 강건함을 그림 15를 통해 확인할 수 있다.
3. 실내환경에서 위치기반 증강현실 구현
실내에서 위치기반 증강현실을 도입하기 위해 본 논 문에서는 Mixare 증강현실 플랫폼을 사용하였다.
Mixare는 장소의 위도와 경도를 입력받아 안드로이드 폰의 카메라로 비추면, 카메라의 화면에 해당 건물의 위치에 마커(Marker)를 표시하는 기능을 주로 삼고 있 는 엔진이다. 현재 위치의 위도와 경도를 받기 위해서 는 GPS(Global Positioning System)신호를 수신해야 하지만 실내에서는 신호를 수신할 수 없거나 수신하더 라도 오차의 범위가 커지기 때문에 실내에서는 증강현 실을 사용할 수가 없다. 그래서 GPS 신호 대신 실내에 설치되어 있는 AP(Access Point)를 이용하여 실내위치 측위를 한다. 실내위치측위를 통해 생성된 현재위치 (x, y) 좌표를 위도와 경도에 대입할 수 있고 실내에 설치 된 증강할 객체의 위도와 경도 또한 실내위치측위를 통 해 생성된 (x, y) 좌표로 대입하여 증강현실을 구현할 수 있다. 그림 16은 Mixare 플랫폼을 이용하여 증강현 실을 구현하기 위한 알고리즘이다.
Mixare 플랫폼을 실행하면 본 논문에서 제안한 “3.1
그림 16. 증강현실 구현 알고리즘
Fig. 16. Algorithm of augmented reality implementation.
그림 17. mix.php 파일 내용
Fig. 17. Contents of the mix.php file.
실내위치측위를 통한 현재위치 획득”을 통해 현재 위치 를 측위하게 된다. 그림 16에서 보는 것처럼 실내위치 측위 알고리즘은 Mixare 플랫폼이 시작되는 시점부터 실시간으로 계속 위치를 측위하게 된다. 실내위치측위 알고리즘을 통해 현재위치를 상정하고 서버에 접속하여 mix.php 파일을 실행하게 된다. mix.php 파일은 그림 17에서 보는 것과 같은 증강될 마커의 위치를 저장해놓 은 파일이다.
그림 17에서 “lat”는 위도 “lng”는 경도 “elevation”은 고도 “title”은 마커의 이름이다. 증강될 마커의 위치(무 선센서가 설치된 위치)에서 실내위치측위를 통해 생성 된 (x, y) 좌표를 “lat”에 x를, “lng”에는 y를 넣고
“elevation”은 0을 대입하였다. “elevation”에 0을 대입한 이유는 본 논문에서 제안하는 실내위치측위는 같은 층 의 AP를 통해 계산되기 때문에 고도는 계산될 필요가 없기 때문이다. 안드로이드는 mix.php의 내용을 JSON (JavaScript Object Notation)파서를 이용하여 결과값을 읽어들인다. JSON은 텍스트 정보를 저장하고 바꾸는데 사용되는 문법으로서 XML과 유사하지만 XML보다 작 고 더 빠르고 쉽게 파싱 할 수 있다. 이러한 JSON파서 를 이용하여 마커의 id, 위치, 이름을 읽어들여 실내위 치측위를 통해 측위된 현재위치를 기준으로 마커를 화 면에 증강시킨다. 증강된 마커를 터치하게 되면 서버의 mixaresearch.php 파일이 실행된다. mixaresearch.php 파일은 그림 9에서 보는 것과 같이 서버 DB의 데이터 를 획득하는 쿼리문이 작성되어져 있다. 안드로이드에 서 Mysql DB로 바로 접근할 수 없기 때문에 안드로이 드 대신 서버 DB에 쿼리를 전송하여 검색 결과를 xml
그림 18. 실내에 설치된 무선센서 증강
Fig. 18. Augmented for wireless sensor installed indoor.
그림 19. 증강된 무선센서에서 수집되는 환경정보 Fig. 19. Environmental information is collected from
augmented wireless sensor.
파일로 생성하는 PHP 명령문이다.
mixaresearch.php를 통해 획득된 서버 DB의 데이터 는 그림 17의 “id”로 구분하여 사용자가 터치한 마커의 id 와 일치하는 정보만을 사용자에게 제공하게 된다. 그 림 18은 Mixare 어플리케이션을 실행하여 실내에서 마 커를 증강한 화면이다.
그림 18에서 보는 것과 같이 그림과 이름이 출력되고 현재 위치에서 마커 위치까지의 거리가 표시된다. 그림 18의 화면에서 마커를 터치하게 되면 그림 19의 화면으 로 전환되고 현재 수집되고 있는 무선센서의 정보를 사 용자에게 실시간으로 제공한다.
뒤로가기 버튼을 누르게 되면 마커가 증강되어 있는 그림 18의 증강현실 상태로 돌아가게 된다.
Ⅳ. 결 론
본 논문에서는 실내에 구축된 무선센서네트워크를 효과적으로 가시화하기 위해 무선센서네트워크, 실내위 치측위, 위치기반 증강현실을 연동하여, 증강현실을 통 한 WSN 모니터링 시스템을 구현하였다.
시스템 구현을 위해 실내에 무선센서네트워크 환경 을 구성하고 웹서버를 구축한 후 안드로이드폰을 이용 하여 서버 DB에 접근하도록 하였고 실내에 설치된 AP를 이용하여 실내위치측위를 통하여 실내에서의 현 재 위치를 실시간으로 측위 하는 방법을 구현하였다.
그리고 실내위치측위를 함에 있어서 노이즈로 인한 위
치 인식의 불확실성을 줄이기 위해 칼만필터를 사용하 여 위치를 보정하였다. 마지막으로 GPS 신호의 위도와 경도를 사용하여 증강현실을 구현하는 Mixare 증강현 실 플랫폼을 실내에서도 사용하기 위해 실내위치측위 를 통해 생성된 현재위치 (x, y) 좌표를 위도와 경도에 대입하여 실내에 설치된 무선센서를 마커로 증강하여 증강현실을 통해 무선센서네트워크의 데이터를 가시화 하였다.
본 논문에서는 무선센서네트워크를 사용하는 기존의 산업 분야에서 주로 사용되던 2차원 센서 네트워크 시 각화 기술과 카메라 등을 사용한 모니터링에서 발생하 던 사각지역이나 사용자가 무선센서네트워크를 유지 및 보수를 하는데 있어서 무선센서의 위치를 정확하게 파 악하지 못하는 문제점을 위치기반 증강현실을 활용하여 해결하였다. 기존에 사용하는 안드로이드기반 스마트폰 을 이용하여 사용자의 접근성을 높였고 증강현실을 도 입하여 수집된 데이터를 가시화 하였다. 향후 이러한 가시화 시스템에 데이터를 가공하여 예측하는 통합모니 터링시스템의 개발이 필요하고, 실내위치측위의 범용성 을 높이기 위해 AP의 위치를 건물 도면의 축척을 이용 하여 좌표를 정하는 방식이 아닌 GPS의 위도와 경도를 좌표에 대입하는 연구가 진행 되어야 한다. 실내와 실 외의 경계 없이 모두 GPS 좌표값을 가지도록 하여 실 내외 연속 위치측위가 이루어지면, 기존의 네비게이션 및 GPS 신호를 이용하는 모든 기기들을 실내에서도 사 용가능하기 때문에 범용성이 매우 높아질 것이다. 그리 고 삼각측량법만을 사용하여 실내위치측위를 할 경우 RSSI 신호가 닿지 않는 음영지역 및 사각지역에서의 위치를 측위하기 위해서는 핑거프린팅을 이용한 위치측 위 방법을 연동하는 하이브리드 실내위치측위 방식에 대한 연구가 계속 진행되어야 한다.
REFERENCES
[1] V. Loscri, S. Marano, G. Morabito, “A Two-Levels Hierarchy for Low-Energy Adaptative Clustering Hierarchy (TL-LEACH).”
Proceedings “VTC2005”, Dallas (USA), pp.1809-1813, Sept., 2005.
[2] L. Ying, Y. Haibin, “Energy Adaptive Cluster-Head Selection for Wireless Sensor Networks”, Proceedings of the Sixth
저 자 소 개 박 진 관(정회원)
2011년 2월 목포대학교
컴퓨터교육과 학사 졸업 2013년 8월 목포대학교
컴퓨터공학과 석사 졸업 2013년 9월～목포대학교
컴퓨터공학과 박사과정
<주관심분야 : 무선센서네트워크, 실내위치측위, 데이터베이스, 임베디드시스템>
정 민 아(정회원)-교신저자 1992년 2월 전남대학교 이학사 1994년 2월 전남대학교 이학석사 2002년 2월 전남대학교 이학박사 2002년 4월～2003년 2월 광주과학
기술원 정보통신공학과 Post-Doc
2003년 4월～2005년 2월: 전남대학교 전자통신 기술연구소 Post-Doc
2011년 9월～2013년 2월 Cleveland Clinic Research
2005년 3월～현재 목포대학교 컴퓨터공학과 부교수
<주관심분야 : 데이터베이스/데이터마이닝, 생체 인식시스템, 무선통신응용분야, 임베디드시스템>
김 경 호(정회원)
1981년 조선대학교 (학사) 1983년 조선대학교 (석사) 1993년 조선대학교 (박사)
2000년 Howard University(박사) 1987년～1998년 목포대학교
전자공학과교수
1998년～현재 목포대학교 정보통신공학과교수
<주관심분야 : 이동통신 시스템 구성 및 설계, 컴 퓨터 네트워크 구성 및 설계>
이 성 로(정회원) 1987년 2월 고려대학교
전자공학과 공학사 1990년 2월 한국과학기술원 전기
및 전자공학과 공학석사 1996년 8월 한국과학기술원 전기
및 전자공학과 공학박사 1997년 9월～현재 목포대학교 공과대학 정보전자
공학과 교수
<주관심분야 : 디지털통신시스템, 이동 및 위성통 신시스템, USN/텔레매틱스응용분야, 임베디드시 스템>
International Conference on Prallel and Distributed Computing Applications and Technologies, p.634-638, December, 05-08, 2005.
[3] Bonhyun Koo, Hyohyun Choi, and Taeshik Shon,
“WIVA : WSN MonItoring Framework based on 3D Visualization and Augmented Reality in Mobile Devices”, Jounal of The Institute of Electronics Engineers of Korea-CI 46(2), 2009.3, 106-113 (8 pages)
[4] Http://terms.naver.com/entry.nhn?cid=162&docId
=932298&mobile&categoryId=162
[5] D. Claros, M. D. Haro, M. Dom'nguez, C. D.
Trazegnies, C. Urdiales, and F. Sandoval,
“Augmented Reality Visualization Interface for Biometric Wireless Sensor Networks”, IWANN 2007, LNCS 4507, pp. 1074–W1081, 2007.
[6] http://ja.wikipedia.org/wiki/Wikitude
[7] H. Y. Kim, “Triangulation,” Hanyang University, 2008.
[8] D. H. Won, Y. H. Lee, D. Y. Suh, “Inside location based service through RSSI measurement from wireless AP”, 2011 The Korean Society of Broadcast Engineers Summer Conference, 2011.7, 110-113 (4 pages)
