치매 예방을 위한 제스처 인식 기반 3D 기능성 게임 개발※
하관봉*, 박진웅*, 강선경*, 정성태**
원광대학교 컴퓨터공학과*, 원광대학교 컴퓨터공학과, 공업기술개발연구소 연구위원**
[email protected], [email protected], {doctor10, stjung}@wku.ac.kr
Development of Gesture Recognition-Based 3D Serious Games
Guan-Feng He*, Jin-Woong Park*, Sun-Kyung Kang*, Sung-Tae Jung**
Dept. of Computer Engineering, Wonkwang Univ.*, Dept. of Computer Engineering, Research Institute of Engineering Technology Development,
Wonkwang Univ.**
요 약
본 논문은 치매 예방을 위한 제스처 인식 기반 3D기능성 게임을 제안한다. 제안된 기능성 게 임은 전신 제스처 인식을 이용함으로써 사용자의 두뇌 사용능력과 신체활동성을 증가시켜 치매 예방의 효과를 향상시킬 수 있도록 하였다. 기존에 개발된 제스처 인식 기술에 사용된 카메라 들은 인식률과 가동영역이 한계적이다. 보다 안정적인 전신 제스처인식을 위해 3D depth 카메 라로부터 사용자를 인식하고 사용자의 관절 정보를 획득하였으며 관절의 움직임을 분석하여 전 신 제스처를 인식하였다. 게임 콘텐츠로는 치매의 대표적인 원인인 뇌세포의 퇴화에 초점을 맞 춰 기억력, 논리력, 산술능력, 공간인지능력 등을 훈련할 수 있도록 구성하였다. 사용자 별로 게 임 결과를 저장하고 분석하여 인지능력 향상 정도를 측정할 수 있도록 하였다.
ABSTRACT
In this paper, we propose gesture recognition based 3D Serious Games to prevent dementia. These games are designed to enhance the effect of preventing dementia by helping increase brain usage and physical activities of users by the entire body gesture recognition. The existing cameras used for gesture recognition technology are limited in terms of recognition ratio and operation range. For more stable recognition of the body gestures, we recognized users with a 3D depth camera, obtained joint data of users, and analyzed joint motions to recognize gestures of the body. Game contents were designed to practice memory, reasoning, calculation, and spatial recognition focusing on the atrophy of brain cells as a major cause of dementia. Game results of each user were saved and analyzed to measure how their recognition skills improved.
Keywords : Dementia prevention(치매예방), Gesture recognition(제스처 인식), 3D depth Camera
접수일자 : 2011년 11월 04일 심사완료 : 2011년 11월 16일 교신저자(Corresponding Author) : 정성태
※ 본 연구는 2010학년도 원광대학교 교비지원에 의해서 연구되었음.
1. 서 론
현대사회는 의학기술의 발달로 인한 수명연장과 출생률 저하로 인하여 중장년층으로 인구 비 쏠림 현상이 발생하고 있고, 이러한 현상은 치매환자의 증가를 야기시켰다. 치매는 여러 가지 원인에 의해 인지기능의 저하와 일상생활에 장애를 초래하는 상황을 의미한다. 치매 환자의 초기 증세는 기억력 감퇴로 시작하여 점차 기본적인 일상생활의 동작 에도 영향을 주게 된다. 전형적으로 수개월에서 수 년에 걸쳐 서서히 진행하는데 첫 증상은 경미하지 만 나중에는 결국 심각한 기억력 소실을 가져온다.
또 의사소통이나 다른 사람을 알아보는데 어려움 을 느끼며 복잡한 일을 수행하거나 판단능력의 저 하도 나타난다[1].
치매는 뉴런이라 부르는 뇌의 신경 세포가 퇴화 하고 뉴런 사이의 연결이 파괴되면서 발생할 수 있는데, 이 현상은 다양한 원인에 의해 일어날 수 있다. 그 원인 중 알츠하이머병이 40~45%, 뇌졸중 같은 혈관성 치매가 20%, 뇌의 뉴런이 퇴화하는 루이소체 치매가 20%정도이다. 이 밖에 치매를 유 발할 수 있는 다른 질환은 크로이츠펠츠-야콥병, 외상성 두부 손상, 후천성 면역 결핍 증후군, 과도 한 음주, 뇌 농양, 다발경화증, 다양한 형태의 퇴행 성 질환 등이 있다.
치매는 한 번 발병하면 완치가 쉽지 않으므로 개인의 건강 습관이나 의학적 관리를 통하여 미연 에 예방하는 것이 중요하다. 뇌졸중에 의한 치매는 혈압조절, 운동, 식습관을 통한 체중조절 등으로 예방이 가능하고, 술과 연관된 치매는 금주나 음주 량 조절로 가능하다. 외상성 치매는 안전벨트, 헬 멧, 보호구를 사용해 두부 손상에 대비함으로써 예 방할 수 있다. 비타민 결핍 치매는 비타민 B12같 은 충분한 B군 비타민을 섭취하고, 호르몬 연관 치매는 갑상선이 적절하게 기능하는지 갑상선자극 호르몬 검사하여 예방할 수 있다. 또한, 정신적으 로나 신체적으로 활동성을 유지하면서 꾸준한 신 체 운동과 뇌 운동을 실시하면 지능감퇴를 예방하
고 기억력 소실을 연기하는데 도움이 된다[2].
본 논문에서는, 다양한 치매 예방법 중에서 뇌 졸중에 의한 치매, 외상성 치매, 뉴런의 퇴화에 의 한 치매에서 공통적으로 포함되는 뇌세포 감소와 운동부족을 예방하기 위하여 제스처 인식 기반 3D 기능성 게임을 개발하였다. 개발된 기능성 게임은 전신 제스처 인식을 이용함으로써 사용자의 두뇌 사용능력과 활동성을 증가시켜 치매 예방의 효과 가 향상되도록 구성하였다.
기존에 개발된 제스처 인식기술은 컴퓨터 시스 템과 카메라의 성능이 발전하면서 괄목할 만한 성 장을 보였다. 금속탐지기, 가속도계, 자이로스코프 등을 이용하여 움직임을 추적하는 것이 가능해졌 고, 이러한 장치들을 이용하여 닌텐도사의 Wii 기 기나 스마트폰, 태블릿 PC 등에서는 사용자의 물 리적인 움직임을 인식함으로써 게임이나 응용프로 그램을 동작시킬 수 있게 되었다[3]. 하지만 이러 한 방법들은 특정 기기를 사용해야 한다는 단점이 있다. 기기를 사용하지 않는 방법으로 카메라를 사 용한 방법이 있다. 프라운호퍼 FIT 연구진들은 비 접촉 제스처와 손가락 인식 시스템만으로 기기를 사용하지 않는 상호작용 시스템을 개발하였다[4].
이 새로운 시스템은 실시간으로 손과 손가락의 위 치를 탐지하고, 이를 적절한 상호작용이 가능한 명 령어로 변환하여 제공한다. 이 시스템은 부가적인 기기를 필요로 하지 않고, 다양한 사용자를 지원할 수 있는 장점이 있다. 하지만 이 시스템은 ‘손’이라 는 한정영역에서만 적용할 수 있다는 단점을 가지 고 있다.
최근 마이크로소프트사는 X-BOX게임 콘솔기에 애드온의 형태로 작동이 가능한 Kinect라는 명칭 의 기기를 출시했다. 이 기기의 특징 중 하나는 게 임 컨트롤러를 사용하지 않고, 신체의 움직임만으 로 게임수행이 가능하도록 지원한다는데 있다. 사 용자들은 자신의 손을 흔들기만 하면 전신이 인식 되고, 이를 통하여 스크린상의 아바타가 달리고, 점프하고, 헤엄치고 춤추는 일들을 할 수 있도록 지원한다.
본 논문에서는 다양한 치매 증상 중에서 기억력 감소와 운동부족을 예방하기 위하여 제스처 인식 기반 3D 기능성 게임을 개발하였다. 개발된 기능 성 게임은 전신 제스처 인식을 이용함으로써 사용 자의 두뇌 사용능력과 활동성을 증가시켜 치매 예 방의 효과가 나타나도록 구성하였다. Kinect와 같 은 3D depth 카메라를 사용하여 사용자의 전신을 인식한 다음 OpenNI[5]를 이용하여 관절의 위치 와 방향 정보를 획득하고 이로부터 관절의 움직임 을 분석하여 이를 게임에 적용했다. 게임 콘텐츠로 는 뇌세포의 퇴화에 초점을 맞춰 기억력, 논리력, 산술능력, 공간인지능력을 훈련할 수 있도록 구성 하였다. 사용자 별로 게임 결과를 저장하고 분석하 여 인지능력 향상 정도를 측정할 수 있도록 하였 다.
2. 제스처 인식을 위한 시스템 구현
본 논문에서는 전신 제스처 인식을 위하여 일반 카메라가 아닌 3D depth 카메라를 이용하였다.
3D depth 카메라는 적외선 센서를 이용하여 depth 데이터를 얻어서 물체를 구별하기 때문에 일반 카메라보다 다양한 조명 환경 하에서 안정적 으로 동작한다.
[그림 1] 제스처 인식 및 활용 과정
[그림 1]에는 제스처 인식 및 활용 과정이 나타 나 있다. 3D depth 카메라에서 획득한 영상으로부
터 Depth 데이터를 추출한다. 추출된 Depth 데이 터에서 OpenNI를 이용하여 전신을 인식한 후 배 경을 제거하고 배경이 제거된 Depth 데이터로부터 관절의 위치와 방향 정보를 검출한다. 사용자의 관 절 위치와 방향의 변화가 제스처 라이브러리에 정 의된 제스처들에 해당하는 지를 분석하여 전신 제 스처를 인식하고, 이를 이용하여 게임을 컨트롤 한 다. 본 시스템에서는 관절의 위치와 방향 변화에 따라 총 21가지의 제스처를 정의하여 제스처 라이 브러리를 구성하였다.
2.1 3D depth 카메라
기존의 제스처 인식은 데이터 글러브, 가속도 센서, 지자기 센서 등과 같은 별도의 기기를 사용 해야 하는 불편한 점이 있어서, 카메라를 이용하는 자연스런 제스처 인식 방법이 개발되었다. 카메라 에는 컬러나 흑백 영상을 획득하는 일반카메라가 있는데, 이들은 빛의 변화와 카메라의 특성에 의해 영상이 달라짐으로써 발생하는 여러 가지 문제점 을 가지고 있다. 이러한 문제를 극복하기 위한 방 법 중의 하나로 최근에는 3D depth 영상을 획득 하여 안정적으로 제스처를 인식하도록 해주는 3D depth 카메라가 개발되었다. Mesa Imaging, PMD Technologies, PrimeSense, Omek Interactive 등의 회사에서 3D depth 카메라들이 개발되었다.
[그림 2] PrimeSense사의 Light Coding 본 논문에서는 PrimeSense사의 3D depth 카메 라를 사용한다. 이 카메라는 [그림 2]와 같이 적외
선 광원, 2개의 CMOS 이미지 센서, 데이터 처리 용 SoC 등의 하드웨어로 구성되며 [그림 2]와 같 이 컬러 이미지, depth 이미지를 획득한다. 컬러 이미지는 CMOS 이미지 센서를 이용하여 획득하 고, depth 이미지는 적외선 광원과 CMOS 이미지 센서, 데이터 처리용 SoC 등의 장치와 Light Coding 기술을 기반으로 획득한다. 이 카메라는 장면 공간을 적외선으로 코드화하여 적외선 광원 으로부터 코드화된 적외선 신호를 발사한다. 발사 된 적외선은 CMOS 이미지 센서를 이용하여 읽혀 지고, SoC에 의해 병렬 알고리즘을 이용하여 해독 되어 장면의 depth 이미지가 생성된다. 이 기술은 주변 광원의 영향을 적게 받으며 depth검출거리는 1.2m~3.5m이고, 수평시야각은 57도, 수직시야각은 43도이다[6].
2.2 OpenNI
OpenNI(Open Natural Interaction)는 3D depth 카메라를 개발하고 있는 PrimeSense사를 중심으로 개발된 API의 집합이고, 3D depth 카메 라의 SDK로 널리 시용된다. NI는 Natural Interaction의 약어로, 인간과 기계의 의사소통은 인간의 감각(주로 청각, 시각)을 기본으로 행해진 다는 의미를 가지고 있다. OpenNI는 다중 언어이 고, 크로스 플랫폼 프레임워크이다. 현재 지원하는 플랫폼은 Windows 플랫폼, Mac 플랫폼, Linux 플랫폼이다. OpenNI는 카메라의 환경설정, RGB 영상 획득, 3D depth 영상 획득, 적외선 광원 제 어 등에 대한 인터페이스를 제공하고 사용자 검출, 관절 위치 및 방향 추적 등에 대한 미들웨어를 제 공한다.
[그림 3] OpenNI 계층
[그림 3]은 OpenNI를 사용하는 시스템의 3단계 계층을 나타내고 있다. 첫 번째 층은 응용프로그램 층이다. 두 번째 층은 사용자 전식 인식, 관절 위 치 및 방향 추적 등의 기능을 포함하는 미들웨어 와 하드웨어에 대한 인터페이스로 구성된 OpenNI 층이다. 세 번째 층은 RGB카메라, 3D depth 카메 라와 같은 하드웨어 장치 층이다[7,8].
2.3 제스처 인식 함수 라이브러리
사용자가 3D depth 카메라 앞에서면 depth 영 상을 분석하여 배경과 사용자를 분리한 다음 [그 림 4]와 같은 형태의 전신 관절로 매핑하고 관절 의 위치와 방향을 검출한다. 여기까지의 작업은 3D depth 카메라와 OpenNI 라이브러리에 의해 제공되지만 관절의 위치 및 방향의 변화를 분석하 여 특정 제스처를 인식하는 것은 응용프로그램에 서 처리해야 한다.
[그림 4] 3D depth 카메라를 이용한 관절인식
본 논문에서는 [표 1]과 같은 제스처를 정의하 였고, 각각의 제스처마다 인식 수행을 위한 함수를 설계 및 구현하여 Motion-X 라이브러리를 구축하 였다. Motion-X 라이브러리를 구성하는 3가지의 핵심 모듈은 시스템 모듈, OpenNI 접근 모듈, 동 작인식 모듈로 구성된다.
시스템 모듈은 DirectX9 인터페이스와 DirectX Helper를 초기화 하는 등 Motion-X의 구동을 초 기화하고 종료하는 역할을 담당한다. OpenNI 접 근 모듈은 이미지, depth 이미지, 관절 위치 및 방 향 정보 등을 OpenNI 라이브러리로부터 획득한다.
동작인식 모듈은 15개 관절의 위치와 방향 변화에 따라 [표 1]과 같이 정의된 21가지의 제스처를 인 식한다. 1번부터 18번까지의 제스처는 입력 영상의 각 프레임마다 관절 사이의 거리를 측정하여 인식 하고 걷기 제스처와 손 흔들기 제스처는 연속된 여러 프레임에 걸쳐서 관절의 위치와 방향 변화를 측정하여 인식한다. Motion-X 라이브러리를 이용 하여 인식된 제스처를 마우스 이동, 마우스 클릭, 게임 컨트롤 동작 등으로 연결시켜 게임을 진행하 게 된다.
[표 1] Motion-X 라이브러리
연번 제스처 제스처 인식 함수
1 왼팔 앞으로 left_arm_forwards() 2 왼팔 아래로 left_arm_down()
3 왼팔 위로 left_arm_up()
4 왼팔 뒤로 left_arm_out() 5 왼팔 교차 left_arm_across() 6 오른팔 앞으로 left_arm_forwards() 7 오른팔 아래로 left_arm_down() 8 오른팔 위로 left_arm_up() 9 오른팔 뒤로 left_arm_out() 10 오른팔 교차 right_arm_across() 11 왼발 앞으로 left_foot_forwards() 12 왼발 옆으로 left_foot_sideways() 13 왼발 뒤로 left_foot_backwards() 14 왼발 위로 left_foot_up() 15 오른발 앞으로 right_foot_forwards() 16 오른발 옆으로 right_foot_sideways() 17 오른발 뒤로 right_foot_backwards() 18 오른발 위로 right_foot_up()
19 걷기 walk()
20 손 흔들기 wave()
21 오른손 이동 mouse_control()
3. 게임 콘텐츠의 설계 및 구현
3.1 게임 콘텐츠 설계
본 논문에서는 게임의 사실성과 효과성을 높이 고 공간인지능력 훈련에도 도움이 되도록 3D 게임 으로 구현하였다. 기존에 여러 3D 게임 엔진들[9, 10,11]이 개발되어 있지만, 본 논문에서는 필요한 주요 기능만을 포함하는 단순한 3D 엔진을 자체 개발하여 사용하였다. 본 논문에서는 치매 예방에 효과적인 기억력, 논리력, 산술능력, 공간인지능력 을 훈련할 수 있는 게임을 개발하였다. 이들은 뇌 세포의 감소를 억제하기 위한 훈련 위주로 구성되 었다. 인간은 노화가 진행될수록 기억력이 점점 감 소한다. 기억력 감소는 노화에 따른 뇌세포의 감소 가 직접적인 원인이지만 기억력을 유지시켜주는 훈련을 통하여 뇌세포의 감소 속도를 늦출 수 있 기 때문에 이 부분에 초점을 맞췄다[12].
게임의 진행은 [그림 5]와 같이 사용자 정보를 등록한 다음에, 게임을 선택하고, 게임을 수행한 다음, 게임 결과를 기록하는 흐름으로 전개된다.
[그림 5] 게임 다이어그램
3.2 게임 엔진
본 논문에서는 C++ 언어와 DirectX 라이브러리 를 이용하여 게임 엔진을 구현하였으며 게임 엔진 구조를 단순화하여 성능이 유지되도록 하였다. 개 발된 게임 엔진은 [표 2]와 같은 구성 요소로 이 루어져 있다.
[표 2] 개발된 게임엔진 구성요소
구성 요소 기 능
기본 모듈 윈도우 생성 및 Direct3D 초기화 등의 기본 처리
자원 모듈 텍스처, 메쉬, FX 파일, 음향 효과 등의 자원 관리
장면 모듈 장면 노드, 장면 관리자, 충돌 감지 등 장면 처리
지형 모듈 하늘, 땅 등의 지형 처리 효과 모듈 조명, 입자 시스템 등의 효과 처리 렌더링 모듈 정적 메쉬, Skinned 메쉬 등의
렌더링
카메라 모듈 걷기, 확대, 축소 등의 카메라 효과 처리
기본 모듈은 윈도우를 생성하며 창 모드와 전체 화면모드를 지원한다. 다양한 블렌딩 모드와 알파 채널을 지원하며 드로잉 라인과 채워진 모양을 생 성하며 드로잉된 물체에 색을 입히고 Z-버퍼를 지 원한다. 자원 모듈은 게임 엔진의 전체 자원을 관 리한다. 텍스처 파일, 메쉬 파일, skinned 메쉬 파 일, FX 파일, 사운드 파일 등을 메모리로 읽어 와 서 자원을 관리한다. 장면 모듈은 장면 장면을 구 성하고 구성된 전체의 장면을 변환시킨다. 또한 장 면에 생성된 객체나 벽 사이의의 충돌을 감지하여 충돌 및 폭발 등에 대한 장면의 효과를 만든다. 지 형 모듈은 현실 세계에서와 같이 가상의 공간을 생성하여 하늘, 땅, 산, 나무 등과 같은 지형을 생 성한다. 효과 모듈은 입자 효과, 빛, 빌보딩 효과 등을 지원한다. 렌더링 모듈은 고정된 메쉬와 skinned 메쉬를 렌더링한다. 카메라 모듈은 걷기, 확대, 축소 등의 카메라 효과를 처리한다.
3.3 게임 구현
[그림 6]에서와 같이 게임 시작 버튼, 사용자 정 보 버튼, 종료 버튼으로 구성된 메인 화면에서 사 용자 정보를 확인하고 게임 선택 화면으로 들어갈 수 있다. 게임 시작 버튼은 게임 선택 화면으로 이 동하기 위한 기능이고, 사용자 정보 버튼은 새로운 사용자는 ID를 생성할 수 있고, 이미 존재하는 ID 일 경우에는 선택하여 사용할 수 있다. 각각의 ID
는 게임에서 게임에 따른 예방효과의 정도를 살펴 보기 위하여 게임을 통해 획득한 점수를 기록한다.
메인화면에서는 제스처 인식을 이용하여 게임을 하기 위해 사용자의 전신을 인식하는 과정을 수행 한다.
[그림 6] 메인 화면
게임 시작 시에 전신 인식을 위해서는 [그림 7]
처럼 양 다리를 어깨 넓이로 벌리고, 양팔은 어깨 와 일직선을 이루고, 팔꿈치의 윗부분은 머리 위로 올린다. 이 자세를 유지하면서 팔꿈치부터 손까지 를 양쪽으로 흔들어 줌으로써 전신 인식 과정이 수행된다. 이 동작은 Motion-X라이브러리의 wave() 함수를 사용하여 인식한다.
[그림 7] 사용자 인식 과정
사용자 인식이 된 다음에는 화면의 커서를 움직 여 버튼을 클릭함으로써 원하는 작업을 선택하도 록 하였다. 본 논문에서는 [그림 8]의 (a)와 같이 오른팔을 앞으로 내민 상태에서 움직이면 오른팔 의 움직임을 인식하여 화면의 커서가 따라 움직이 도록 하였다. 오른팔을 움직여 화면상의 커서를 원 하는 버튼 위에 이동시킨 다음에 [그림 8]의 (b)와 같이 왼팔을 앞으로 내민 상태에서 아래에서 위로
올리면 이 움직임을 인식하여 클릭동작이 발생하 도록 구현하였다. Motion-X 라이브러리에서 마우 스의 이동은 mouse_control() 함수를 사용하고, 마우스 클릭은 left_arm_forwards(), left_arm_up() 함수를 사용하여 인식하였다.
[그림 8] 양팔을 이용한 마우스 컨트롤 (a)마우스 이동 (b)마우스 클릭
모든 게임은 먼저 게임을 하는 방법이 설명된 이후에 게임 실행화면으로 이동한다. 각 게임의 기 본 틀은 일정하지만 세부적인 콘텐츠는 랜덤 생성 된다.
[그림 9] 게임 선택 화면
[그림 9]와 같이 기억력 훈련 게임, 논리력 훈련 게임, 산술능력 훈련 게임, 공간인지능력 훈련 게 임의 4가지 기능성 게임으로 구성된 게임 선택 화 면에서 사용자는 본인에게 필요한 게임을 선택할 수 있다.
[그림 10] 게임 실행 설명 화면
모든 게임은 [그림 10]과 같이 먼저 게임을 하 는 방법이 설명된 이후에 게임 실행화면으로 이동 한다. 각 게임의 기본 틀은 일정하지만 세부적인 콘텐츠는 매번 실행할 때마다 무작위로 생성하여 흥미를 잃지 않도록 하였다.
3.3.1 기억력 훈련 게임
기억력 훈련 게임은 상자로 가려져 있는 같은 동물을 찾는 매칭 게임이다.
[그림 11] 기억력 훈련 게임 (a) 초기 화면(5초간) (b) 게임 진행 화면
[그림 11]의 (a)와 같이 게임이 시작하면 5초간 동물의 위치를 기억한 후, [그림 11]의 (b)와 같이 모든 동물은 상자로 덮는다. 선택한 2개의 상자 안 에 있는 동물이 같을 때에 성공으로 판단한다. 이 와 같은 작업을 반복하여 같은 동물을 모두 찾을 때까지 게임이 진행된다. 같은 상자를 모두 찾는데 소요된 총 시간을 게임 기록에 저장하여 기억력 훈련 정도를 판단할 수 있도록 한다.
매칭 게임은 게임 시작 시 5초간 보여주는 부분 에서만 기억력 훈련을 하는 것이 아니라, 게임을
진행함에 있어서 서로 맞지 않은 동물을 선택했을 경우에도 각각의 위치를 기억하고 다음에 다시 선 택함으로써 지속적인 기억력 훈련에 효과적이다.
제스처 인식을 통한 게임의 수행은 앞에서 설명한 마우스 컨트롤 방법과 동일하게 오른손으로 마우 스 커서를 원하는 상자위로 이동하고 왼팔로 상자 를 클릭한다.
3.3.2 논리력 훈련 게임
논리력 훈련 게임은 [그림 12]와 같이 미로의 입구에서 출발하여 정해진 시간 내에 출구를 찾아 가는 게임이다.
[그림 12] 논리력 훈련 게임
아바타가 미로를 따라 이동하게 하기 위해서는 [그림 13] (a)의 걷기 동작과 [그림 13] (b)의 방 향 전환 동작이 사용된다. 이 게임은 Motion-X 라이브러리의 walk() 함수를 걷기동작을 인식하고 left/right_arm_out() 함수를 이용하여 방향 전환 을 인식한다.
(a) (b) [그림 13] 논리력 훈련 게임
(a)걷기 (b)방향 전환
미로 찾기 게임에 필요한 공간인지능력과 방향 감각은 논리력의 기초이다. 그렇기 때문에 이 게임 을 지속적으로 수행하였을 경우 논리력 향상뿐만 아니라 공간인지능력 향상과 방향감각 향상에 효 과적이다. 그리고 온몸의 근육을 사용하는 운동감 각, 손과 발의 협응능력 등을 향상 시키는데 도움 을 줄 수 있다.
3.3.3 산술능력 훈련 게임
산술능력 훈련 게임에서는 [그림 14]와 같이 숫 자가 표시된 상자 위를 펭귄이 이동하면서 상자의 숫자를 차례대로 더하여 목표 숫자와 일치시키는 게임이다.
[그림 14] 산술능력 훈련 게임
펭귄은 [그림 15]와 같이 Motion-X 라이브러리 의 left/right_foot_forwards()을 사용하여 위쪽으 로 이동하고, left/right_foot_sideway()을 사용하 여 좌/우로 이동하고, left/right_foot_backwards() 를 사용하여 아래로 이동할 수 있다.
(a) (b) (c) (d) [그림 15] 산술능력 훈련 게임 (a)위 (b)아래 (c)왼쪽 (d)오른쪽
수학 게임은 산술능력에서 가장 기초적인 덧셈 을 이용하여 훈련을 함으로써 치매의 예방에 효과 적이고, 게임 수행은 하반신을 이용하기 때문에 하 지의 관절과 근육을 움직임으로써 하지 근력 향상 에도 도움이 된다.
3.3.4 공간인지능력 훈련 게임
공간인지능력 훈련 게임은 회전하는 3D 큐브로 부터 [그림 16]과 같이 화살표가 가리키는 부분의 2차원 투영 이미지를 찾는 게임이다. 게임의 수행 은 앞에서 설명한 마우스 컨트롤 방법과 동일하다.
이 게임은 단시간 혹은 장시간 후에 정보를 다시 인출하고, 각 사물간의 위치를 인식하는 공간 관계 등을 향상 시키는데 효과적이다.
[그림 16] 공간인지능력 훈련 게임
3.4 게임 결과 기록 및 분석
본 논문에서 개발된 게임을 진행했을 경우의 효 율성을 평가하기 위해 사용자가 일정기간동안 게 임을 진행한 결과를 [그림 17]에서 보여지는 화면 과 같이 구성하였다. 사용자는 게임 화면에 자신의 정보를 입력하고 본 논문에서 구현한 기억력, 논리 력, 계산력, 공간감 훈련에 해당되는 게임을 순차 적으로 진행하게 된다. [그림 17]에서 보이는 것과 같이 게임을 진행하는 사용자마다 각각의 게임점 수가 날짜별로 누적되어 게임진행에 따른 훈련 능 력의 변화량을 한눈에 확인할 수 있도록 구성된다.
[그림 17] 게임 결과 화면
[그림 17]의 중앙에 있는 방사형 그래프와 점수 는 마지막으로 측정된 게임 결과 값을 보여주고, 오른쪽에 보이는 4개의 그래프는 게임을 진행한 결과를 날짜별로 기록한 것을 나타내고 있다. 사용 자가 게임을 시작한 날로부터 진행한 날까지의 기 록을 한 눈에 볼 수 있어서 사용자의 훈련으로 인 한 학습 능력 증감을 한눈에 알아볼 수 있다. [그 림 17]의 그래프를 보게 되면 게임을 시작할 때보 다 일정 기간 동안 게임을 꾸준히 진행함에 따라 사용자의 능력이 향상되는 걸 확인할 수 있다.
4. 결론 및 연구과제
사람은 중장년층에 접어들면 여러 가지 신체적 변화로 뇌의 건강도 좋지 않는 영향을 받게 된다.
나이가 들어서도 뇌를 건강하게 유지하기 위해서 는 육체적 건강뿐만 아니라 이에 못지않게 뇌의 건강도 유념해야 한다. 뇌의 건강은 치매 예방의 지름길이기 때문이다.
본 논문에서 제시한 치매 예방을 위한 기능성 게임은 기억력, 논리력, 산술능력, 공간인지능력의 정신적 활동을 수행함으로써 일반적인 모든 치매 의 초기증상인 뇌세포 감소 억제에 효과적으로 작 용한다. 또한 치매 예방을 위한 정신적 활동뿐만 아니라 전신 제스처 인식을 통하여 수행되는 사용 자 친화 인터페이스는 육체적 활동까지 병행할 수 있어 지능감퇴를 예방하고 기억력 소실을 지연시
키는데 효과적이다. 본 논문에서 제안된 게임과 제 스처 인식 방법을 확장하여 재활치료에도 적용 가 능할 것이다.
참고문헌
[1] M,H, Tabert, X, Liu, R,L. Doty, M. Serby, D, Zamora, G.H. Pelton, K. Marder, M.W Albers, Y. Stern, and D.P. Devanand, “A 10-item smell identification scale related to risk for Alzheimer's disease”, Annals of neurology, Vol.58 No.1, pp. 155–160, 2005.
[2] G. Waldemar, B. Dubois, and M. Emre,
“Recommendations for the diagnosis and management of Alzheimer's disease and other disorders associated with dementia:
EFNS guideline”, European Journal of Neurology, Vol. 14(1), pp. 1–26, Jan. 2007.
[3] Pei-Ying Chiang, May-chen Kuo, Lee, J., Kuo, C.-C.J., “WiiStick: Enhancing motion recognition capability for Wii systems”, Circuits and Systems, 2009. ISCAS 2009.
IEEE International Symposium on, ISBN:
978-1-4244-3827-3, pp. 1445-1448, May 2009 [4] IPoint 3D: Using Your Fingers As A
Remote Control, http://www.sciencedaily.
com/releases/ 2009/02/090220075312.htm [5] Siddiqui, M., Medioni, G., “Human pose
estimation from a single view point, real-time range sensor”, Computer Vision and Pattern Recognition Workshops (CVPRW), 2010 IEEE Computer Society Conference on, ISBN: 978-1-4244-7029-7, pp 1-8, June 2010
[6] http://www.primesense.com.
[7] L.P. Morency, A. Rahimi, and T. Darrellm,
“Adaptive view-based appearance model”, Proceedings of IEEE Computer Vision and Pattern Recognition, pp. 803–810, 2003.
[8] R.M. Taylor, T.C. Hudson, A. Seeger, H.
Weber, J. Juliano, and A.T. Helser, “VRPN:
a device-independent, network-transparent VR peripheral system”, Proceeding of ACM Virtual Reality Software & Technology, pp.
55–61, 2001.
[9] 한승훈, 김은주, “자바를 이용한 2.5D 메타버스 게임 엔진 설계 및 구현”, 한국멀티미디어학회, Vol. 10, No.2, pp. 260-268, 2007
[10] 우상혁, 박병관, 이하령, 박동규, “OpenGL ES 기반의 모바일 3D 레이싱 게임 엔진”, 한국멀 티미디어학회, Vol. 2005, No. 1, pp. 867-870, 2005
[11] Peker, A.G., Can, T., “A design goal and design pattern based approach for development of game engines for mobile platforms”, Computer Games (CGAMES), 2011 16th International Conference on, ISBN:
978-1-4577-1451-1, pp. 114-120, July 2011 [12] B.J Small, A. Herlitz, L. Fratiglioni, O.
Almkvist, L. Bäckman, “Cognitive predictors of incident Alzheimer's disease: A prospective longitudinal study,”
Neuropsychology, Vol. 11(3), pp. 413-420, Jul. 1997.
하 관 봉 (He, Guan Feng)
2010년 2월 원광대학교 전기전자 및 정보통신학부 (공학사)
2010년 3월-현재 원광대학교 컴퓨터공학과 석사과정 관심분야 : 영상처리, 제스처 인식
박 진 웅 (Park, Jin Woong)
2009년 8월 원광대학교 전기전자 및 정보통신학부 (공학사)
2010년 3월-현재 원광대학교 정보·컴퓨터교육학과 석사과정
관심분야 : 영상인식, 영상처리
강 선 경 (Kang, Sun Kyung)
2000년 2월 원광대학교 전기․전자공학부 (공학사) 2004년 2월 원광대학교 정보․컴퓨터교육학과
(교육학석사)
2010년 2월 원광대학교 컴퓨터공학과(공학박사) 관심분야 : HCI, 영상처리, 패턴인식, 임베디드시스템
정 성 태 (Jung, Sung Tae)
1987년 2월 서울대학교 컴퓨터공학과 (공학사) 1989년 2월 서울대학교 컴퓨터공학과 (공학석사) 1994년 8월 서울대학교 컴퓨터공학과 (공학박사) 1995년 3월-현재 원광대학교 컴퓨터공학과 교수 관심분야 : 영상인식, 영상처리, 컴퓨터 그래픽스
