(19) 대한민국특허청(KR) (12) 공개특허공보(A)
(11) 공개번호 10-2018-0032877 (43) 공개일자 2018년04월02일 (51) 국제특허분류(Int. Cl.)
A63F 13/812 (2014.01) A63B 69/00 (2006.01) A63F 7/06 (2006.01)
(52) CPC특허분류
A63F 13/812 (2015.01) A63B 69/0002 (2013.01)
(21) 출원번호 10-2016-0122111 (22) 출원일자 2016년09월23일 심사청구일자 2017년07월26일
(71) 출원인
한국전자통신연구원
대전광역시 유성구 가정로 218 (가정동) (72) 발명자
백성민
대전광역시 유성구 지족로 343 (지족동, 반석마 을아파트2단지)
김명규
대전광역시 유성구 배울2로 114, 1108동 701호(용 산동, 대덕테크노밸리11단지아파트)
(뒷면에 계속) (74) 대리인
한양특허법인 전체 청구항 수 : 총 1 항
(54) 발명의 명칭 스크린 야구의 동작 분석 장치 및 방법 (57) 요 약
스크린 야구의 동작 분석 장치 및 방법이 개시된다. 본 발명에 따른 스크린 야구의 동작 분석 장치는, 스크린 야 구 플레이어에 상응하는 데이터를 수신하는 수신부, 수신된 상기 데이터를 인체 깊이 데이터 및 지면 깊이 데이 터 중 적어도 어느 하나를 포함하는 깊이 데이터로 분류하는 분류부, 상기 깊이 데이터의 프레임 별 특징점을 추 출하는 추출부, 추출된 상기 특징점을 기반으로, 상기 스크린 야구 플레이어의 타석 입장 여부, 헬멧 착용 여부 및 스윙 여부 중 적어도 어느 하나를 분석하는 동작 분석부, 그리고 상기 분석된 결과를 스크린 야구 시뮬레이터 로 전송하는 전송부를 포함한다.
대 표 도 - 도2
(52) CPC특허분류
A63F 7/0608 (2013.01) (72) 발명자
김우석
대전광역시 서구 신갈마로 66-17 (갈마동, 미소마 을)
김종성
대전광역시 서구 청사서로 41, 107동 1103호(월평 동, 백합아파트)
서상우
대전광역시 유성구 가정로 218 (가정동) 홍성진
대전광역시 유성구 가정로 218 (가정동)
이 발명을 지원한 국가연구개발사업 과제고유번호 s07201501012015 부처명 문화체육관광부
연구관리전문기관 국민체육진흥공단 연구사업명 스포츠산업기술개발사업
연구과제명 청소년용 실감 체험형 스포츠 통합플랫폼 기술 개발 기 여 율 1/1
주관기관 한국전자통신연구원 연구기간 2016.08.01 ~ 2017.07.31
명 세 서 청구범위 청구항 1
스크린 야구 플레이어에 상응하는 데이터를 수신하는 수신부,
수신된 상기 데이터를 인체 깊이 데이터 및 지면 깊이 데이터 중 적어도 어느 하나를 포함하는 깊이 데이터로 분류하는 분류부,
상기 깊이 데이터의 프레임 별 특징점을 추출하는 추출부,
추출된 상기 특징점을 기반으로, 상기 스크린 야구 플레이어의 타석 입장 여부, 헬멧 착용 여부 및 스윙 여부 중 적어도 어느 하나를 분석하는 동작 분석부, 그리고
상기 분석된 결과를 스크린 야구 시뮬레이터로 전송하는 전송부 를 포함하는 스크린 야구의 동작 분석 장치.
발명의 설명 기 술 분 야
본 발명은 스크린 야구의 동작 분석 기술에 관한 것으로, 특히 RGB-D 센서로부터 수집된 데이터를 이용하여, 스 [0001]
크린 야구 플레이어의 동작을 분석하는 기술에 관한 것이다.
배 경 기 술
스크린 골프에 이어 야구, 축구, 농구 등의 다양한 구기 스포츠 시뮬레이션 게임이 개발되었다. 특히 스크린 야 [0002]
구에 대한 사람들의 관심이 높아지면서, 전국의 스크린 야구장 개수도 크게 증가하고 있다.
일반적으로 스크린 야구 장치는 전방에 화상을 표시하는 스크린, 스크린 뒤에서 야구공을 던지는 피칭 머신, 피 [0003]
칭 머신을 동작시키기 위한 페달이나 피칭 버튼, 타격 등에 의한 야구공의 위치를 센싱하는 센싱 장치로 구성된 다. 아직까지 스크린 야구 플레이어의 동작을 분석하여, 스크린 야구에 적용하는 기술은 부족한 실정이다.
한국 등록 특허 제10-1548511호(초고속 카메라와 적외선센서바를 이용한 스크린 야구게임 시스템)는 모션인식센 [0004]
서를 이용하여 타자의 움직임을 감지하는 기술에 대하여 개시하고 있으나, 단순히 타자가 움직였는지 여부만을 판단하여 초고속 카메라 사진 분석을 위한 보조로 활용한다.
그리고 한국 등록 특허 제10-1394753호(실내 스크린 야구 연습 시스템 및 그 구현 방법)는 사용자가 고개를 끄 [0005]
덕끄덕하거나, 가로젓는 모션 사인을 인식하여 특정 구질을 선택하는 NUI로 활용하는 기술에 대하여 개시하고 있다.
또한, 타자의 타격 영상을 촬영하는 촬영용 카메라를 구비하는 스크린 야구 시스템에 관한 기술들이 개발되었으 [0006]
나, 단순히 영상을 촬영할 뿐 타자의 동작을 이용하여 스크린 야구 시뮬레이션에 적용하는 기술은 아직까지 개 발되지 않았다.
인체 동작을 이용한 스포츠, 댄스, 게임 등은 주로 RGB-D 센서 중 키넥트 센서를 활용하여 사용자의 동작을 인 [0007]
식한다. 그러나, 스크린 야구는 설치 위치 및 야구 장비를 든 사용자의 자세 등으로 인하여 RGB-D 센서를 이용 한 동작 분석이 어렵다.
따라서, 사용자의 움직임을 분석하여 스크린 야구 시뮬레이션에 적용함으로써, 사용자가 더욱 실감나고 재미있 [0008]
는 게임을 즐길 수 있도록 하는 기술의 개발이 필요하다.
선행기술문헌 특허문헌
(특허문헌 0001) 한국 등록 특허 제10-1548511호, 2015년 09월 01일 공개(명칭: 초고속 카메라와 적외선센서바 [0009]
를 이용한 스크린 야구게임 시스템)
발명의 내용 해결하려는 과제
본 발명의 목적은 타석에 들어선 스크린 야구 플레이어의 스윙 준비 여부를 파악하여, 피칭 머신을 동작시킬 수 [0010]
있도록 하는 것이다.
또한, 본 발명의 목적은 스크린 야구 플레이어가 좌 타석 및 우 타석 중 어느 타석에 들어섰는지에 따라 시뮬레 [0011]
이션 게임 내에서 플레이어의 아바타 위치를 설정하고, 플레이어의 스윙 동작에 따라 아바타의 동작을 제어할 수 있도록 하는 것이다.
또한, 본 발명의 목적은 스크린 야구 플레이어의 헬멧 착용 여부를 판단하여, 스크린 야구 플레이어가 안전하게 [0012]
스크린 야구 게임을 즐길 수 있도록 하는 것이다.
또한, 본 발명의 목적은 한 대의 RGB-D 센서를 이용하여 자연스러운 스크린 야구 게임의 진행이 가능하며, 스크 [0013]
린 야구 플레이어가 실감나는 스크린 야구 게임을 즐길 수 있도록 하는 것이다.
과제의 해결 수단
상기한 목적을 달성하기 위한 본 발명에 따른 스크린 야구의 동작 분석 장치는 스크린 야구 플레이어에 상응하 [0014]
는 데이터를 수신하는 수신부, 수신된 상기 데이터를 인체 깊이 데이터 및 지면 깊이 데이터 중 적어도 어느 하 나를 포함하는 깊이 데이터로 분류하는 분류부, 상기 깊이 데이터의 프레임 별 특징점을 추출하는 추출부, 추출 된 상기 특징점을 기반으로, 상기 스크린 야구 플레이어의 타석 입장 여부, 헬멧 착용 여부 및 스윙 여부 중 적 어도 어느 하나를 분석하는 동작 분석부, 그리고 상기 분석된 결과를 스크린 야구 시뮬레이터로 전송하는 전송 부를 포함한다.
이때, 상기 깊이 데이터의 특징점은, 인체 중심점, 발 중심점, 머리 중심점 및 손 중심점 중 적어도 어느 하나 [0015]
를 포함할 수 있다.
이때, 상기 추출부는, 상기 인체 깊이 데이터로부터 추출된 상기 인체 중심점의 위 및 아래를 스캔하여, 상기 [0016]
머리 중심점 및 상기 스크린 야구 플레이어의 두 발에 상응하는 상기 발 중심점을 추출할 수 있다.
이때, 상기 동작 분석부는, 상기 머리 중심점에 상응하는 컬러 데이터를 기반으로, 상기 스크린 야구 플레이어 [0017]
의 헬멧 착용 여부를 분석할 수 있다.
이때, 상기 추출부는, 상기 인체 깊이 데이터로부터 추출된 상기 인체 중심점을 기반으로, 상기 스크린 야구 플 [0018]
레이어의 앞에 상응하는 상기 깊이 데이터로부터 상기 손 중심점을 추출할 수 있다.
이때, 상기 동작 분석부는, 상기 복수 개의 프레임들을 기반으로 상기 손 중심점의 이동 궤적을 계산하고, 상기 [0019]
손 중심점의 위치가 기 설정된 값 이상 이동하고, 상기 손 중심점의 위치가 상기 인체 중심점을 지나는 경우 스 윙 동작으로 판단 할 수 있다.
이때, 상기 동작 분석부는, 상기 스윙 동작으로 판단된 후 상기 추출부에 의해 야구공의 위치가 추출된 경우, [0020]
상기 스윙 동작을 헛스윙으로 판단할 수 있다.
이때, 상기 수신부는, 타석 후방 상단 및 타석 전방 상단 중 적어도 어느 하나에 설치된 RGB-D 센서로부터 상기 [0021]
데이터를 수신할 수 있다.
또한, 본 발명의 일실시예에 따른 스크린 야구의 동작 분석 장치에 의해 수행되는 스크린 야구의 동작 분석 방 [0022]
법은 스크린 야구 플레이어에 상응하는 데이터를 수신하는 단계, 수신된 상기 데이터를 인체 깊이 데이터 및 지 면 깊이 데이터 중 적어도 어느 하나를 포함하는 깊이 데이터로 분류하는 단계, 상기 깊이 데이터의 프레임 별 특징점을 추출하는 단계, 추출된 상기 특징점을 기반으로, 상기 스크린 야구 플레이어의 타석 입장 여부, 헬멧 착용 여부 및 스윙 여부 중 적어도 어느 하나를 포함하는 스크린 야구의 동작을 분석하는 단계, 그리고 상기 분 석된 결과를 스크린 야구 시뮬레이터로 전송하는 단계를 포함한다.
이때, 상기 깊이 데이터의 특징점은, 인체 중심점, 발 중심점, 머리 중심점 및 손 중심점 중 적어도 어느 하나 [0023]
를 포함할 수 있다.
이때, 상기 특징점을 추출하는 단계는, 상기 인체 깊이 데이터로부터 추출된 상기 인체 중심점의 위 및 아래를 [0024]
스캔하는 단계, 그리고 상기 머리 중심점 및 상기 스크린 야구 플레이어의 두 발에 상응하는 상기 발 중심점을 추출하는 단계를 포함 할 수 있다.
이때, 상기 스크린 야구의 동작을 분석하는 단계는, 상기 머리 중심점에 상응하는 컬러 데이터를 기반으로, 상 [0025]
기 스크린 야구 플레이어의 헬멧 착용 여부를 분석할 수 있다.
이때, 상기 특징점을 추출하는 단계는, 상기 인체 깊이 데이터로부터 추출된 상기 인체 중심점을 기반으로, 상 [0026]
기 스크린 야구 플레이어의 앞에 상응하는 상기 깊이 데이터로부터 상기 손 중심점을 추출할 수 있다.
이때, 상기 스크린 야구의 동작을 분석하는 단계는, 상기 복수 개의 프레임들을 기반으로 상기 손 중심점의 이 [0027]
동 궤적을 계산하는 단계, 그리고 상기 손 중심점의 위치가 기 설정된 값 이상 이동하고, 상기 손 중심점의 위 치가 상기 인체 중심점을 지나는 경우 스윙 동작으로 판단하는 단계를 포함 할 수 있다.
이때, 상기 스크린 야구의 동작을 분석하는 단계는, 상기 스윙 동작으로 판단된 후 야구공의 위치가 추출된 경 [0028]
우, 상기 스윙 동작을 헛스윙으로 판단할 수 있다.
이때, 상기 데이터를 수신하는 단계는, 타석 후방 상단 및 타석 전방 상단 중 적어도 어느 하나에 설치된 RGB-D [0029]
센서로부터 상기 데이터를 수신할 수 있다.
발명의 효과
본 발명에 따르면, 타석에 들어선 스크린 야구 플레이어의 스윙 준비 여부를 파악하여, 피칭 머신을 동작시킬 [0030]
수 있다.
또한 본 발명에 따르면, 스크린 야구 플레이어가 좌 타석 및 우 타석 중 어느 타석에 들어섰는지에 따라 시뮬레 [0031]
이션 게임 내에서 플레이어의 아바타 위치를 설정하고, 플레이어의 스윙 동작에 따라 아바타의 동작을 제어할 수 있다.
또한 본 발명에 따르면, 스크린 야구 플레이어의 헬멧 착용 여부를 판단하여, 스크린 야구 플레이어가 안전하게 [0032]
스크린 야구 게임을 즐길 수 있도록 할 수 있다.
또한 본 발명에 따르면, 한 대의 RGB-D 센서를 이용하여 자연스러운 스크린 야구 게임의 진행이 가능하며, 스크 [0033]
린 야구 플레이어가 실감나는 스크린 야구 게임을 즐길 수 있도록 할 수 있다.
도면의 간단한 설명
도 1은 본 발명의 일실시예에 따른 스크린 야구의 동작 분석 장치가 적용되는 환경을 개략적으로 나타낸 도면이 [0034]
다.
도 2는 본 발명의 일실시예에 따른 스크린 야구의 동작 분석 장치의 구성을 나타낸 블록도이다.
도 3은 본 발명의 일실시예에 따른 스크린 야구의 동작 분석 방법을 설명하기 위한 순서도이다.
도 4는 본 발명의 일실시예에 따른 RGB-D 센서의 설치 위치를 설명하기 위한 예시도이다.
도 5는 본 발명의 일실시예에 따른 특징점을 설명하기 위한 예시도이다.
도 6은 본 발명의 일실시예에 따른 헛스윙 동작을 인식하는 방법을 설명하기 위한 예시도이다.
도 7은 본 발명의 일실시예에 따른 스크린 야구의 동작 분석 장치의 기능을 설명하기 위한 구성도이다.
도 8은 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 블록도이다.
발명을 실시하기 위한 구체적인 내용
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하 [0035]
고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포 [0036]
함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 [0037]
아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함 하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조 합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부 품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 [0038]
속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일 반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의 미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설 [0040]
명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일실시예에 따른 스크린 야구의 동작 분석 장치가 적용되는 환경을 개략적으로 나타낸 도면이 [0042]
다.
도 1에 도시한 바와 같이, 스크린 야구 시스템은 RGB-D 센서(100), 스크린 야구의 동작 분석 장치(200) 및 스크 [0043]
린 야구 시뮬레이터(300)를 포함한다.
먼저, RGB-D 센서(100)는 스크린 야구 플레이어에 상응하는 영상을 촬영한다. 이때, 촬영된 영상 데이터는 깊이 [0044]
데이터 및 컬러 데이터를 포함할 수 있으며, RGB-D 센서(100)는 키넥트일 수 있다.
그리고 RGB-D 센서(100)는 좌 타석 또는 우 타석에 들어선 스크린 야구 플레이어의 몸에 의해 시야가 가려지지 [0045]
않도록 설치될 수 있으며, 스크린 야구 플레이어가 타격한 야구공과 충돌하지 않는 위치에 설치될 수 있다. 즉, RGB-D 센서(100)는 타석의 후방 상단 또는 타석의 전방 상단 위치에 설치되어 영상을 촬영할 수 있다.
다음으로 스크린 야구의 동작 분석 장치(200)는 RGB-D 센서(100)로부터 수신된 데이터를 분석하여, 스크린 야구 [0046]
플레이어의 동작을 분석하고, 분석된 결과를 스크린 야구 시뮬레이터(300)로 전송한다.
스크린 야구의 동작 분석 장치(200)는 수신된 데이터 중 깊이 데이터를 인체 깊이 데이터 및 지면 깊이 데이터 [0047]
로 분류하고, 깊이 데이터의 프레임 별 특징점을 추출할 수 있다. 그리고 스크린 야구의 동작 분석 장치(200)는 추출된 복수 개의 특징점들을 기반으로 스크린 야구 플레이어의 타석 입장 여부, 헬멧 착용 여부 및 스윙 여부 중 적어도 어느 하나를 판단할 수 있다.
그리고 분석된 결과를 스크린 야구 시뮬레이터(300)로 전송하여, 스크린 야구 시뮬레이터(300)가 스크린 야구 [0048]
플레이어의 동작에 상응하도록 스크린 야구 게임을 진행하거나, 스크린 상에 출력되는 아바타의 동작을 제어할 수 있다.
마지막으로 스크린 야구 시뮬레이터(300)는 스크린 야구의 동작 분석 장치(200)로부터 분석된 결과를 수신하고, [0049]
수신된 결과에 상응하도록 스크린 야구 게임을 진행한다.
이때, 스크린 야구 게임의 진행을 위하여, 스크린 야구 시뮬레이터(300)는 스크린, 피칭 머신, 촬영 장치, 센서 [0050]
및 스피커 중 적어도 어느 하나와 통신을 수행할 수도 있다.
예를 들어, 스크린 야구의 동작 분석 장치(200)로부터 스크린 야구 플레이어가 타석에 입장하였음을 의미하는 [0051]
결과를 수신한 경우, 스크린 야구 시뮬레이터(300)는 피칭 머신이 야구공을 던지도록 제어할 수 있다.
또한, 스크린 야구 플레이어가 좌 타석에 입장한 것으로 판단된 경우, 스크린 야구 시뮬레이터(300)는 스크린 [0052]
상에 출력되는 아바타가 좌 타석에 위치한 것으로 출력되도록 제어할 수 있다. 그리고 스크린 야구 플레이어가 배트를 휘두른 것으로 판단된 경우 스크린 야구 시뮬레이터(300)는 스크린 상의 아바타가 배팅 동작을 수행하도 록 제어할 수 있다.
스크린 야구 플레이어가 헬멧을 착용하지 않은 상태로 타석에 들어선 것을 의미하는 분석 결과를 수신한 경우, [0053]
스크린 야구 시뮬레이터(300)는 스크린 야구 게임의 진행을 일시 중지하고, 스크린 야구 플레이어에게 헬멧을 착용하라는 안내 메시지를 출력할 수 있다.
이하에서는 도 2를 통하여 본 발명의 일실시예에 따른 스크린 야구의 동작 분석 장치의 구성에 대하여 더욱 상 [0055]
세하게 설명한다.
도 2는 본 발명의 일실시예에 따른 스크린 야구의 동작 분석 장치의 구성을 나타낸 블록도이다.
[0056]
도 2에 도시된 바와 같이, 스크린 야구의 동작 분석 장치(200)는 수신부(210), 분류부(220), 추출부(230), 동작 [0057]
분석부(240) 및 전송부(250)를 포함한다.
먼저, 수신부(210)는 스크린 야구 시뮬레이터로부터 스크린 야구 사용자에 상응하는 데이터를 수신한다. 이때, [0058]
수신부(210)는 스크린 야구의 타석 후방 상단 및 타석 전방 상단 중 적어도 어느 하나에 설치된 RGB-D 센서로부 터 데이터를 수신할 수 있다. 그리고 수신부(210)가 수신한 데이터는 깊이 데이터 및 컬러 데이터를 포함할 수 있다.
다음으로 분류부(220)는 수신된 데이터 중 깊이 데이터를 인체 깊이 데이터 및 지면 깊이 데이터로 분류한다.
[0059]
그리고 추출부(230)는 깊이 데이터의 프레임 별 특징점을 추출한다. 이때, 특징점은 인체 중심점, 발 중심점, [0060]
머리 중심점 및 손 중심점 중 적어도 어느 하나를 포함하며, 발 중심점은 왼발 및 오른발 각각에 상응하도록 추 출될 수 있다.
추출부(230)는 인체 깊이 데이터로부터 추출된 인체 중심점의 위 및 아래를 스캔하여, 스크린 야구 플레이어에 [0061]
상응하는 머리 중심점 및 발 중심점을 추출할 수 있다. 또한, 추출부(230)는 인체 중심점을 기반으로 스크린 야 구 플레이어의 앞에 상응하는 깊이 데이터로부터 손 중심점을 추출할 수 있다.
동작 분석부(240)는 추출된 하나 이상의 특징점을 기반으로, 스크린 야구 플레이어의 타석 입장 여부, 헬멧 착 [0062]
용 여부 및 스윙 여부 중 적어도 어느 하나를 분석한다.
이때, 동작 분석부(240)는 머리 중심점에 상응하는 컬러 데이터를 기반으로, 스크린 야구 플레이어의 헬멧 착용 [0063]
여부를 판단할 수 있다. 또한, 동작 분석부(240)는 복수 개의 프레임들을 기반으로 손 중심점의 이동 궤적을 계 산하고, 손 중심점의 위치가 기 설정된 값 이상 이동하고, 손 중심점의 위치가 인체 중심점을 지나는 경우, 스 윙 동작으로 판단할 수 있다. 그리고 스윙 동작으로 판단된 후, 추출부(230)에 의해 야구공의 위치가 추출된 경 우, 동작 분석부(240)는 해당 스윙 동작을 헛스윙으로 판단할 수 있다.
마지막으로 전송부(250)는 스크린 야구 플레이어의 동작 분석 결과를 스크린 야구 시뮬레이터로 전송한다.
[0064]
이하에서는 도 3을 통하여 본 발명의 일실시예에 따른 스크린 야구의 동작 분석 장치에 의해 수행되는 동작 분 [0066]
석 방법에 대하여 더욱 상세하게 설명한다.
도 3은 본 발명의 일실시예에 따른 스크린 야구의 동작 분석 방법을 설명하기 위한 순서도이다.
[0067]
먼저, 스크린 야구의 동작 분석 장치(200)는 스크린 야구 플레이어에 상응하는 데이터를 수신한다(S310).
[0068]
이때, 스크린 야구의 동작 분석 장치(200)는 스크린 야구 플레이어의 전방 상단 또는 후방 상단에 위치한 RGB-D [0069]
센서로부터 데이터를 수신할 수 있으며, RGB-D 센서는 키넥트일 수 있다. 그리고 스크린 야구의 동작 분석 장치 (200)는 RGB-D 센서로부터 깊이 데이터 및 컬러 데이터를 포함하는 데이터를 수신할 수 있다.
다음으로 스크린 야구의 동작 분석 장치(200)는 수신된 데이터를 인체 깊이 데이터 및 지면 깊이 데이터로 분류 [0070]
한다(S320).
스크린 야구의 동작 분석 장치(200)는 수신된 데이터에 포함된 노이즈를 제거하고, 데이터에 포함된 깊이 데이 [0071]
터를 인체 깊이 데이터 및 지면 깊이 데이터로 분류한다.
RGB-D 센서는 상단에 설치되어 하단을 내려다보므로, RGB-D 센서를 기울인 만큼 기울어진 깊이 데이터가 획득된 [0072]
다. 따라서, 본 발명의 일실시예에 따른 스크린 야구의 동작 분석 장치(200)는 배경 깊이 데이터로부터 planar fitting of 3D points(x,y,f(x,y)) 기법을 적용하여 지면의 평면 방정식(z=Ax+By+C)을 구한 후 지면의 노말 벡
터(ground normal vector)를 계산하는 방식을 적용하여, 연산량을 줄일 수 있다.
또한, 스크린 야구의 동작 분석 장치(200)는 Ｙ축 벡터(0, 1, 0)와 각도 차이를 계산하여 일치시키는 회전 행렬 [0073]
(MR)을 구하고 입력된 깊이 데이터를 회전 행렬에 의해 회전시킨다. 그리고 스크린 야구의 동작 분석 장치 (200)는 지면의 평면 방정식(z=Ax+By+C)을 활용하여, 지면 깊이 데이터와 인체 깊이 데이터를 분류할 수 있다.
스크린 야구의 동작 분석 장치(200)는 획득한 포인트 클라우드(point cloud)의 x, y, z 값을 평면 방정식에 입 [0074]
력하여, 기 설정된 범위 내에 포함될 경우 지면으로 인식하고, 평면보다 위에 있는 포인트들 중에서 타석 범위 내에 있는 데이터들을 인체로 인식할 수 있다.
또한 스크린 야구의 동작 분석 장치(200)는 프레임 별 특징점을 추출한다(S330).
[0075]
스크린 야구의 동작 분석 장치(200)는 인체 및 지면에 상응하는 특징점을 추출한다. 스크린 야구의 동작 분석 [0076]
장치(200)는 인체 깊이 데이터로부터 스크린 야구 플레이어의 중심 위치에 상응하는 인체 중심점을 추출한다.
그리고 스크린 야구의 동작 분석 장치(200)는 인체 중심점의 아랫 부분 중 인체 깊이 데이터의 가장 하단에 상 [0077]
응하는 데이터를 발 중심점으로 추출할 수 있다. 이때, 스크린 야구의 동작 분석 장치(200)는 인체 깊이 데이터 의 가장 하단에 상응하는 앞, 뒤 데이터를 확인하여 두 발의 중심 위치를 추출할 수 있다. 또한, 스크린 야구의 동작 분석 장치(200)는 인체 중심점의 윗 부분 중 인체 깊이 데이터의 가장 상단에 상응하는 데이터를 머리 중 심점으로 추출할 수 있다.
스크린 야구 플레이어가 배트를 휘두를 때, 손이 몸의 앞으로 나오는 특징을 이용하여, 스크린 야구의 동작 분 [0078]
석 장치(200)는 스크린 야구 플레이어의 손 중심점을 추출할 수도 있다. 이때, 배트 데이터가 같이 포함될 수 있으며, 스크린 야구의 동작 분석 장치(200)는 영역을 지정하여 기 설정된 값 이상 벗어난 데이터를 제외한 후, 스크린 야구 플레이어의 손 중심점을 추출할 수도 있다.
다음으로 스크린 야구의 동작 분석 장치(200)는 스크린 야구 플레이어의 동작을 분석한다(S340).
[0079]
스크린 야구의 동작 분석 장치(200)는 스크린 야구 플레이어의 두 발의 중심점을 이용하여, 스크린 야구 플레이 [0080]
어가 타석에 들어섰는지 여부를 판단할 수 있다. 그리고 스크린 야구 플레이어가 타석에 들어선 것으로 판단된 경우, 스크린 야구의 동작 분석 장치(200)는 스크린 야구 플레이어가 우 타석 및 좌 타석 중 어느 타석에 들어 섰는지 여부를 판단할 수 있다.
그리고 스크린 야구의 동작 분석 장치(200)는 머리 중심점에 상응하는 컬러 데이터를 이용하여, 스크린 야구 플 [0081]
레이어가 머리에 헬멧을 착용하였는지 여부를 판단할 수 있다.
또한, 스크린 야구의 동작 분석 장치(200)는 복수 개의 프레임들을 기반으로 손 중심점의 이동 궤적을 [0082]
계산하고, 손 중심점의 위치가 기 설정된 값 이상 이동하고, 손 중심점의 위치가 인체 중심점을 지나는 경우 스 크린 야구의 동작 분석 장치(200)는 스크린 야구 플레이어가 스윙 동작을 수행한 것으로 판단할 수 있다.
스크린 야구 플레이어가 스윙 동작을 수행하였으나 야구공을 타격하지 못한 경우, 야구공은 스크린 야구 플레이 [0083]
어의 뒤에 위치한 안전막에 부딪힌 후 지면으로 떨어져 굴러간다. 이때, 지면 깊이 데이터에 야구공의 위치가 포함되며, 지면 깊이 데이터가 기 설정된 범위 내에 포함되는 경우, 스크린 야구의 동작 분석 장치(200)는 해당 지면 깊이 데이터가 야구공을 의미하는 것으로 판단할 수 있다. 그리고 야구공이 인식된 경우, 스크린 야구의 동작 분석 장치(200)는 스크린 야구 플레이어가 헛스윙을 한 것으로 판단할 수 있다.
마지막으로 스크린 야구의 동작 분석 장치(200)는 분석된 결과인 스크린 야구 플레이어의 동작 분석 결과를 스 [0084]
크린 야구 시뮬레이터로 전송한다(S350).
스크린 야구의 동작 분석 장치(200)는 동작 분석 결과를 스크린 야구 시뮬레이터로 전송함으로써, 스크린 야구 [0085]
플레이어의 동작이 스크린 야구 시뮬레이션에 반영되도록 할 수 있으며, 이를 통하여 스크린 야구 플레이어가 더욱 실감나고 재미있는 스크린 야구 게임을 즐길 수 있도록 할 수 있다.
예를 들어, 스크린 야구의 동작 분석 장치(200)가 스크린 야구 플레이어가 타석에 들어섰음을 의미하는 결과를 [0086]
스크린 야구 시뮬레이터로 전송하는 경우, 스크린 야구 시뮬레이터는 피칭 머신이 야구공을 피칭하도록 제어할 수 있다.
또한, 스크린 야구의 동작 분석 장치(200)는 스크린 야구 플레이어가 우 타석에 들어섰음을 의미하는 결과를 스 [0087]
크린 야구 시뮬레이터로 전송하면, 스크린 야구 시뮬레이터는 우 타석에 위치한 아바타를 스크린 상에 출력할
수 있다.
그리고 스크린 야구의 동작 분석 장치(200)가 스크린 야구 플레이어가 헬멧을 착용하지 않았음을 의미하는 결과 [0088]
를 스크린 야구 시뮬레이터로 전송할 경우, 스크린 야구 시뮬레이터는 스피커 또는 스크린을 통하여 헬멧을 착 용하도록 안내하는 메시지를 출력할 수 있다.
도 4는 본 발명의 일실시예에 따른 RGB-D 센서의 설치 위치를 설명하기 위한 예시도이다.
[0090]
도 4에 도시한 바와 같이, RGB-D 센서(100)는 타석(batter box)(620)에 들어선 스크린 야구 플레이어(500)의 [0091]
후방 상단에 설치될 수 있다. 이때, RGB-D 센서(100)는 상단에 설치되어 하단을 내려다보도록 설치될 수 있으며, 스크린 야구 플레이어(500)가 위치하는 타석(620)의 뒷부분까지 촬영할 수 있도록 기울어진 형태로 설 치될 수 있다.
그리고 RGB-D 센서(100)는 포수의 위치에 상응하는 안전막(400)의 상단에 설치될 수 있으며, 지지대(410)를 구 [0092]
비하여 안전막(400)의 상단부 중 적합한 높이에 설치될 수 있다.
또한, 스크린 야구 플레이어의 신체에 의해 RGB-D 센서의 시야가 가려지지 않으며 스크린 야구 플레이어에 의해 [0093]
타격된 야구공이 충돌할 가능성이 적은 곳에 설치될 수 있다. 설명의 편의상 RGB-D 센서가 스크린 야구 플레이 어의 후방 상단에 설치되는 것으로 설명하였으나 이에 한정하지 않고, RGB-D 센서는 스크린 야구 플레이어의 전 방 상단에 설치될 수도 있다.
도 5는 본 발명의 일실시예에 따른 특징점을 설명하기 위한 예시도이다.
[0095]
도 5에 도시한 바와 같이, 스크린 야구의 동작 분석 장치(200)는 그라운드(600)의 노말 벡터(ground normal [0096]
vector)(610)를 구하고, 인체 깊이 데이터에 상응하는 포인트들의 평균점을 계산하며, 계산된 평균점을 인체 중 심점(Pc)(510)로 설정한다. 이때, 인체 깊이 데이터에 상응하는 포인트의 개수가 임계값 이하인 경우, 스크린 야구의 동작 분석 장치(200)는 노이즈로 간주하고 평균점을 계산하지 않을 수 있다.
그리고 스크린 야구의 동작 분석 장치(200)는 인체 중심점(Pc)(510)을 기준으로 XZ 상에서 정해진 반경(RF) 내에 [0097]
위치하고, 인체 깊이 데이터의 가장 하단에서 Y축 상의 정해진 높이값(H1) 범위 내에 위치하는 인체 깊이 데이터 를 발 중심점 (PLF, PRF)(530)으로 인식한다.
스크린 야구 플레이어의 발 위치는 타석(620)에 따라 앞/뒤가 달라지므로 스크린 야구의 동작 분석 장치(200)는 [0098]
스크린 야구 플레이어가 위치한 타석(620)에 따라 해당 발 중심점(PLF, PRF)(530)이 오른발 및 왼발 중 어떠한 발에 상응하는 발 중심점인지 구분할 수 있다.
또한, 스크린 야구의 동작 분석 장치(200)는 인체 중심점(Pc)(510)을 기준으로 XZ 상에서 정해진 반경(RH) 내에 [0099]
위치하고, 인체 깊이 데이터의 가장 상단에서 Y축 상의 정해진 범위값(H2) 내에 위치하는 인체 깊이 데이터를 머 리 중심점(PHD)(520)으로 인식한다.
그리고 스크린 야구의 동작 분석 장치(200)는 인체 중심점(Pc)(510)을 기준으로 Y축으로 -Y1 내지 +Y2 영역에 존 [0100]
재하며, X축으로 X1 내지 X2 범위 내에 존재하는 인체 깊이 데이터는 스크린 야구 플레이어의 손에 상응하는 손 중심점(PH)(540)으로 판단한다. 이때, 스크린 야구의 동작 분석 장치(200)는 좌 타석, 우 타석에 따라 X축에서 의 범위값에 상응하는 부호를 다르게 설정할 수 있다.
스크린 야구 플레이어의 손에 상응하는 데이터는 스크린 야구 플레이어의 손 이외에 팔 부분 및 배트 부분의 일 [0101]
부가 포함될 수 있다. 따라서, 스크린 야구의 동작 분석 장치(200)는 1차 손 중심점(PH1)을 구하고, PCA(principal component analysis)에 의해 포인트의 분포 상태를 확인한 후 주축에 따라 인체 중심(Pc) 방향으 로 이동하여 2차 손 중심점(PH2)을 구할 수 있다.
도 6은 본 발명의 일실시예에 따른 헛스윙 동작을 인식하는 방법을 설명하기 위한 예시도이다.
[0103]
피칭된 야구공의 속도는 매우 빠르므로, 저가의 RGB-D 센서를 이용할 경우 야구공의 데이터를 수집하기 어렵다.
[0104]
따라서, 본 발명의 일실시예에 따른 스크린 야구의 동작 분석 장치(200)는 포수 위치에 설치된 안전막에 맞고 떨어져 지면을 구르는 야구공(10)을 추적하여 스크린 야구 플레이어(500)의 헛스윙 여부를 판단할 수 있다.
야구공(10)은 지면에 가까우면서, 깊이 데이터가 야구공의 크기에 상응하는 일정한 범위 내에 밀집되는 특성이 [0105]
있다. 따라서, 스크린 야구의 동작 분석 장치(200)는 이러한 야구공(10)의 특성을 이용하여 해당 깊이 데이터가 야구공(10)에 상응하는 깊이 데이터인지 여부를 판단할 수 있다.
도 7은 본 발명의 일실시예에 따른 스크린 야구의 동작 분석 장치의 기능을 설명하기 위한 구성도이다.
[0107]
도 7과 같이, 수신부(210)는 깊이 데이터 및 컬러 데이터를 획득한다. 그리고 분류부(220)는 수신된 깊이 데이 [0108]
터를 인체 깊이 데이터 및 지면 깊이 데이터로 분류하고, 깊이 데이터와 컬러 데이터를 매핑한다.
또한, 추출부(230)는 인체 깊이 데이터로부터 인체 중심점(중심점), 발 중심점(발 위치), 손 중심점(손 위치) [0109]
및 머리 중심점(머리 위치)을 추출하고, 지면 깊이 데이터로부터 야구공 위치를 추출한다. 이때, 추출된 야구공 위치는 파울, 스트라이크 등의 판정 시에 활용될 수 있다.
그리고 동작 분석부(240)는 인체 중심점 및 발 중심점을 이용하여 타석 위치를 분석하고, 손 중심점 및 머리 중 [0110]
심점를 기반으로 배팅 자세를 분석한다. 또한, 동작 분석부(240)는 야구공 위치를 이용하여 스윙 결과를 분석할 수 있다.
또한, 전송부(250)는 분석된 결과인 타석 위치, 배팅 자세 및 스윙 결과를 스크린 야구 시뮬레이터로 전송한다.
[0111]
전송부(250)는 실시간으로 프레임 별 특징점을 추출하여 분석된 결과를 스크린 야구 시뮬레이터로 전송함으로써, 스크린 야구 시뮬레이터가 피칭 머신을 제어하거나 아바타의 동작을 제어할 수 있도록 한다.
이때, 전송부(250)가 스크린 야구 시뮬레이터로 전송하는 분석 결과는, 타석에 위치하는지 여부, 어느 타석에 [0112]
위치하는지에 대한 정보, 사용자의 스윙 동작 여부 및 헬멧 착용 여부 등을 포함할 수 있다.
동작 분석부(240)는 인체 중심점의 위치가 지정된 타석 내에 위치하는지 여부를 판단한다. 이때, 동작 분석부 [0113]
(240)는 인체 중심점뿐만 아니라 발 중심점을 사용하여 타석에 위치하는지 여부를 판단할 수 있다. 또한 동작 분석부(240)는 좌/우 2개의 발 중심점(PLF, PRF)을 추출한 경우, 배팅 준비 자세인 것으로 판단할 수 있다.
이를 통하여 스크린 야구 시뮬레이터는 인체 중심점 및 발 중심점을 기반으로, 피칭 머신의 작동 시간을 결정할 [0114]
수 있다. 그리고 일정 시간마다 피칭을 하거나, 스크린 야구 플레이어의 버튼 입력으로 피칭을 수행하는 종래 기술의 한계를 해결할 수 있으며, 스크린 야구 게임의 몰입도를 크게 향상시킬 수 있다.
또한, 동작 분석부(240)는 스크린 야구 플레이어가 타석 내에 들어선 것으로 판단된 경우, 머리 중심점을 기준 [0115]
으로 인체 깊이 데이터에 매핑된 컬러 데이터 값과 기 저장된 헬멧의 컬러를 비교하여, 스크린 야구 플레이어가 헬멧을 착용하였는지 여부를 판단할 수 있다.
이를 통하여 스크린 야구 시뮬레이터는 스크린 야구 플레이어가 헬멧을 착용하지 않은 것으로 판단된 경우, 일 [0116]
시적으로 스크린 야구 게임의 진행을 중지하거나, 헬멧 착용을 안내함으로써, 스크린 야구 플레이어가 안전하게 게임을 할 수 있도록 한다.
그리고 동작 분석부(240)는 프레임에 따른 손 중심점(PH2)의 이동 궤적을 계산하고, 이전 위치에서 현재 위치까 [0117]
지 이동한 거리가 기 설정된 값 이상이고, 현재 손 중심점의 위치가 인체 중심점을 지나가는 경우, 스윙 동작인 것으로 판단한다. 또한 스크린 야구 시뮬레이터는 스윙 동작에 상응하는 분석 결과를 수신한 경우, 스크린 상에 출력되는 아바타가 스윙 동작을 수행하거나, 스윙을 기다리는 동작을 수행하도록 제어할 수 있다. 또한, 동작 분석부(240)는 추출부(230)에서 야구공에 상응하는 깊이 데이터가 추출된 경우 헛스윙으로 판단할 수 있다.
도 8은 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 블록도이다.
[0119]
도 8을 참조하면, 본 발명의 실시예는 컴퓨터로 읽을 수 있는 기록매체와 같은 컴퓨터 시스템(800)에서 구현될 [0120]
수 있다. 도 8에 도시된 바와 같이, 컴퓨터 시스템(800)은 버스(820)를 통하여 서로 통신하는 하나 이상의 프
로세서(810), 메모리(830), 사용자 입력 장치(840), 사용자 출력 장치(850) 및 스토리지(860)를 포함할 수 있다. 또한, 컴퓨터 시스템(800)은 네트워크(880)에 연결되는 네트워크 인터페이스(870)를 더 포함할 수 있다.
프로세서(810)는 중앙 처리 장치 또는 메모리(830)나 스토리지(860)에 저장된 프로세싱 인스트럭션들을 실행하 는 반도체 장치일 수 있다. 메모리(830) 및 스토리지(860)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체일 수 있다. 예를 들어, 메모리는 ROM(831)이나 RAM(832)을 포함할 수 있다.
따라서, 본 발명의 실시예는 컴퓨터로 구현된 방법이나 컴퓨터에서 실행 가능한 명령어들이 기록된 비일시적인 [0121]
컴퓨터에서 읽을 수 있는 매체로 구현될 수 있다. 컴퓨터에서 읽을 수 있는 명령어들이 프로세서에 의해서 수 행될 때, 컴퓨터에서 읽을 수 있는 명령어들은 본 발명의 적어도 한 가지 태양에 따른 방법을 수행할 수 있다.
이상에서와 같이 본 발명에 따른 스크린 야구의 동작 분석 장치 및 방법은 상기한 바와 같이 설명된 실시예들의 [0123]
구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
부호의 설명 100: RGB-D 센서 [0124]
200: 스크린 야구의 동작 분석 장치 210: 수신부 220: 분류부 230: 추출부 240: 동작 분석부
250: 전송부 300: 스크린 야구 시뮬레이터 400: 안전막 410: 지지대
500: 스크린 야구 플레이어 510: 인체 중심점 520: 머리 중심점 530: 발 중심점
540: 팔 중심점 600: 그라운드 610: 노말 벡터 620: 타석 10: 야구공 800: 컴퓨터 시스템 810: 프로세서 820: 버스 830: 메모리 831: 롬
832: 램 840: 사용자 입력 장치 850: 사용자 출력 장치 860: 스토리지 870: 네트워크 인터페이스 880: 네트워크 도면
도면1
도면2
도면3
도면4
도면5
도면6
도면7
도면8
