축구 경기에서의 실시간 오프사이드 판정 시스템의 구축
발표자 - 이호성 경기북과학고등학교
이호성, 김태훈, 윤지호, 이규민, 박동우 (지도교사)
Contents
1. 연구 동기 및 목적
2. 선행 연구
3. 연구 방법 및 연구 내용
○ 카메라와 컴퓨터의 연결
○ 선수의 위치 판정
○ 선수의 행동 인식
○ 오프사이드 알고리즘 4. 연구 결과
5. 연구 결론및 제언
연구 동기 및 목적
연구 동기 및 목적
오프사이드(offside)
선행 연구
선행 연구
● T. D'Orazio et al., "An Investigation Into the Feasibility of Real-Time Socc er Offside Detection From a Multiple Camera System,"
○ 여러 대의 카메라
○ 공의 픽셀 분석을 통한 순간 속도 성분 분해
○ 공의 차는 순간 판정
○ 정확도 77.8%
● A. Jalal, A. Nadeem, K. Kim (2020). Human Actions Tracking and Recogni tion Based on Body Parts Detection via Artificial Neural Network.
○ 인공 신경망 -> 인간 행동 추적
○ Key-points 트래킹
○ Linear Discriminant, Artificial Neural Network (ANN)
연구 방법
연구 방법 - 카메라와 컴퓨터의 연결
연구 방법 - 선수의 위치 판정
● 관중의 제거
● 선수 인식
● 사영 변환
● 직선 좌표로의 역변환
연구 방법 - 선수의 행동 인식
●
전처리
● 공 및 선수의 검출 (Mask R-CNN) [2]
● 선수의 동작 인식 (Alpha-Pose) [3]
●
선수의 행동 인식
○ CNN 분류기
○ VGG-16 분류기
○ Dense Layer 분류기
연구 방법 - 오프사이드 알고리즘
●
전처리
●
선수의 위치 판정
●
선수의 행동인식
●
오프사이드 알고리즘의 제작
○
패스 순간 인식
○
최종 수비수의 위치
연구 내용
연구 내용 - 카메라와 컴퓨터의 연결
●
드론 카메라, 컨트롤러, Windows의 연결
○ Windows SDK를 통한 C#기반 실시간 스트리밍 앱 제작
●
고정 카메라, Linux의 연결
○ Gstreamer -> v4l2loopback으로 sink
○ Python OpenCV에서 웹캠처럼 사용 가능
●
Linux와 Windows의 연결
○ WebSocket을 이용한 양방향 통신을 통해 영상, 조종 신호 전달
연구 내용 - 선수의 위치 판정
● 공 및 선수 인식
○ 프리미어 리그의 촬영 영상 사용
○ YOLOv4, OpenCV 사용
● 과정 1. 관중 제거
○ OpenCV의 ‘Canny’ 라이브러리 사용
● 과정 2. 선수 인식
○ YOLOv4 사용하여 객체를 데이터 에서 찾아 Bounding Box로 표시
연구 내용 - 선수 위치의 평행선 구현
● 과정 1. Perspective Transform
○ 4개의 꼭짓점을 잡아 경기장의 비 율에 맞도록 변환
● 과정 2. 평행선 표시 및 역변환
○ 위에서 변환한 데이터를 직선 좌 표계로 취급
○ 평행선 구현 후 역변환
연구 내용 - 선수 행동의 인식
● 공 및 선수의 검출
○ 공 및 선수의 위치관계 파악
○ 행동 인식을 위한 전처리 과정
○ 드론의 줌-인 촬영 영상
○ Mask R-CNN
○ 전처리 result
○ 공의 왼쪽 끝, 오른쪽 아래 좌표
○ 2 x 2 Matrix
연구 내용 - 선수 행동의 인식
● 선수의 동작 인식
○ 행동 인식을 위한 전처리 과정
○ AlphaPose
○ 드론의 줌-인 촬영 영상
○ 선수의 골격선 : 발 모양 인식 추가
○ 전처리 result (2 x 26 Matrix)
○ 26 Points
연구 내용 - 선수 행동의 인식
● 선수의 행동 인식
○ 공 및 선수의 위치관계 파악 2x2 matrix
○ 선수의 동작 인식 2x26 matrix
○ 두 데이터를 함께 사용함 (같은 정규화)
연구 내용 - 오프사이드 알고리즘
● 순서도 구성
● 오프사이드의 규칙
● 일부 예외적인 경우 (세컨볼 등)는 심판이 충분히 판정 가능한 것으로 여겨짐
연구 결과
연구 결과
● 선수의 위치 판정
● 드론 제어를 이용한 오프사이드 알고리즘의 제작
연구 결과 - 선수 행동의 인식
● 결과
● 행동 인식 정확도 비교
○ Dense Layer > CNN > VGG-16
○ 상당한 정확도 (66.67%)
○ 분석 : 데이터 전처리 과정의 차이
CNN VGG-16 Dense Layer
평균 학습 정확도 41.3% 38.15% 66.67%
연구 결론 및 제언
연구 결론및 제언
● 연구 결론
○ 기존의 심판 체계를 대체할 가능성의 확인
○ 심판 체제의 문제 제기및 연구 방법의 제시
● 제언
○ Real-Time 알고리즘으로의 개선
○ 정확도의 개선
추가 제언
참고 문헌
[1] Joseph R. et. al. You Only Look Once: Unified, Real-Time Object Detection.
https://arxiv.org/abs/1506.02640 (2015)
[2] Kaiming H. et. al. Mask R-CNN. https://arxiv.org/abs/1703.06870 (2017) [3] Shanghai Jiao Tong University, Machine Vision and Intelligence Group (MV IG) , https://github.com/MVIG-SJTU/AlphaPose (accessed 2020.10.16)
