(19) 대한민국특허청(KR) (12) 공개특허공보(A)
(11) 공개번호 10-2020-0107217 (43) 공개일자 2020년09월16일 (51) 국제특허분류(Int. Cl.)
H04N 13/117 (2018.01) G06T 15/08 (2011.01) H04N 13/15 (2018.01) H04N 13/271 (2018.01) (52) CPC특허분류
H04N 13/117 (2018.05) G06T 15/08 (2013.01)
(21) 출원번호 10-2019-0026005 (22) 출원일자 2019년03월06일 심사청구일자 없음
(71) 출원인
한국전자통신연구원
대전광역시 유성구 가정로 218 (가정동) (72) 발명자
엄기문
서울특별시 송파구 올림픽로4길 15 아시아선수촌 아파트 10동 504호
윤정일
대전광역시 유성구 온천서로 36-19 성원쌍때빌10 1동 503호
(74) 대리인 특허법인지명 전체 청구항 수 : 총 15 항
(54) 발명의 명칭 영상 처리 방법 및 장치 (57) 요 약
본 발명은 깊이 클러스터링을 통해 다시점 깊이맵을 3차원 공간 상에서 결합하여 3D 가상 시점 영상을 생성하는 영상 처리 방법 및 장치를 제공한다.
본 발명의 실시예에 따른 영상 처리 방법 및 장치는 깊이 클러스터별로 컬러와 깊이 정보를 저장하여 가상 시점 영상의 생성 시에 차폐 영역 및 홀 영역으로 인한 영향을 최소화한다.
대 표 도 - 도2
공개특허 10-2020-0107217
(52) CPC특허분류
G06T 7/50 (2017.01) H04N 13/15 (2018.05) H04N 13/271 (2018.05) G06T 2207/10028 (2013.01) 이 발명을 지원한 국가연구개발사업 과제고유번호 2017-0-00072 부처명 과학기술정보통신부 과제관리(전문)기관명 정보통신기획평가원(IITP) 연구사업명 ETRI연구개발지원사업
연구과제명 초실감 테라미디어를 위한 AV부호화 및 LF미디어 원천기술 개발 기 여 율 1/1
과제수행기관명 한국전자통신연구원 연구기간 2018.01.01 ~ 2018.12.31
명 세 서 청구범위 청구항 1
복수의 시점 영상의 다시점 깊이맵을 획득하고 상기 다시점 깊이맵의 각 포인트의 깊이 신뢰도를 결정하는 단계;
각 시점 영상을 기준 좌표계 상의3D 포인트 구름으로 매핑하는 단계;
상기 깊이 신뢰도에 기반하여 상기 3D 포인트 구름의 각 3D 포인트에 대하여 깊이 클러스터링을 수행하여 적어 도 하나의 깊이 클러스터를 생성하는 단계; 및
상기 3D 포인트 구름의 각 3D 포인트를 상기 깊이 클러스터별로 가상 시점으로 투영하여 가상 시점 영상을 생성 하는 단계
를 포함하는 영상 처리 방법.
청구항 2
제 1 항에 있어서,
상기 깊이 신뢰도는 상기 복수의 시점 영상의 시점 영상을 두 개씩 매칭하여 찾은 대응점 간의 유사도인, 영상 처리 방법.
청구항 3
제 1 항에 있어서,
복수의 시점 영상 간의 대응점 관계를 결정하는 단계;
상기 대응점 관계에 따라 서로 대응하는 포인트의 공통 깊이값을 선택하는 단계; 및 상기 공통 깊이값을 상기 3D 포인트 구름에 반영하는 단계
를 더 포함하는 영상 처리 방법.
청구항 4
제 3 항에 있어서,
상기 공통 깊이값을 선택하는 단계는,
상기 서로 대응하는 포인트의 깊이값 중 가장 많은 표를 획득한 깊이값 또는 상기 깊이 신뢰도가 가장 높은 깊 이값을 상기 공통 깊이값으로 선택하는 것인, 영상 처리 방법.
청구항 5
제 1 항에 있어서,
상기 3D 포인트 구름으로 매핑하는 단계는,
카메라 정보에 기반하여 상기 다시점 깊이맵을 상기 기준 좌표계 상의 3D 포인트 구름으로 매핑하는, 영상 처리 방법.
청구항 6
제 1 항에 있어서,
상기 적어도 하나의 깊이 클러스터를 생성하는 단계는,
상기 기준 좌표계의 깊이축에 수직한 XY평면 상에 위치한 제 1 포인트를 제 1 깊이 클러스터에 추가하는 단계;
상기 XY 평면을 상기 깊이축을 따라 이동시키면서 상기 제 1 포인트와 동일한 XY좌표를 갖는 제 2 포인트를 찾 는 단계; 및
상기 제 1 포인트 및 상기 제 2 포인트의 깊이 신뢰도가 기준 신뢰도 이상이고, 상기 제 1 포인트 및 상기 제 2 포인트 간의 컬러 차이가 기준 컬러차 이하이면 상기 제 2 포인트를 상기 제 1 깊이 클러스터에 추가하는 단계 를 포함하는 것인, 영상 처리 방법.
청구항 7
제 6 항에 있어서,
상기 적어도 하나의 깊이 클러스터를 생성하는 단계는,
상기 제 1 포인트 및 상기 제 2 포인트의 깊이 신뢰도 중 적어도 하나가 기준 신뢰도 이하인 경우, 또는 상기 제 1 포인트 및 상기 제 2 포인트의 깊이 신뢰도가 모두 기준 신뢰도 이상이고 제 1 포인트 및 상기 제 2 포인 트 간의 컬러 차이가 기준 컬러차 이상인 경우, 상기 제 2 포인트를 상기 제 1 깊이 클러스터에 추가하지 않는 단계
를 더 포함하는 것인, 영상 처리 방법.
청구항 8
제 6 항에 있어서,
상기 제 2 포인트를 찾는 단계는, 상기 XY 평면을 깊이값이 증가하는 방향으로 상기 깊이축을 따라 이동시키면 서 상기 제 1 포인트와 동일한 XY좌표를 갖는 제 2 포인트를 찾는 것인, 영상 처리 방법.
청구항 9
제 1 항에 있어서,
상기 가상 시점 영상을 생성하는 단계는,
상기 3D 포인트 구름의 각 3D 포인트를 상기 깊이 클러스터의 깊이값이 감소하는 방향으로 진행하면서 깊이 클 러스터별로 각각 상기 가상 시점으로 투영하는 단계를 포함하는, 영상 처리 방법.
청구항 10 제 1 항에 있어서,
상기 가상 시점 영상을 생성하는 단계는,
복수의 3D 포인트가 상기 가상 시점 영상의 동일한 XY 위치에 투영되는 경우에, 상기 복수의 3D 포인트 중 깊이 신뢰도가 기준 신뢰도 이상인 3D 포인트를 선별하는 단계; 및
상기 선별된 3D 포인트 중 깊이값이 작은 순으로 두 개의 3D 포인트를 결정하고, 상기 두 개의 3D 포인트 간의
깊이 차이가 기준 깊이차 이상인 경우, 상기 두 개의 3D포인트 중 상기 가상 시점의 방향으로 최전방에 위치한 3D 포인트의 컬러를 상기 XY 위치의 컬러로 결정하는 단계
를 포함하는 영상 처리 방법.
청구항 11 제 1 항에 있어서,
상기 가상 시점 영상을 생성하는 단계는,
복수의 3D 포인트가 상기 가상 시점 영상의 동일한 XY 위치에 투영되는 경우에, 상기 복수의 3D 포인트 중 깊이 신뢰도가 기준 신뢰도 이상인 3D 포인트를 선별하는 단계; 및
상기 선별된 3D 포인트 중 깊이값이 작은 순으로 두 개의 3D 포인트를 결정하고, 상기 두 개의 3D 포인트 간의 깊이 차이가 기준 깊이차 미만인 경우, 상기 두 개의 3D 포인트의 깊이 신뢰도를 가중치로 하여 상기 두 개의 3D 포인트의 컬러를 블렌딩한 컬러를 상기 XY 위치의 컬러로 결정하는 단계
를 포함하는, 영상 처리 방법.
청구항 12 제 1 항에 있어서,
상기 가상 시점 영상을 생성하는 단계는,
생성된 가상 시점 영상에서 투영되지 않은 3D 포인트는, 상기 가상 시점 영상에 이미 투영된 3D 포인트 중에 가 상 시점 방향으로 가장 멀리 있는 3D 포인트의 컬러로 보간하는 단계
를 포함하는, 영상 처리 방법.
청구항 13
복수의 시점 영상을 3D 좌표 공간 상의 3D 포인트 구름으로 매핑하는 단계; 및
상기 3D 좌표 공간의 깊이축에 수직한 XY 평면을 상기 깊이축을 따라 이동시키면서, 상기 3D 포인트 구름의 각 3D 포인트의 깊이 신뢰도 및 컬러 차이에 기반하여 각 3D 포인트를 그룹핑하여 적어도 하나의 깊이 클러스터를 생성하는 단계
를 포함하는 깊이 클러스터링 기반 영상 처리 방법.
청구항 14
제 13 항에 있어서,
상기 적어도 하나의 깊이 클러스터를 생성하는 단계는 상기 XY 평면을 깊이값이 증가하는 방향으로 상기 깊이축 을 따라 이동시키면서 각 포인트를 그룹핑하여 적어도 하나의 깊이 클러스터를 생성하는 것인, 영상 처리 방법.
청구항 15
영상 처리 장치에 있어서,
서로 다른 시점 영상을 촬영하는 복수의 카메라; 및 프로세서를 포함하고, 상기 프로세서는,
복수의 시점 영상의 다시점 깊이맵을 획득하고 상기 다시점 깊이맵의 각 포인트의 깊이 신뢰도를 결정하고, 각 시점 영상을 기준 좌표계 상의3D 포인트 구름으로 매핑하고,
상기 깊이 신뢰도에 기반하여 상기 3D 포인트 구름의 각 3D 포인트에 대하여 깊이 클러스터링을 수행하여 적어 도 하나의 깊이 클러스터를 생성하고,
상기 3D 포인트 구름의 각 3D 포인트를 상기 깊이 클러스터별로 가상 시점으로 투영하여 가상 시점 영상을 생성 하도록 설정된 영상 처리 장치.
발명의 설명 기 술 분 야
본 발명은 영상 처리 방법 및 장치에 관한 것으로, 상세하게는 깊이 클러스터링을 통해 다시점 깊이맵을 3차원 [0001]
공간 상에서 결합하여 3D 가상 시점 영상을 생성하는 영상 처리 방법 및 장치에 관한 것이다.
배 경 기 술
3D 영상을 구현하는 경우에는 서로 다른 시점의 영상 간 시차를 이용하여 깊이감을 생성한다. 다시점 영상을 생 [0002]
성하기 위해, 좌우의 컬러 영상과 깊이 영상으로부터 가상 시점의 영상을 생성하거나, 세 시점 이상의 영상을 기반으로 렌더링을 통해 가상 시점의 영상을 생성할 수 있다.
이와 같은 종래 기술은 깊이 정보 추출을 위하여 좌우 영상을 정합하는 과정이나 또는 컬러가 비슷한 영역이 많 [0003]
은 영상에서 깊이 정보 추출 시에 깊이 오류가 쉽게 발생한다.
또한 종래의 다중 영상 기반으로 다중 깊이맵을 생성하고, 이로부터 중간 시점 영상 생성을 생성하는 기술은 차 [0004]
폐영역의 존재와 깊이 불연속의 존재로 인해 중간 시점 영상 생성시 artifact 및 hole 발생으로 인한 화질 저하 가 발생하는 문제점이 있다.
발명의 내용 해결하려는 과제
전술한 문제를 해결하기 위하여, 본 발명은 깊이 클러스터링을 통해 다시점 깊이맵을 3차원 공간 상에서 결합하 [0005]
여 3D 가상 시점 영상을 생성하는 영상 처리 방법 및 장치를 제공한다.
본 발명의 전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부된 도면과 함 [0006]
께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.
과제의 해결 수단
본 발명의 실시예에 따른 영상 처리 방법은, 복수의 시점 영상의 다시점 깊이맵을 획득하고 상기 깊이맵의 각 [0007]
포인트의 깊이 신뢰도를 결정하는 단계, 각 시점 영상을 기준 좌표계 상의3D 포인트 구름으로 매핑하는 단계, 상기 깊이 신뢰도에 기반하여 상기 3D 포인트 구름의 각 3D 포인트에 대하여 깊이 클러스터링을 수행하여 적어 도 하나의 깊이 클러스터를 생성하는 단계 및 상기 3D 포인트 구름의 각 3D 포인트를 깊이 클러스터별로 가상 시점으로 투영하여 가상 시점 영상을 생성하는 단계를 포함한다.
깊이 신뢰도는 상기 복수의 시점 영상의 시점 영상을 두 개씩 매칭하여 찾은 대응점 간의 유사도이다.
[0008]
본 발명의 실시예에 따른 영상 처리 방법은, 복수의 시점 영상 간의 대응점 관계를 결정하는 단계, 상기 대응점 [0009]
관계에 따라 서로 대응하는 포인트의 공통 깊이값을 선택하는 단계 및 상기 공통 깊이값을 상기 3D 포인트 구름 에 반영하는 단계를 더 포함한다.
상기 공통 깊이값을 선택하는 단계는, 상기 서로 대응하는 포인트의 깊이값 중 가장 많은 표를 획득한 깊이값 [0010]
또는 상기 깊이 신뢰도가 가장 높은 깊이값을 상기 공통 깊이값으로 선택한다.
상기 3D 포인트 구름으로 매핑하는 단계는, 카메라 정보에 기반하여 상기 다시점 깊이맵을 상기 기준 좌표계 상 [0011]
의 3D 포인트 구름으로 매핑할 수 있다.
상기 적어도 하나의 깊이 클러스터를 생성하는 단계는, 상기 기준 좌표계의 깊이축에 수직한 XY평면 상에 위치 [0012]
한 제 1 포인트를 제 1 깊이 클러스터에 추가하는 단계, 상기 XY 평면을 상기 깊이축을 따라 이동시키면서 상기 제 1 포인트와 동일한 XY좌표를 갖는 제 2 포인트를 찾는 단계 및 상기 제1 포인트 및 상기 제2 포인트의 깊이 신뢰도가 기준 신뢰도 이상이고, 상기 제 1 포인트 및 상기 제2 포인트 간의 컬러 차이가 기준 컬러차 이하이면 상기 제 2 포인트를 상기 제 1 깊이 클러스터에 추가하는 단계를 포함한다.
상기 적어도 하나의 깊이 클러스터를 생성하는 단계는, 상기 제1 포인트 및 상기 제2 포인트의 깊이 신뢰도 중 [0013]
적어도 하나가 기준 신뢰도 이하인 경우, 또는 상기 제1 포인트 및 상기 제2 포인트의 깊이 신뢰도가 모두 기준 신뢰도 이상이고 제 1 포인트 및 상기 제2 포인트 간의 컬러 차이가 기준 컬러차 이상인 경우, 상기 제 2 포인 트를 상기 제 1 깊이 클러스터에 추가하지 않는 단계를 더 포함한다.
상기 제 2 포인트를 찾는 단계는, 상기 XY 평면을 깊이값이 증가하는 방향으로 상기 깊이축을 따라 이동시키면 [0014]
서 상기 제 1 포인트와 동일한 XY좌표를 갖는 제 2 포인트를 찾는다.
상기 가상 시점 영상을 생성하는 단계는, 상기 3D 포인트 구름의 각 3D 포인트를 상기 깊이 클러스터의 깊이값 [0015]
이 감소하는 방향으로 진행하면서 깊이 클러스터별로 각각 상기 가상 시점으로 투영하는 단계를 포함한다.
상기 가상 시점 영상을 생성하는 단계는, 복수의 3D 포인트가 상기 가상 시점 영상의 동일한 XY 위치에 투영되 [0016]
는 경우에, 상기 복수의 3D 포인트 중 깊이 신뢰도가 기준 신뢰도 이상인 3D 포인트를 선별하는 단계 및 상기 선별된 3D 포인트 중 깊이값이 작은 순으로 두 개의 3D 포인트를 결정하고, 상기 두 개의 3D 포인트 간의 깊이 차이가 기준 깊이차 이상인 경우, 상기 두 개의 3D포인트 중 상기 가상 시점의 방향으로 최전방에 위치한 3D 포 인트의 컬러를 상기 XY 위치의 컬러로 결정하는 단계를 포함한다.
상기 가상 시점 영상을 생성하는 단계는, 복수의 3D 포인트가 상기 가상 시점 영상의 동일한 XY 위치에 투영되 [0017]
는 경우에, 상기 복수의 3D 포인트 중 깊이 신뢰도가 기준 신뢰도 이상인 3D 포인트를 선별하는 단계 및 상기 선별된 3D 포인트 중 깊이값이 작은 순으로 두 개의 3D 포인트를 결정하고, 상기 두 개의 3D 포인트 간의 깊이 차이가 기준 깊이차 미만인 경우, 상기 두 개의 3D 포인트의 깊이 신뢰도를 가중치로 하여 상기 두 개의 3D 포 인트의 컬러를 블렌딩한 컬러를 상기 XY 위치의 컬러로 결정하는 단계를 포함한다.
상기 가상 시점 영상을 생성하는 단계는, 생성된 가상 시점 영상에서 투영되지 않은 3D 포인트는, 상기 가상 시 [0018]
점 영상에 이미 투영된 3D 포인트 중에 가상 시점 방향으로 가장 멀리 있는 3D 포인트의 컬러로 보간하는 단계 를 포함한다.
본 발명의 실시예에 따른 깊이 클러스터링 기반 영상 처리 방법은 복수의 시점 영상을 3D 좌표 공간 상의 3D 포 [0019]
인트 구름으로 매핑하는 단계 및 상기 3D 좌표 공간의 깊이축에 수직한 XY 평면을 상기 깊이축을 따라 이동시키 면서, 상기 3D 포인트 구름의 각 포인트의 깊이 신뢰도 및 컬러 차이에 기반하여 각 포인트를 그룹핑하여 적어 도 하나의 깊이 클러스터를 생성하는 단계를 포함한다.
상기 적어도 하나의 깊이 클러스터를 생성하는 단계는 상기 XY 평면을 깊이값이 증가하는 방향으로 상기 깊이축 [0020]
을 따라 이동시키면서 각 포인트를 그룹핑하여 적어도 하나의 깊이 클러스터를 생성한다.
본 발명의 실시예에 따른 영상 처리 장치는, 서로 다른 시점 영상을 촬영하는 복수의 카메라 및 프로세서를 포 [0021]
함하고, 상기 프로세서는,
복수의 시점 영상의 다시점 깊이맵을 획득하고 상기 깊이맵의 각 포인트의 깊이 신뢰도를 결정하고, 각 시점 영 [0022]
상을 기준 좌표계 상의3D 포인트 구름으로 매핑하고, 상기 깊이 신뢰도에 기반하여 상기 3D 포인트 구름의 각 3D 포인트에 대하여 깊이 클러스터링을 수행하여 적어도 하나의 깊이 클러스터를 생성하고, 상기 3D 포인트 구 름의 각 3D 포인트를 상기 깊이 클러스터별로 가상 시점으로 투영하여 가상 시점 영상을 생성하도록 설정된다.
발명의 효과
본 발명은 3차원 공간 상에 적어도 하나의 깊이 클러스터를 생성하고, 깊이 클러스터별로 컬러와 깊이 정보를 [0023]
저장하여 가상 시점 영상을 생성 시에 홀 영역에서의 artifact를 최소화할 수 있는 영상 처리 방법 및 장치를 제공한다.
또한 본 발명의 영상 처리 방법 및 장치는 깊이 클러스터링을 통해 다중 컬러 영상과 깊이맵을 결합하여 3D 가 [0024]
상 시점 영상을 생성하므로 차폐 영역을 최소화하고 3D 영상의 품질을 제고한다.
도면의 간단한 설명
도 1은 실시예에 따른 영상 처리 시스템을 개략적으로 도시한다.
[0025]
도 2는 실시예에 따른 영상 처리 방법의 과정을 도시하는 순서도이다.
도 3은 일 예에 따른 영상 처리 방법의 세부 과정을 도시하는 순서도이다.
도 4는 일 예에 따른 깊이 클러스터링 과정을 도시하는 순서도이다.
도 5는 실시예에 따른 영상 처리 장치를 도시한 블록도이다.
발명을 실시하기 위한 구체적인 내용
본 발명이 구현되는 양상을 이하의 바람직한 각 실시예를 들어 설명한다. 본 발명은 이하에서 개시되는 실시예 [0026]
들에 한정되는 것이 아니라 본 발명의 기술적 사상의 범주 내에서 그 외의 다른 다양한 형태로 구현될 수 있음 은 자명하다. 본 명세서에서 사용된 용어 역시 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것 은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되 는 "포함한다(comprise)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 요소가 하나 이상의 다른 구성요소, 단계, 동작 및/또는 요소의 존재 또는 추가됨을 배제하지 않는다.
이하, 첨부 도면을 참조하여 바람직한 각 실시예를 통해 본 발명의 구성에 대하여 상세히 설명한다. 본 발명의 [0027]
전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부된 도면과 함께 상세하 게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.
도 1은 실시예에 따른 영상 처리 시스템을 개략적으로 도시한다.
[0028]
예시적인 영상 처리 시스템은 영상 처리 장치(100), 복수의 카메라(110), 출력 장치(120)을 포함한다.
[0029]
복수의 카메라(110)는 서로 다른 시점의 위치에 배열된 카메라군으로서, 일렬 또는 2D 어레이와 같은 형태로 배 [0030]
열된 카메라군을 포함한다. 또한 복수의 카메라(110)는 적어도 하나의 깊이 카메라를 포함할 수 있다.
영상 처리 장치(100)는 복수의 카메라(110)에서 촬영한 다시점 영상을 입력받아서 본 발명에 따른 영상 처리 방 [0031]
법을 수행하고 결과로 생성된 3D 영상을 출력 장치(120)로 전달한다. 이하에서 도 2 내지 도 4를 참조하여 본 발명의 실시예에 따른 영상 처리 방법을 살펴본다.
도 2는 실시예에 따른 영상 처리 방법의 과정을 도시하는 순서도이다.
[0032]
도 5를 참조하여 영상 처리 장치(100)의 입력부(510)는 서로 다른 시점에서 촬영된 복수의 시점 영상을 영상 처 [0033]
리 장치(100)에 제공한다.
단계(210)에서 도 5를 참조하여 영상 처리 장치(100)의 깊이 결정부(520)는 입력부(510)를 통해 수신한 복수의 [0034]
시점 영상의 다시점 깊이맵을 획득하고 다시점 깊이맵의 각 포인트의 깊이 신뢰도를 결정한다.
복수의 시점 영상은 서로 시점이 다른 시점 영상을 복수 개만큼 포함한다. 깊이 결정부(520)는 복수의 시점 영 [0035]
상에 포함된 각 시점 영상별로 깊이맵을 생성한다. 시점 영상의 깊이맵은 관찰 시점에서 보았을 때 촬영 대상의 표면과의 거리를 나타내는 값인 깊이값을 시점 영상의 각 지점(예를 들어 픽셀)별로 저장한 영상 또는 영상의 한 채널이다. 다시점 깊이맵은 서로 시점이 다른 시점 영상의 깊이맵의 집합을 의미한다. 깊이 결정부(520)는 복수의 시점 영상의 다시점 깊이맵을 생성하거나 또는 외부에서 생성된 다시점 깊이맵을 입력부(510)를 통해 수 신한다. 깊이 결정부(520)가 다시점 깊이맵을 생성하는 경우, 깊이 카메라에서 얻은 깊이값을 사용하거나 및/또 는 복수의 카메라에서 촬영한 다시점 영상을 스테레오 매칭하여 얻은 변이값을 깊이값으로 변환하여 사용한다.
다시점 깊이맵의 각 포인트의 깊이 신뢰도는 해당 포인트의 깊이값에 대한 신뢰도를 의미한다. 깊이 신뢰도 결 [0036]
정에 대하여는 도 3을 참조하여 살펴본다.
단계(220)에서 도 5를 참조하여 영상 처리 장치(100)의 3D 포인트 투영부(530)는 각 시점 영상을 기준 좌표계 [0037]
상의3D 포인트 구름(point cloud)으로 매핑한다. 즉, 단계(220)에서 3D 포인트 투영부(530)는 복수의 시점 영상 을 3D 좌표 공간 상의 3D 포인트 구름으로 매핑한다.
3D 포인트 구름은 3D 좌표 공간에 매핑된 3D 포인트의 집합으로서, 복수의 시점 영상의 모든 포인트를 [0038]
포함한다.
단계(230)에서 도 5를 참조하여 영상 처리 장치(100)의 깊이 클러스터 생성부(540)는 단계(210)에서 결정한 깊 [0039]
이 신뢰도에 기반하여 단계(220)에서 매핑된 3D 포인트 구름의 각 3D 포인트에 대하여 깊이 클러스터링을 수행 하여 적어도 하나의 깊이 클러스터를 생성한다. 즉, 깊이 클러스터 생성부(540)는 3D 좌표 공간의 깊이축에 수 직한 XY 평면을 깊이축을 따라 이동시키면서, 단계(220)에서 매핑된 3D 포인트 구름의 각 3D 포인트의 깊이 신 뢰도 및 컬러 차이에 기반하여 각 3D 포인트를 그룹핑하여 적어도 하나의 깊이 클러스터를 생성한다. 깊이 클러 스터링에 관하여는 도 4를 참조하여 후술한다.
단계(240)에서 도 5를 참조하여 영상 처리 장치(100)의 가상 시점 영상 생성부(550)는 3D 포인트 구름의 각 3D [0040]
포인트를 단계(230)에서 생성된 깊이 클러스터별로 가상 시점으로 투영하여 가상 시점 영상을 생성한다.
가상 시점 영상은 가상 시점에서 대상물을 바라본 영상으로서, 복수의 카메라에 의해 실제로 촬영된 다시점 영 [0041]
상을 이용하여 만든 실제로 촬영되지 않은 가상의 시점의 영상이다. 예를 들어, 가상 시점 영상은 카메라와 카 메라 사이의 중간 시점에서 대상물을 바라본 중간 시점 영상을 포함한다.
도 3은 일 예에 따른 영상 처리 방법의 세부 과정을 도시하는 순서도이다. 도 3의 각 단계의 동작을 도 5의 영 [0042]
상 처리 장치를 참조하여 살펴본다.
단계(310)에서 깊이 결정부(520)는 복수의 시점 영상의 다시점 깊이맵을 획득한다. 추가적으로 깊이 결정부 [0043]
(520)는 복수의 시점 영상에 포함된 각 시점 영상의 변이맵을 획득한다.
깊이 결정부(520)가 깊이맵 또는 변이맵을 결정하는 경우, 깊이 결정부(520)는 복수의 시점 영상을 두 개씩 [0044]
(pairwise) 매칭하는 스테레오 매칭을 통해 변이값을 추정하여 변이맵 또는 깊이맵을 각각 생성한다. 대안적으 로 깊이 결정부(520)는 입력부(510)를 통해 다시점 깊이맵 또는 변이맵을 수신할 수 있다. 예를 들어, 깊이 결 정부(520)는 복수의 시점 영상의 인접하는 두 시점 영상에 대하여 스테레오 매칭을 진행한다. 대안적인 예에서, 깊이 결정부(520)는 복수의 시점 영상의 서로 다른 두 시점 영상의 모든 쌍에 대하여 스테레오 매칭을 진행할 수 있다.
단계(315)에서 깊이 결정부(520)는 다시점 깊이맵의 각 포인트의 깊이 신뢰도를 결정한다. 추가적으로 깊이 결 [0045]
정부(520)는 다시점 변이맵의 각 포인트의 변이 신뢰도를 결정한다.
깊이 신뢰도는 복수의 시점 영상의 시점 영상을 두 개씩 매칭하여 찾은 대응점 간의 유사도이다. 예를 들어, 깊 [0046]
이 신뢰도는 한 쌍의 시점 영상의 대응점 간의 매칭의 정도를 수치화한 값이다.
복수의 시점 영상의 시점 영상을 두 개씩 스테레오 매칭 시에, 제 1 영상의 제 1 포인트에 대응하는 제 2 영상 [0047]
의 제 2 포인트를 결정하기 위하여 깊이 결정부(520)는 제 2 영상의 일부를 탐색 영역으로 선택한다. 선택된 탐 색 영역의 각 포인트는 제 2 포인트가 될 가능성이 있는 후보 포인트가 된다. 깊이 결정부(520)는 후보 포인트 와 제 1 포인트의 유사도를 사전설정된 유사도 함수에 따라 계산하고 사전설정된 임계치보다 높은 크기의 유사 도를 갖는 포인트 중에 유사도가 가장 높은 후보 포인트를 제 2 포인트로 결정한다. 여기서, 유사도 함수는 대 응하는 한 쌍의 포인트의 예를 들어 컬러 유사도, 컬러 분포 및/또는 그래디언트(gradient) 값을 비교하여 두 포인트 간의 유사도를 계산하는 함수이다. 이와 유사한 방식으로 깊이 결정부(520)는 변이맵의 각 포인트의 변 이 신뢰도를 결정한다.
일 예에서, 단계(310) 및 단계(315)는 동시에 진행된다.
[0048]
단계(320)에서 깊이 결정부(520)는 단계(310)에서 획득한 변이맵 또는 깊이맵에 대한 후처리를 수행한다. 즉, [0049]
깊이 결정부(520)는 단계(320)에서 좌우 일관성 검사(L-R Consistency Check)를 수행하여 차폐 영역(occlusion region)을 검출하고 검출된 차폐 영역의 각 포인트를 바이너리 값으로 표시한 마스크(mask)를 생성한다. 좌우 일관성 검사는 예를 들어 좌 영상에 대한 우 영상의 일관성 검사 및 우 영상에 대한 좌 영상의 일관성 검사를 교차 수행한다. 깊이 결정부(520)는 생성된 마스크를 이용하여 복수의 시점 영상을 두 개씩 정합하는 과정에서 발생한 오정합된 변이나 깊이를 제거할 수 있다. 일 예에서, 단계(320)은 선택적으로 수행될 수 있다. 즉, 단계 (320)은 설정에 따라 생략될 수 있다.
단계(325)에서 깊이 결정부(520)는 복수의 시점 영상 간의 대응점 관계를 결정한다. 대응점 관계는 깊이 신뢰도 [0050]
를 결정하는 단계인 단계(315)에서 제 1 시점 영상의 제 1 포인트와 가장 유사한 제 2 시점 영상의 제 2 포인트 의 대응 관계를 의미한다. 예를 들어, 제 1 포인트의 대응점은 제 2 포인트이다. 마찬가지로, 제 2 시점 영상의 제 2 포인트와 대응점 관계에 있는 제 3 시점 영상의 제 3 포인트를 결정한다. 예를 들어, 복수의 시점 영상이 N 개의 시점 영상을 포함하는 경우, 제 1 시점 영상의 제 1 포인트, 제 2 시점 영상의 제 2 포인트, 제 3 시점 영상의 제 3 포인트, 내지 제 N 시점 영상의 제 N 포인트는 대응점 관계에 있다. 즉, 대응점 관계는 복수의 시
점 영상에 걸쳐서 정의된다. 대응점 관계는 복수의 시점 영상에 걸쳐서 복수의 포인트를 연결한다. 대응점 관계 는 예를 들어 순서 리스트(linked list) 또는 트리(tree) 구조로 표현된다.
대안적으로, 깊이 결정부(520)는 단계(315)에서 복수의 시점 영상 간의 대응점 관계를 결정하고, 단계(325)에서 [0051]
는 해당 대응점 관계를 저장한다.
단계(330)에서 3D 포인트 투영부(530)는 각 시점 영상을 기준 좌표계 상의3D 포인트 구름으로 매핑한다.
[0052]
구체적으로, 3D 포인트 투영부(530)는 카메라 정보에 기반하여 다시점 깊이맵의 각 포인트의 좌표를 기준 좌표 [0053]
계의 3D 좌표로 변환한다. 여기서 다시점 깊이맵은 단계(310)에서 결정되고 선택적으로 단계(320)에서 후처리된 다시점 깊이맵이다. 카메라 정보는 예를 들어 복수의 시점 영상을 촬영한 복수의 카메라의 상호 위치 관계, 각 시점 영상을 촬영한 카메라의 위치 정보, 자세 정보 및 베이스 라인 길이 정보를 포함한다. 예를 들어, 카메라 정보는 카메라 캘리브레이션을 통해 얻을 수 있다. 다른 예에서, 3D 포인트 투영부(530)는 다시점 변이맵을 변 환하여 획득한 다시점 깊이맵의 각 포인트의 좌표를 기준 좌표계의 3D 좌표로 변환한다.
대안적으로, 3D 포인트 투영부(530)는 다시점 변이맵으로부터 직접 각 포인트의 좌표를 기준 좌표계의 3D 좌표 [0054]
로 변환할 수 있다. 즉, 단계(330)에서 3D 포인트 투영부(530)는 변이맵 상의 각 점을 촬영한 각 카메라 정보를 이용하여 해당 점을 기준 좌표계로 투영한다.. 여기서 변이맵은 단계(310)에서 결정되고 선택적으로 단계(320) 에서 후처리된 변이맵이다.
기준 좌표계는 기준 영상의 3D좌표계를 의미한다. 기준 영상은 복수의 시점 영상 중 3D 포인트 구름 매핑 시에 [0055]
사용할 3D 좌표계를 정의하기 위한 기준이 되는 영상이다. 예를 들어 기준 영상은 중앙 시점 영상이다. 기준 영 상은 추출된 카메라 정보에 따라 결정될 수 있다. 예를 들어, 기준 영상은 추출된 카메라 정보에 따라 복수의 카메라 중 중앙에 위치한 카메라로 촬영한 시점 영상이다.
그 후, 3D 포인트 투영부(530)는 변환된 3D 좌표에 따라 각 시점 영상의 각 포인트를 기준 좌표계 상의 3D 포인 [0056]
트 구름으로 매핑한다. 이로써, 복수의 시점 영상은 3차원 공간에 3D 포인트 구름으로 통합되어 매핑된다. 예를 들어, 3D 포인트 투영부(530)는 카메라 정보에 기반하여 다시점 깊이맵을 기준 좌표계 상의 3D 포인트 구름으로 매핑한다.
단계(335)에서 3D 포인트 투영부(530)는 단계(330)에서 매핑된 3D 포인트 구름을 기준 영상을 기준으로 하여 복 [0057]
수의 깊이 단위로 분할한다. 깊이 단위는 고정된 상수이거나 조절가능한 변수이다.
각 깊이 단위에 따라 분할된 3D 포인트 구름은 각각 별도의 3차원 깊이 볼륨(depth volume)을 형성한다. 예를 [0058]
들어, 3차원 깊이 볼륨은 직육면체 형태의 복셀 공간이다.
깊이 단위는 단계(345)에서 살펴볼 깊이 클러스터링의 단위를 결정한다. 단계(345)에서 깊이 클러스터링은 각 [0059]
깊이 단위에 따라 분할된 복셀 공간 단위로 진행된다. 즉, 깊이 단위의 크기가 클수록 단계(345)에서 더 깊은 범위의 깊이값을 가지는 3D 포인트들에 대하여 깊이 클러스터링을 진행하게 된다. 예를 들어, 깊이 단위가 8비 트인 경우에, 분할된 복셀 공간의 깊이는 0 내지 255가 되고, 해당 복셀 공간 내의 3D 포인트들에 대하여 깊이 클러스터링을 진행한다. 결과적으로, 깊이 단위에 따라 분할된 하나의 복셀 공간 당 하나의 깊이 클러스터를 생 성한다.
단계(340)에서 3D 포인트 투영부(530)는 단계(325)에서 결정한 대응점 관계에 따라 서로 대응하는 포인트의 공 [0060]
통 깊이값을 선택한다.
예를 들어, 3D 포인트 투영부(530)는 대응점 관계에 따라 서로 대응하는 포인트의 깊이값 중 가장 많은 표를 획 [0061]
득한 깊이값을 공통 깊이값으로 선택한다. 이를 위하여 3D 포인트 투영부(530)는 복수의 시점 영상에 걸쳐서 서 로 대응하는 포인트들에 대하여 깊이값 voting을 수행하여 가장 많이 득표한 깊이값을 공통 깊이값으로 선택한 다. 예를 들어, 서로 대응하는 각 포인트의 깊이값이 등장한 횟수를 카운팅하여 가장 많이 등장한 깊이값을 공 통 깊이값으로 선택한다.
다른 예로, 3D 포인트 투영부(530)는 서로 대응하는 포인트의 깊이값 중에 깊이 신뢰도가 가장 높은 깊이값을 [0062]
공통 깊이값으로 선택한다.
단계(340)에서 3D 포인트 투영부(530)는 선택된 공통 깊이값을 단계(330)에서 매핑된 3D 포인트 구름에 반영한 [0063]
다.
단계(345)에서 깊이 클러스터 생성부(540)는 단계(315)에서 계산한 깊이 신뢰도에 기반하여3D 포인트 구름의 각 [0064]
3D 포인트에 대하여 깊이 클러스터링을 수행하여 적어도 하나의 깊이 클러스터를 생성한다. 즉, 깊이 클러스터 생성부(540)는 3차원 공간 상에 매핑된 3D 포인트 구름의 모든 3D 포인트에 대하여 각 (x,y) 위치 마다 깊이값 z를 증가하면서, 깊이축 방향으로 중첩 매핑된 3D 포인트가 없을 때까지 깊이 클러스터링을 수행하여 깊이 클러 스터를 생성한다. 구체적인 깊이 클러스터링 과정은 도 4를 참조하여 이하에서 살펴본다.
도 4는 일 예에 따른 깊이 클러스터링 과정을 도시하는 순서도이다.
[0065]
단계(410)에서 깊이 클러스터 생성부(540)는 기준 좌표계의 깊이축에 수직한 XY평면 상에 위치한 제 1 포인트를 [0066]
제 1 깊이 클러스터에 추가한다. 즉, 깊이 클러스터 생성부(540)는 깊이값 Z=0부터 시작하여 XY 평면 상의 현재 XY위치에서 제 1 포인트를 찾을 때까지 Z를 증가시킨다. 제 1 포인트를 발견하면 새로운 클러스터를 생성하여 제 1 포인터를 생성된 클러스터에 추가하고, 전체 클러스터의 개수와 생성된 클러스터의 3D 포인트의 개수를 하 나씩 증가시킨다. 말하자면, 깊이 클러스터 생성부(540)는 XY 평면을 깊이값이 증가하는 방향으로 깊이축을 따 라 이동시키면서 각 포인트를 그룹핑하여 적어도 하나의 깊이 클러스터를 생성한다.
단계(415)에서 깊이 클러스터 생성부(540)는 XY 평면을 깊이축을 따라 이동시키면서 제 1 포인트와 동일한 XY좌 [0067]
표를 갖는 제 2 포인트를 찾는다. 단계(420)에서 제 1 포인트와 동일한 XY 좌표를 갖는 제 2 포인트를 찾을 때 까지 Z를 증가시킨다. 예를 들어, 단계(415)에서 깊이 클러스터 생성부(540)는 제 1 포인트의 앞뒤 깊이(Z±1) 에 제 1 포인트와 동일한 XY 좌표를 갖는 제 2 포인트가 존재하는 지 판단하고 단계(420)에서 위와 같은 제 2 포인트가 존재할 때까지 Z를 증가시킨다.
즉, 단계(415)에서 깊이 클러스터 생성부(540)가 제 2 포인트를 찾는 과정은, XY 평면을 깊이값이 증가하는 방 [0068]
향으로 깊이축을 따라 이동시키면서 제 1 포인트와 동일한 XY좌표를 갖는 제 2 포인트를 찾는다.
단계(415)에서 제 2 포인트가 존재하면, 깊이 클러스터 생성부(540)는 단계(430)에서 제1 포인트 및 제2 포인트 [0069]
의 깊이 신뢰도가 기준 신뢰도 이상인 지 여부(조건 1) 및 제 1 포인트 및 제2 포인트 간의 컬러 차이가 기준 컬러차 이하인 지 여부(조건 2)를 판단한다.
단계(430)의 제 1 포인트 및 제 2 포인트가 조건 1 및 조건 2를 모두 만족하는 경우에, 깊이 클러스터 생성부 [0070]
(540)는 단계(435)에서 제 2 포인트를 제 1 포인트와 동일한 깊이 클러스터에 추가한다. 즉, 제 1 포인트와 제 2 포인트 간의 깊이 신뢰도 및 컬러 차이를 비교하여, 제 1 포인트 및 제 2 포인트의 깊이 신뢰도가 임계값 (Th1) 이상이고, 양 포인트 간의 컬러 차이가 임계값(Th2) 이하이면 현재 제 1 포인트가 속한 클러스터에 제 2 포인트를 추가한다.
단계(450)에서 깊이 클러스터 생성부(540)는 제1 포인트 및 제2 포인트의 깊이 신뢰도 중 적어도 하나가 기준 [0071]
신뢰도 이하인 경우에 해당 포인트를 깊이 클러스터에 추가하지 않는다. 즉, 깊이 클러스터 생성부(540)는 제 1 포인트 및 제 2 포인트 중 어느 하나라도 깊이 신뢰도가 임계값(Th1) 미만이면 해당 포인트를 깊이 클러스터에 추가하지 않고 제거한다.
단계(460)에서 깊이 클러스터 생성부(540)는 제 1 포인트 및 제 2 포인트의 깊이 신뢰도가 모두 기준 신뢰도 이 [0072]
상이고 제 1 포인트 및 제2 포인트 간의 컬러 차이가 기준 컬러차 이상이면, 제 2 포인트를 제 1 깊이 클러스터 에 추가하지 않는다. 이 경우, 깊이 클러스터 생성부(540)는 제 2 포인트를 제 1 포인트와는 다른 객체에 속한 3D 포인트 또는 배경으로 간주하고 현재 깊이 클러스터에 추가하지 않는다.
단계(440)에서 깊이 클러스터 생성부(540)는 현재 깊이 단계 내의 모든 3D 포인트를 조사하였는 지를 확인한다.
[0073]
단계(440)에서 현재 깊이 단계 내에 조사하지 않은 3D 포인트가 있는 경우, 단계(410)으로 돌아간다.
단계(440)에서 현재 깊이 단계 내의 모든 3D 포인트를 조사한 경우, 현재 XY 위치에 3D 포인트가 남아있는 지를 [0074]
확인한다. 현재 XY 위치에 3D 포인트가 남아있는 경우, 다음 깊이 단계로 진행하여 단계(410)으로 돌아간다. 이 경우에, Z를 0으로 리셋하고 단계(410)을 수행한다.
현재 XY 위치에 3D 포인트가 남아있지 않은 경우, 단계(445)에서 깊이 클러스터 생성부(540)는 다음 XY 위치로 [0075]
진행하여 단계(410)으로 돌아간다. 이 경우에, Z를 0으로 리셋하고 단계(410)을 수행한다. 즉, 현재 XY 위치 내 에 3D 포인트가 없을 때까지 단계(410) 이하를 반복한다.
더 이상 새로운 클러스터가 생성되지 않고 3D 포인트 구름에 매핑된 3D 포인트가 남아있지 않거나 또는 가장 먼 [0076]
깊이 단계까지 조사가 완료된 경우 단계(345)의 깊이 클러스터링을 종료한다.
다시 도 3으로 돌아와서, 단계(350)에서 가상 시점 영상 생성부(550)는3D 포인트 구름의 각 3D 포인트를 단계 [0077]
(345)에서 생성된 깊이 클러스터별로 가상 시점으로 투영하는 단계를 포함한다.
단계(350)에서 가상 시점 영상 생성부(550)는 3D 포인트 구름의 각 3D 포인트를 단계(345)에서 생성된 깊이 클 [0078]
러스터의 깊이값이 감소하는 방향으로 진행하면서 깊이 클러스터별로 각각 가상 시점으로 투영한다. 즉, 단계 (345)의 깊이 클러스터링 수행이 완료된 후에, 가상 시점 영상 생성부(550)는 단계(350)에서 3D 포인트 구름의 각 3D 포인트를 가상 시점 방향으로 깊이가 뒤인 클러스터에서 앞으로 오면서 각 클러스터 별로 순차적으로 해 당 가상 시점으로 투영한다. 동일 클러스터 내에서도 깊이가 뒤인 3D 포인트에서 앞으로 오면서 가상 시점으로 투영한다. 깊이가 뒤인 클러스터에서 앞으로 오면서 각 클러스터 별로 가상 시점으로 투영함으로써 배경, 원거 리 객체 및 근거리 객체의 순으로 가상 시점 영상이 생성된다. 이에 따라, 차폐 영역이나 홀을 효과적으로 메꾸 는 것이 가능하다.
단계(355)에서 가상 시점 영상 생성부(550)는 단계(350)에서 가상 시점으로 투영된 3D 포인트의 컬러를 결정한 [0079]
다. 가상 시점 영상 생성부(550)는 복수의 3D 포인트가 가상 시점 영상의 동일한 XY 위치에 투영되는 경우에, 해당 복수의 3D 포인트 중 깊이 신뢰도가 기준 신뢰도(Th1) 이상인 3D 포인트를 선별한다. 가상 시점 영상 생성 부(550)는 이와 같이 선별된 3D 포인트 중 깊이값이 작은 순으로 두 개의 3D 포인트를 결정하고, 결정된 두 개 의 3D 포인트 간의 깊이 차이가 기준 깊이차(Th3) 이상인 경우, 두 개의 3D포인트 중 상기 가상 시점의 방향으 로 최전방에 위치한 3D 포인트의 컬러를 해당 XY 위치의 컬러로 결정한다. 반면에, 두 개의 3D 포인트 간의 깊 이 차이가 기준 깊이차(Th3) 미만인 경우, 두 개의 3D 포인트의 깊이 신뢰도를 가중치로 하여 두 개의 3D 포인 트의 컬러를 블렌딩한 컬러를 해당 XY 위치의 컬러로 결정한다.
단계(360)에서 가상 시점 영상 생성부(550)는 단계(350) 및 단계(355)를 통하여 생성된 가상 시점 영상에서 투 [0080]
영되지 않은 3D 포인트는, 가상 시점 영상에 이미 투영된 3D 포인트 중에 가상 시점 방향으로 가장 멀리 있는 3D 포인트의 컬러로 보간한다. 다른 예로, 투영되지 않은 3D 포인트 주변에 채워진 점들의 컬러를 투영되지 않 은 3D 포인트로부터 주변 점들까지의 거리를 가중치로 하여 블렌딩한 컬러로 투영되지 않은 3D 포인트의 컬러를 보간할 수 있다. 또는 인페인팅(inpainting) 기법을 사용하여 투영되지 않은 3D 포인트의 컬러를 보간할 수 있 다.
도 5는 실시예에 따른 영상 처리 장치를 도시한 블록도이다. 영상 처리 장치(100)는 서로 다른 시점 영상을 촬 [0081]
영하는 복수의 카메라를 포함한다. 다른 예에서, 영상 처리 장치(100)는 복수의 카메라를 포함하지 않고, 외부 에 위치한 복수의 카메라가 촬영한 복수의 시점 영상을 네트워크를 통해 입력부(510)를 통해 획득한다.
영상 처리 장치(100)는 프로세서(미도시)를 포함한다. 예를 들어, 프로세서는 CPU 또는 GPU와 같은 마이크로 프 [0082]
로세서를 적어도 하나 포함한다.
프로세서는 입력부(510)를 통해 입력받은 복수의 시점 영상의 다시점 깊이맵을 획득하고 다시점 깊이맵의 각 포 [0083]
인트의 깊이 신뢰도를 결정하는 깊이 결정부를 실행한다.
프로세서는 각 시점 영상의 각 포인트를 기준 좌표계 상의3D 포인트 구름으로 매핑하는 3D 포인트 투영부를 실 [0084]
행한다.
프로세서는 깊이 신뢰도에 기반하여 3D 포인트 구름의 각 3D 포인트에 대하여 깊이 클러스터링을 수행하여 적어 [0085]
도 하나의 깊이 클러스터를 생성하는 깊이 클러스터 생성부(540)를 실행한다.
프로세서는 3D 포인트 구름의 각 3D 포인트를 깊이 클러스터별로 가상 시점으로 투영하여 가상 시점 영상을 생 [0086]
성하는 가상 시점 영상 생성부(550)를 실행한다.
영상 처리 장치(100)는 저장부(560)를 포함한다. 예를 들어 저장부는 복수의 시점 영상, 깊이맵, 변이맵, 대응 [0087]
점 관계, 3D 포인트 구름, 깊이 클러스터 정보 및 가상 시점 영상 관련 정보를 저장한다.
본 발명에 따른 영상 처리 방법 및 장치는 다중 컬러 영상과 깊이 영상을 기준 시점 영상을 중심으로 한 3차원 [0088]
공간 상에 매핑하고 깊이 신뢰도 기반 깊이 voting 및 깊이 클러스터링을 수행하여 결합함으로써 차폐 영역 및 홀의 영향을 최소화하여 정확하고 현실감 있는 가상 시점 영상을 생성할 수 있다.
한편, 본 발명의 실시예에 따른 영상 처리 방법 및 장치는 컴퓨터 시스템에서 구현되거나, 또는 기록매체에 기 [0089]
록될 수 있다. 컴퓨터 시스템은 적어도 하나 이상의 프로세서와, 메모리와, 사용자 입력 장치와, 데이터 통신 버스와, 사용자 출력 장치와, 저장소를 포함할 수 있다. 전술한 각각의 구성 요소는 데이터 통신 버스를 통해 데이터 통신을 한다.
컴퓨터 시스템은 네트워크에 커플링된 네트워크 인터페이스를 더 포함할 수 있다. 프로세서는 중앙처리 장치 [0090]
(central processing unit (CPU))이거나, 혹은 메모리 및/또는 저장소에 저장된 명령어를 처리하는 반도체 장치 일 수 있다.
메모리 및 저장소는 다양한 형태의 휘발성 혹은 비휘발성 저장매체를 포함할 수 있다. 예컨대, 메모리는 ROM 및 [0091]
RAM을 포함할 수 있다.
따라서, 본 발명의 실시예에 따른 영상 처리 방법은 컴퓨터에서 실행 가능한 방법으로 구현될 수 있다. 본 발명 [0092]
의 실시예에 따른 영상 처리 방법은 컴퓨터 장치에서 수행될 때, 컴퓨터로 판독 가능한 명령어들이 본 발명에 따른 영상 처리 방법을 수행할 수 있다.
한편, 상술한 본 발명에 따른 영상 처리 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드 [0093]
로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터로 판독 가능한 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드 로서 저장되고 실행될 수 있다.
이제까지 본 발명을 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자 [0094]
는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양하게 변경 또는 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명을 위한 예시적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 청구범위에 나타나 있으며, 그와 동등한 범 위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
부호의 설명 100: 영상 처리 장치 [0095]
110: 카메라 510: 입력부 520: 깊이 결정부 530: 3D 포인트 투영부 540: 깊이 클러스터 생성부 550: 가상 시점 영상 생성부 560: 저장부
도면 도면1
도면2
도면3
도면4
도면5
