(19)대한민국특허청(KR) (12) 공개특허공보(A)
(51) 。Int. Cl.
H04N 5/232
(2006.01)H04N 5/235
(2006.01)(11) 공개번호 (43) 공개일자
10-2007-0061157 2007년06월13일
(21) 출원번호 10-2006-0052758 (22) 출원일자 2006년06월12일
심사청구일자 2006년06월12일
(30) 우선권주장 1020050121115 2005년12월09일 대한민국(KR)
(71) 출원인 한국전자통신연구원
대전 유성구 가정동 161번지
(72) 발명자 유정재
경기 성남시 분당구 야탑동 탑마을아파트 715-1302 박창준
대전 유성구 전민동 나래아파트 106-503 이인호
대전 서구 월평3동 누리아파트 102-1402
(74) 대리인 특허법인 신성
전체 청구항 수 : 총 9 항
(54) 모션 블러가 심한 영상의 카메라 자동보정 장치 및 그방법과, 그를 이용한 증강현실 시스템
(57) 요약
1. 청구범위에 기재된 발명이 속한 기술분야
본 발명은 모션 블러가 심한 영상의 카메라 자동보정 장치 및 그 방법과, 그를 이용한 증강현실 시스템에 관한 것임.
2. 발명이 해결하려고 하는 기술적 과제
본 발명은 영화 제작이나 컴퓨터 그래픽스(CG: Computer Graphics) 광고 등의 영상물 제작시에 사용되는 증강현실에 이 용하기 위해 모션 블러(Motion Blur)가 심한 영상에서 카메라의 정확한 외부변수(카메라의 움직임정보) 및 내부변수(카메 라의 상태정보)의 값을 획득하기 위한, 모션 블러(Motion Blur)가 심한 영상의 카메라 자동보정 장치 및 그 방법과, 그를 이용한 증강현실 시스템을 제공하는데 그 목적이 있음.
3. 발명의 해결방법의 요지
본 발명은, 카메라 자동보정 장치에 있어서, 영상 입력수단을 통해 입력된 모션 블러(Motion Blur)가 심한 영상을 가우시 안 스무딩시켜 카메라 모션(이동)에 의해 명암도(Intensity)가 번지는 현상을 제거하기 위한 가우시안 스무딩수단; 상기 가 우시안 스무딩된 영상에서 카메라 모션의 외부변수 및 내부변수를 획득하기 위한 카메라 정보 획득수단; 및 상기 획득된
외부변수 및 내부변수의 값을 바탕으로, 모션 블러 현상이 발생한 영상을 복원 필터를 이용하여 필터링하기 위한 복원 필 터수단을 포함하되, 복원된 영상의 모션 블러 정도에 따라 가우시안 스무딩 수단 및 카메라 정보 획득수단에서 가우시안 스무딩 과정 및 내/외부변수 획득과정을 반복 수행하는 것을 특징으로 한다.
4. 발명의 중요한 용도
본 발명은 모션 블러 현상이 발생한 영상에서의 증강현실 등에 이용됨.
대표도 도 3
특허청구의 범위
청구항 1.
카메라 자동보정 장치에 있어서,
영상 입력수단을 통해 입력된 모션 블러(Motion Blur)가 심한 영상을 가우시안 스무딩시켜 카메라 모션(이동)에 의해 명암 도(Intensity)가 번지는 현상을 제거하기 위한 가우시안 스무딩수단;
상기 가우시안 스무딩된 영상에서 카메라 모션의 외부변수 및 내부변수를 획득하기 위한 카메라 정보 획득수단; 및 상기 획득된 외부변수 및 내부변수의 값을 바탕으로, 모션 블러 현상이 발생한 영상을 복원 필터를 이용하여 필터링하기 위한 복원 필터수단
을 포함하되, 복원된 영상의 모션 블러 정도에 따라 가우시안 스무딩 수단 및 카메라 정보 획득수단에서 가우시안 스무딩 과정 및 내/외부변수 획득과정을 반복 수행하는 것을 특징으로 하는 모션 블러가 심한 영상의 카메라 자동보정 장치.
청구항 2.
제 1 항에 있어서,
상기 카메라 정보 획득수단은,
상기 가우시안 스무딩된 영상에 "Richard Hartley"가 제안한 "Metric Reconstruction" 방법을 이용하여 상기 외부변수 및 내부변수의 값을 계산하는 것을 특징으로 하는 모션 블러가 심한 영상의 카메라 자동보정 장치.
청구항 3.
제 1 항에 있어서, 상기 복원 필터는,
상기 획득된 외부변수를 활용하여 하기의 [수학식]의 ( )를 결정하는 것을 특징으로 하는 모션 블러가 심한 영 상의 카메라 자동보정 장치.
[수학식]
(여기서, 는 모션 블러 현상으로 인한 필터효과를 나타내고, 값은 현재부터 과거 시간까지 카메 라 평면상에서 고정된 사물의 위치점 (x, y)가 이동한 값이다.)
청구항 4.
제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
상기 외부변수는 카메라의 움직임정보를 나타내고, 상기 내부변수는 카메라의 상태정보를 나타내는 것을 특징으로 하는 모션 블러가 심한 영상의 카메라 자동보정 장치.
청구항 5.
제 4 항에 있어서,
상기 카메라의 상태정보는,
카메라의 초점거리, 빗살무늬, 영상비, 주점정보를 포함하는 것을 특징으로 하는 모션 블러가 심한 영상의 카메라 자동보 정 장치.
청구항 6.
제 1 항의 카메라 자동 보정 장치에 의해 획득된 내/외부변수를 이용하여 영상을 제작하는 증강 현실 시스템에 있어서, 상기 카메라 자동 보정 장치를 통해 획득된 카메라의 움직임 정보를 나타내는 외부변수와 카메라의 상태정보를 나타내는 내부변수를 바탕으로, 모션 블러가 심한 영상에 그래픽 객체를 삽입하는 것을 특징으로 하는 증강 현실 시스템.
청구항 7.
카메라 자동보정 방법에 있어서,
영상 입력수단을 통해 입력된 모션 블러가 심한 영상을 가우시안 스무딩시켜 카메라 모션(이동)에 의해 명암도(Intensity) 가 번지는 현상을 제거하는 가우시안 스무딩 단계;
상기 가우시안 스무딩된 영상에서 카메라의 외부변수 및 내부변수를 획득하는 카메라 정보 획득 단계;
상기 획득된 외부변수 및 내부변수의 값을 바탕으로, 모션 블러 현상이 발생된 영상을 복원 필터를 이용하여 필터링하는 복원 필터링 단계; 및
복원된 영상의 모션 블러 정도에 따라, 상기 가우시안 스무딩 단계 및 상기 카메라 정보 획득 단계를 반복 수행하는 단계 를 포함하는 모션 블러가 심한 영상의 카메라 자동보정 방법.
청구항 8.
제 7 항에 있어서,
상기 외부변수는 카메라의 움직임정보를 나타내고, 상기 내부변수는 카메라의 상태정보를 나타내는 것을 특징으로 하는 모션 블러가 심한 영상의 카메라 자동보정 방법.
청구항 9.
제 8 항에 있어서,
상기 카메라의 상태정보는,
카메라의 초점거리, 빗살무늬, 영상비, 주점을 포함하는 것을 특징으로 하는 모션 블러가 심한 영상의 카메라 자동보정 방 법.
명세서
발명의 상세한 설명
발명의 목적
발명이 속하는 기술 및 그 분야의 종래기술
본 발명은 모션 블러(Motion Blur)가 심한 영상의 카메라 자동보정 장치 및 그 방법과, 그를 이용한 증강현실 시스템에 관 한 것으로, 더욱 상세하게는 영화 제작이나 컴퓨터 그래픽스(CG: Computer Graphics) 광고 등의 영상물 제작시에 사용되 는 증강현실에 이용하기 위해 모션 블러(Motion Blur)가 심한 영상에서 카메라의 정확한 외부변수 및 내부변수의 값을 획 득하는, 모션 블러(Motion Blur)가 심한 영상의 카메라 자동보정 장치 및 그 방법과, 그를 이용한 증강현실 시스템에 관한 것이다.
본 발명에서 '증강현실'이란, 실사영상에 그래픽 객체를 삽입하는 기술을 의미하고, '외부변수'는 카메라의 움직임정보를 나타내며, '내부변수'는 카메라의 초점거리(Focal Length), 빗살무늬(Skew), 영상비(Aspect Ratio), 주점(Principal Point)을 포함하는 카메라의 상태정보를 나타낸다.
일반적으로, 카메라를 통해 획득한 동영상으로부터 피사체의 기하학적인 정보와 촬영시 카메라의 움직임정보(외부변수) 및 상태정보(내부변수)의 값을 획득하고자 할 경우에는, 카메라로부터 획득한 영상정보 및 피사체의 실질적인 기하학정보 사이의 변수를 추정하는 카메라 보정과정이 필수적으로 요구된다. 영상 촬영시 카메라의 외부변수(카메라의 움직임정보) 및 내부변수(카메라의 상태정보)의 값을 획득하고자 할 경우, 가장 쉽고 정확하게 사용될 수 있는 방법은 움직임 제어 카메 라(Motion Control Camera)를 이용하여 하드웨어적으로 카메라의 정보를 얻는 방법인데, 이 방법은 기 촬영된 영상에 대 해서는 적용이 불가능하고, 움직임 제어 카메라(MCC)의 장비가 매우 고가라는 문제점이 있다. 따라서, 영상처리 기법에 기반해서 소프트웨어적으로 카메라 자동보정을 수행하는 방법들이 연구되어 왔는데, 이들은 크게 '인공보정 물체를 이용 하는 방법'과 '특징점(Natural Feature)을 이용하는 자율보정 방법'으로 구분되어 진다.
여기서, '인공보정 물체를 이용하는 방법'은, 도 1과 같은 3차원 직육면체 모양의 보정기구를 촬영하여 그 직육면체의 기하 학적인 관계를 풀어냄으로써, 자동보정을 수행하는 방법이다. 이 방법은 현재까지 가장 널리 사용되어 왔으며, 비교적 정 확한 결과를 배출하는 장점이 있지만, 보정 물체가 전형적인 직육면체의 특성을 갖고 있어야 하며, 자동보정을 수행하려는 영상 시퀀스(sequence)에 반드시 보정 물체의 모습이 잡혀야 한다는 한계가 있어, 실사 합성을 위한 카메라 자동보정 방 법으로는 적합하지 않다.
한편, '자율보정 방법'은, 여러 각도에서 촬영된 영상으로부터 특징점(Natural Feature Point)을 추출하고 각각의 대응점 의 정보만을 이용하여 보정을 수행하는 방법으로, 일단 각각의 프레임에서 대응점들의 위치가 확인되면 모든 프레임을 두 장씩 짝을 지어 기초행렬(Fundamental Matrix) 또는 필수행렬(Essential Matrix)을 이용하거나, 세 장씩 짝을 지어 삼중 텐서(Trifocal Tensor)를 이용하여 사영복원(Projective Reconstruction)을 수행한 후, "Richard Hartley"가 제안한 방법 인 "IAC(Image of Absolute Conic)"에 대한 가정을 두고, 이를 바탕으로 카메라 내부변수 행렬을 구하고 카메라 사영행렬 (Projection Matrix)을 사영공간(Projective Space)에서 거리공간(Metric Space)으로 변형시켜 주는 변환 행렬을 구하는 방법이다. 이 방법은, 상기 '인공보정 물체를 이용하는 방법'에서와 같이 인공보정 물체를 사용하지 않기 때문에 실사 합성 을 위해서 유용하게 이용될 수 있지만, 각각의 프레임에서 대응점들간의 연결관계를 찾는 과정에서 노이즈가 첨가되어 성 능의 열화를 초래할 위험이 크며, 실제로 노이즈에 강한(robust) 시스템을 만들기 위해 많은 부분에 LM(Levenberg Marquardt)알고리즘이 삽입되어야 한다. 한편, 특징점 추출 단계에서는 현재까지 KLT 특징 트래커(Kanade-Lucas- Tomasi Feature Tracker)가 대응점들의 관계를 일관성 있게 추출하는데 가장 우수한 성능을 보이는 것으로 알려졌지만, 이 방법 역시 카메라의 빠른 움직임으로 인해 모션 블러(Motion Blur)가 발생하는 경우, 도 2와 같이 성능 열화를 초래할 수 있는 잘못된 특징점들을 상당수 추출하여, 이 방법 또한 실사 합성을 위한 카메라 자동보정 방법으로는 적합하지 않다.
발명이 이루고자 하는 기술적 과제
본 발명은 상기 문제점을 해결하기 위하여 제안된 것으로, 영화 제작이나 컴퓨터 그래픽스(CG: Computer Graphics) 광고 등의 영상물 제작시에 사용되는 증강현실에 이용하기 위해 모션 블러(Motion Blur)가 심한 영상에서 카메라의 정확한 외 부변수(카메라의 움직임정보) 및 내부변수(카메라의 상태정보)의 값을 획득하기 위한, 모션 블러(Motion Blur)가 심한 영 상의 카메라 자동보정 장치 및 그 방법과, 그를 이용한 증강현실 시스템을 제공하는데 그 목적이 있다.
본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
발명의 구성
상기 목적을 달성하기 위한 본 발명의 장치는, 카메라 자동보정 장치에 있어서, 영상 입력수단을 통해 입력된 모션 블러 (Motion Blur)가 심한 영상을 가우시안 스무딩시켜 카메라 모션(이동)에 의해 명암도(Intensity)가 번지는 현상을 제거하 기 위한 가우시안 스무딩수단; 상기 가우시안 스무딩된 영상에서 카메라 모션의 외부변수 및 내부변수를 획득하기 위한 카 메라 정보 획득수단; 및 상기 획득된 외부변수 및 내부변수의 값을 바탕으로, 모션 블러 현상이 발생한 영상을 복원 필터를 이용하여 필터링하기 위한 복원 필터수단을 포함하되, 복원된 영상의 모션 블러 정도에 따라 가우시안 스무딩 수단 및 카 메라 정보 획득수단에서 가우시안 스무딩 과정 및 내/외부변수 획득과정을 반복 수행하는 것을 특징으로 한다.
그리고, 본 발명은, 상기 카메라 자동 보정 장치에 의해 획득된 내/외부변수를 이용하여 영상을 제작하는 증강 현실 시스템 에 있어서, 상기 카메라 자동 보정 장치를 통해 획득된 카메라의 움직임 정보를 나타내는 외부변수와 카메라의 상태정보를 나타내는 내부변수를 바탕으로, 모션 블러가 심한 영상에 그래픽 객체를 삽입하는 것을 특징으로 한다.
한편, 본 발명은, 카메라 자동보정 방법에 있어서, 영상 입력수단을 통해 입력된 모션 블러가 심한 영상을 가우시안 스무딩 시켜 카메라 모션(이동)에 의해 명암도(Intensity)가 번지는 현상을 제거하는 가우시안 스무딩 단계; 상기 가우시안 스무딩 된 영상에서 카메라의 외부변수 및 내부변수를 획득하는 카메라 정보 획득 단계; 상기 획득된 외부변수 및 내부변수의 값 을 바탕으로, 모션 블러 현상이 발생된 영상을 복원 필터를 이용하여 필터링하는 복원 필터링 단계; 및 복원된 영상의 모션 블러 정도에 따라, 상기 가우시안 스무딩 단계 및 상기 카메라 정보 획득 단계를 반복 수행하는 단계를 포함하여 이루어진 것을 특징으로 한다.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발 명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다 고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예 를 상세히 설명하기로 한다.
도 3 은 본 발명에 따른 모션 블러(Motion Blur)가 심한 영상의 카메라 자동보정 장치 및 그를 이용한 증강현실 시스템에 대한 일실시예 구성도이다.
도 3에 도시된 바와 같이, 모션 블러(Motion Blur)가 심한 영상의 카메라 자동보정 장치(10)는, 영상을 입력받기 위한 영상 입력부(11)와, 영상 입력부(11)에 입력된 영상을 가우시안 스무딩(Gaussian Smooting)시켜 카메라 모션(이동)에 의한 명 암도(Intensity)가 번지는 현상을 제거하기 위한 가우시안 스무딩부(12)와, 가우시안 스무딩부(12)에 의해 가우시안 스무 딩(Gaussian Smoothing)된 영상으로부터 카메라 모션의 외부변수(카메라의 움직임정보) 및 내부변수(카메라 상태정보) 를 획득하기 위한 카메라 정보 획득부(13)와, 카메라 정보 획득부(13)에 의해 획득된 외부변수(카메라의 움직임정보) 및 내부변수(카메라의 상태정보)의 값을 바탕으로, 모션 블러(Motion Blur)가 심한 원 영상으로부터 모션 블러(Motion Blur) 현상을 제거하기 위해 복원 필터(Restoration Filter)를 이용하여 필터링하기 위한 복원 필터링부(14)를 포함하되, 복원된 영상의 모션 블러 정도에 따라 가우시안 스무딩부(12) 및 카메라 정보 획득부(13)에서 가우시안 스무딩 과정 및 내/외부변 수 획득과정을 반복 수행한다.
한편, 증강현실 시스템(20)은 카메라 자동보정 장치(10)에 의해 획득된 카메라의 외부변수(카메라의 움직임정보) 및 내부 변수(카메라의 상태정보)를 이용하여, 모션 블러(Motion Blur)가 심한 영상에 그래픽 객체를 삽입한다.
여기서, 가우시안 스무딩부(12)는 하기의 [수학식 1]과 같은 필터를 사용하여 입력된 영상을 가우시안 스무딩(Gaussian Smoothing)시킨다. 하기의 [수학식 1]은 가우시안 함수를 이용한 일종의 저대역 통과 필터(Low Pass Filter)를 나타낸 다.
상기 [수학식 1]에서, 는 2차원 영상에 대응되는 주파수 영역의 2차원 공간에서의 좌표를 나타내고, 는 해 당 주파수 위치에서의 명암도(Intensity)를 나타낸다. 그리고, 는 가우시안 함수의 폭을 조절하는 파라미터로서, 스무딩 (Smoothing)되는 정도를 조절하는데, 이때 는 입력 영상의 모션 블러(Motion Blur)의 정도에 따라 적절하게 설정한다.
다만, 도 4에서는 5 픽셀(pixel)로 설정하였다.
상기 [수학식 1]의 가우시안 함수를 이용한 저대역 통과 필터(Low Pass Filter)에 영상 입력부(11)에 입력된 영상을 통과 시킴으로써, 빗살무늬로 나타나던 모션 블러 현상(Motion Blur Artifact)이 제거됨을 확인할 수 있다(하기의 도 4 참조).
한편, 카메라 정보 획득부(13)는 기본적으로 "Richard Hartley"가 제안한 "Metric Reconstruction" 방법을 이용하여 가우 시안 스무딩(Gaussian Smoothing)된 영상에서 카메라의 외부변수(카메라의 움직임정보)와 내부변수(카메라의 상태정보) 의 값을 획득한다. 하지만, "Richard Hartley"가 제안한 "Metric Reconstruction" 방법 대신, "Marc Polleyfeys"가 제안한 방법 등의 다른 보정 방법을 사용하여 카메라의 외부변수(카메라의 움직임정보)와 내부변수(카메라의 상태정보)의 값을 획득할 수 있다(하기의 도 5 참조).
이하, 카메라 정보 획득부(13)의 동작 과정에 대해 더욱 상세하게 살펴보기로 한다.
하기 [수학식 2]는 본 발명에서 가정하고 있는 카메라 사영행렬(Projection Matrix)을 나타낸다.
상기 [수학식 2]에서, 는 카메라 내부변수를 나타내는 3 * 3 행렬이고, 는 카메라의 회전을 나타내는 3 * 3 행렬이 고, 는 단위행렬(Identity Matrix)이며, 는 카메라의 초점 위치를 나타내는 벡터이다.
카메라 정보 획득부(13)는 KLT 특징 트래커(Kanade-Lucas-Tomasi Feature Tracker)를 사용하여 각각의 프레임에서 특징점들의 대응관계를 추출한 후, 추출된 특징점들의 대응관계에 따라 프레임 간격으로 두 장씩 추출해서 8-포인트 (point) 알고리즘을 통해 기초행렬(Fundamental Matrix)을 계산한다. 그리고, 이 기초행렬(Fundamental Matrix)로부터 하기의 [수학식 3]과 같이 사영공간(Projective Space)에서 사영행렬(Projection Matrix)을 계산한다.
상기 [수학식 3]에서, 기초행렬(Fundamental Matrix)을 나타내는 는 두 영상 위의 특징점들 간의 대응관계로부터 사영 공간(Projective Space)상의 기하학적인 관계를 설정해주는 3 * 3 행렬로서, 공간상의 한 점이 영상 1, 영상 2 위에서 좌 표 를 갖는 경우에 으로 성립된다. 또한, 는 한 영상 위의 특징점 좌표를 다른 영상 위의 단일 직선 (Epipolar Line)으로 매핑(mapping)시키는 것을 나타낼 수도 있다. 또한, 는 한 쪽의 카메라 초점을 다른 쪽의 카메라 영상 위로 사영시켰을 경우의 좌표(epipole)를 나타내는 벡터이고, 는 와 를 외적시키는 연산이며, 는 도 5의 카메라 정보 획득 단계(103)에서 양정부호(Positive Definite) 문제를 해결하기 위해서 행렬의 계수(rank)를 늘려주기 위 한 3 * 1 임의의 값을 갖는 벡터이고, 은 임의의 상수(스칼라)이다.
이러한 방식으로 두 프레임씩 짝을 지어 사영복원(Projective Reconstruction)을 수행한 결과로부터 각각 특징점의 사영 공간(Projective Space)상에서의 3D 좌표인 를 계산하고, 이렇게 구한 들의 집합(set)이 일관되게 위치하도록 사영 공간(Projective Space)의 축을 맞추어준다. 이때, 사영복원(Projective Reconstruction)된 결과에서는 도형의 직선성만 보존되고, 평행성, 길이비율 및 크기는 보존되지 않는다.
하기의 [수학식 4]를 SVD(Singular Value Decomposition)를 이용하여 절대 2차 곡면(Absolute Quadric) Q를 구하고, 이로부터 사영공간(Projective Space)에서의 사영행렬(Projection Matrix)을 거리공간(Metric Space)에서의 사영행렬 (Projection Matrix)로 변환해 주는 사영변환(Projective Transform) 를 하기의 [수학식 5]에 따라 구한다.
상기 [수학식 4]에서, 는 i번째 카메라의 내부변수를 나타내는 행렬이며, 는 i번째 카메라의 사영행렬(Projection Matrix)을 나타낸다. 사영변환(Projective Transform) 를 에 곱하면 직선성 뿐 아니라 평행성, 길이비율까지 보존되 는 거리복원(Metric Reconstruction)이 수행된다. 이때, 크기는 보존되지 않으므로 대상물체의 모양은 알 수 있지만 실제 길이의 척도는 알 수 없다.
카메라 정보 획득부(13)는 이와 같은 과정([수학식 2] 내지 [수학식 5])을 통해 카메라의 외부변수(카메라의 움직임정보) 와 내부변수(카메라의 상태정보)의 값을 획득한다.
한편, 복원 필터링부(14)는 카메라의 빠른 움직임으로 인하여 모션 블러(Motion Blur) 현상이 발생된 영상을 하기의 [수학 식 6]과 같이 모델링한다.
상기 [수학식 6]에서, 는 모션 블러(Motion Blur) 현상으로 인한 필터효과를 나타내고, 값은 현재 부터 과거 시간까지 카메라 평면상에서 고정된 사물의 위치점 (x, y)가 이동한 값이며, 이는 시간동안 카메라의 움직 임에 의해 결정되므로 ( )에 대한 정보는 상기 카메라 정보 획득부(13)에 의해 획득한 카메라의 움직임에 대한 근사값(카메라의 움직임정보(외부변수))을 이용하여 획득한다. 이렇게 모션 블러링(Motion Blurring), 가우시안 스무딩 (Gaussian Smoothing) 과정을 거친 영상의 주파수 응답을 하기의 [수학식 7]과 같이 모델링한다.
상기 [수학식 7]에서, 는 모션 블러링(Motion Blurring)과 가우시안 스무딩(Gaussian Smooting)을 모두 거쳤을 경우의 주파수 응답을 나타내고, 는 모션 블러링(Motion Blurring)과 가우시안 스무딩(Gaussian Smooting)을 하 나로 묶은 필터로 보았을 경우의 주파수 응답을 나타낸다.
상기 [수학식 7]로부터 하기의 [수학식 8]과 같이 간략화된 최소 평균 제곱 오차(Minimum Mean Square Error)의 응답 을 구한다. 여기서, 최소 평균 제곱 오차(Minimum Mean Square Error)는 위너필터(Wiener Filter)를 나타내지만, 이때 위너필터(Wiener Filter)가 아닌 다른 복원 필터(Restoration Filter)를 사용할 수도 있다.
복원 필터링부(14)에 의해 복원 필터링된 영상에 여전히 남아있는 모션 블러(Motion Blur) 현상을 제거하기 위해 가우시 안 스무딩부(12)는 복원 필터링된 영상을 다시 가우시안 스무딩(Gaussian Smoothing)시킨다. 이때, 는 더 작은 값으로 설정한다.
도 5 는 본 발명에 따른 모션 블러(Motion Blur)가 심한 영상의 카메라 자동보정 방법에 대한 일실시예 흐름도이다.
먼저, 카메라 자동보정 장치(10)의 영상 입력부(11)를 통해 카메라로부터 모션 블러(Motion Blur)가 심한 영상을 입력받 아(101), 가우시안 스무딩부(12)에서 영상 입력부(11)에 입력된 영상을 가우시안 함수를 이용한 저대역 통과 필터(Low Pass Filter)에 통과시킴으로써, 가우시안 스무딩(Gaussian Smoothing)을 수행한다(102).
이후, 카메라 정보 획득부(13)에서 가우시안 스무딩부(12)에 의해 가우시안 스무딩(Gaussian smooting)된 영상을
"Richard Hartley"가 제안한 "Metric Reconstruction" 방법을 이용하여 카메라의 외부변수(카메라의 움직임정보) 및 내부 변수(카메라의 상태정보)의 초기값을 획득한다(103).
그리고, 복원 필터링부(14)는 카메라 정보 획득부(13)에 의해 획득된 카메라의 외부변수(카메라의 움직임정보) 및 내부변 수(카메라의 상태정보)의 값을 바탕으로 모션 블러(Motion Blur)가 심한 영상을 복원 필터(Restoration Filter)를 이용하 여 필터링한다(104).
다음으로, 가우시안 스무딩부(12)가 복원 필터링부(14)에 의해 필터링된 영상에 가우시안 스무딩(Gaussian Smoothing) 을 재수행하고(105), 카메라 정보 획득부(13)가 가우시안 스무딩(Gaussian Smoothin)된 영상으로부터 카메라의 외부변 수(카메라의 움직임정보) 및 내부변수(카메라의 상태정보)의 값을 획득한 후(106), 사용자는 가우시안 스무딩(Gaussian Smoothing)된 영상에서 모션 블러(Motion Blur) 현상이 충분히 제거되었는지 판단한다(107).
상기 판단 결과(107), 모션 블러(Motion Blur) 현상이 충분히 제거되지 않은 경우에는 상기“104”단계로 진행하여, 가우시 안 스무딩(Gaussian Smoothing) 단계(105) 및 카메라 정보 획득 단계(106)를 반복 수행한다.
이와 같이 함으로써, 모션 블러(Motion Blur) 현상이 충분히 제거되었을 경우에는 증강현실 시스템(20)으로 카메라 정보 획득 단계(106)에서 획득된 카메라의 외부변수(카메라의 움직임정보) 및 내부변수(카메라의 상태정보)를 전달한다(108).
그러면, 증강현실 시스템(20)에서는 영화 제작이나 컴퓨터 그래픽스(GC) 광고 등의 영상물 제작시, 카메라 정보 획득 단계 (106)에서 획득된 카메라의 외부변수(카메라의 움직임정보) 및 내부변수(카메라의 상태정보)를 바탕으로 모션 블러 (Motion Blur)가 심한 영상에 그래픽 객체를 삽입한다.
이와 같이 본 발명에서는 비록 모션 블러(Motion Blur)가 심한 영상에서 정확한 카메라의 외부변수(카메라의 움직임정보) 및 내부변수(카메라의 상태정보)를 획득하여 증강현실에 이용하는 일예를 들었지만, 이에 한정하지 않고 다른 영상 분야에 도 응용될 수 있음을 밝혀둔다.
상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로 피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다. 이러한 과정은 본 발명이 속하는 기술 분야에서 통상의 지식
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗 어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.
발명의 효과
상기와 같은 본 발명은, 모션 블러(Motion Blur)가 심한 영상에서 카메라의 정확한 외부변수 및 내부변수의 값을 획득함으 로써, 액션 장면 등의 실사영상과 그래픽 객체의 합성 작업을 하는데 있어서 영상 배경의 변화 및 어색함이 없는 증강현실 을 적용시킬 수 있는 효과가 있다.
도면의 간단한 설명
도 1 은 종래의 카메라 보정에 사용되는 직육면체 보정물체의 형상을 보여주는 설명도,
도 2 는 종래의 모션 블러(Motion Blur) 현상으로 인하여 시스템 성능의 저하를 초래하는 특징점(Natural Feature Point) 들이 검출되는 영상을 보여주는 설명도,
도 3 은 본 발명에 따른 모션 블러(Motion Blur)가 심한 영상의 카메라 자동보정 장치 및 그를 이용한 증강현실 시스템에 대한 일실시예 구성도,
도 4 는 본 발명에 따라 가우시안 스무딩(Gaussian Smoothing)으로 인하여 모션 블러(Motion Blur) 현상이 제거된 영상 을 보여주는 일실시예 설명도,
도 5 는 본 발명에 따른 모션 블러(Motion Blur)가 심한 영상의 카메라 자동보정 방법에 대한 일실시예 흐름도이다.
* 도면의 주요 부분에 대한 부호 설명 10 : 카메라 자동보정 장치 11 : 영상 입력부 12 : 가우시안 스무딩부 13 : 카메라 정보 획득부 14 : 복원 필터링부 20 : 증강현실 시스템 도면
도면1
도면2
도면3
도면4
도면5
