게임 프로그래밍
삼각형 반복분할에 의한 영상 보간법을 활용한 2D 얼굴 영상의 변형
김진모*, 김종윤**, 조형제**
부산가톨릭대학교 소프트웨어학과*,동국대학교 멀티미디어학과**
[email protected], {kjyjsj, chohj}@dongguk.edu
Warping of 2D Facial Images Using Image Interpolation by Triangle Subdivision
Jin-Mo Kim*, Jong-Yoon Kim**, Hyung-Je Cho**
Dept. of Software, Catholic University of Pusan*, Dept. of Multimedia, Dongguk University**
요 약
영상 워핑은 입력 영상을 주어진 조건에 적합하게 변형하는 기술로, 최근 영화나 애니메이션 분 야에서 캐릭터의 얼굴 형상을 변형하는데 활용되고 있다. 얼굴 특징을 기반으로 형상을 변형하는 워핑 방법 가운데 하나인 메쉬 워핑은 입력 영상에서 눈, 코, 입 주변의 사각형 모양의 메쉬 그룹을 형성하여 1:1정합시킴으로써 워핑 영상을 생성하는 방법이다. 이는 메쉬 제어점 좌표에 오차가 있거 나 작은 면적의 메쉬로 세분화되어 생성된 경우 메쉬들의 경계 선분에서 결과 영상이 일그러지는 문제점이 있다. 본 연구는 얼굴의 자연스러운 워핑 영상을 생성하는 과정에서 오류 발생을 최소로 하며 정확한 결과를 적은 연산량과 시간에 처리하기 위해 삼각형기반의 영상 보간 기법을 제안한다.
우선 얼굴을 대표하는 특징점들을 찾고 이들을 연결하여 기본 삼각형 메쉬를 구성한다. 제안하는 방법은 기존의 메쉬 워핑과 비교하여 연산 처리량과 시간은 단축되면서 워핑 과정에서의 오류 발생 을 줄일 수 있음을 실험으로 보인다.
ABSTRACT
Image warping is a technology to transform input images to be suitable for given conditions and has been recently utilized in changing face shape of characters in the field of movies or animation. Mesh warping which is one of warping methods that change shapes based on the features of face forms warping images by forming rectangular mesh groups around the eyes, nose, and mouth and matching them 1:1. This method has a problem in the resultant images are distorted in the segments of boundaries between meshes when there are errors in mesh control points or when meshes have been formed as many small area meshes. This study proposes a triangle based image interpolation technique to minimize the occurrence of errors in the process of forming natural warping images of face and process accurate results with a small amount of arithmetic operation and a short time. First, feature points that represent the face are found and these points are connected to form basic triangle meshes. The fact that the proposed method can reduce errors occurring in the process of warping while reducing the amount of arithmetic operation and time is shown through experiments.
Keywords : Facial image warping(얼굴 영상 워핑), Feature-based method(특징기반 방법), Triangle subdivision(삼각형 반복분할), Image interpolation(영상보간법), Mesh warping(메쉬워핑) Received: Mar. 18, 2014 Accepted: Apr. 10, 2014
Corresponding Author: Hyung-Je Cho(Dongguk University) E-mail: [email protected]
ISSN: 1598-4540 / eISSN: 2287-8211
Ⓒ The Korea Game Society. All rights reserved. This is an open-access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.otg/licenses/by-nc/3.0), which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.
1. 서 론
영화 산업에서 영상 합성 기술이 발달하지 못했 던 과거에는 특수 분장 또는 장치를 프레임 별로 촬영한 뒤 디졸브(dissolve)를 사용하여 천천히 오 버랩(overlap)시켜 사용하였다. 이러한 촬영 기술 은 연기자들에게 시간적 문제와 번거로움이 야기되 었고, 이 시점 컴퓨터 발달로 인한 컴퓨터 그래픽 스 기술 중 모핑과 워핑이 영화 산업에 큰 기여를 하였다. 이후 수많은 분야에서 워핑 기술을 이용하 여 재미있는 표정을 나타내는 응용 소프트웨어가 등장하고 있다. 이처럼 워핑 기술은 다양한 산업적 목적과 여가 생활에 즐거움을 제공한다. 최근에는 컴퓨터비전 기반의 스테레오 영상 분석 과정에서 정확한 정합 과정을 위해 영상 워핑을 활용하기도 한다[1]. 이밖에 쉘의 실시간 시뮬레이션 또는 2차 원 기상 위성 영상으로부터 3차원 구름을 애니메 이션하는 컴퓨터 그래픽스 응용과 컴퓨터비전 분야 에서도 워핑 기술이 다양하게 응용되고 있다 [2,3,4].
워핑은 입력 영상을 정해진 규칙과 패턴에 따라 변형 및 보간하는 과정으로 영상의 화소를 이동시 켜 원하는 목적 영상으로 변형시킨다. 워핑 알고리 즘으로는 어파인, 원근, 양선형 변환 등의 기하학 적 변환에서 여러 매개변수를 제어하는 방법, 그리 고 이를 응용한 메쉬 워핑과 필드 기반 워핑과 같 은 특징 및 자유 형상기반 방법[5] 등이 있다. 특 히, 얼굴 영상의 워핑은 표정의 변화를 가장 잘 나 타내기 위하여 얼굴의 특징점들을 연결하여 사각형 형태의 메쉬로 표현하고 자유 형상 변형을 수행하 여 워핑 영상을 생성하는 메쉬 워핑과 같은 방법 이 주로 활용된다. 메쉬 워핑은 메쉬 단위로 순차 적으로 입력 영상에서 출력 영상으로 정합하는 기 술이다[6]. 이는 소스영상과 목적영상간의 정확한 대응관계를 정의하기 위하여 열과 행 단위로 두 번의 리샘플링 과정을 수행한다. 이때 제어점들의 대응관계가 부정확하거나 개수가 맞지 않을 경우 또는 메쉬의 면적이 작은 경우에 영상이 일그러지
는 현상이 발생한다. 또한 영상의 해상도만큼 두 번의 리샘플링 과정을 수행함으로써 연산량이 많아 지고 처리속도가 비교적 오래 걸리는 단점이 있다.
이를 개선하기 위하여 본 연구는 삼각형기반의 영상 보간법을 제안한다. 이는 삼각형 각 변의 중 심이 되는 세 점을 선분으로 이어 하나의 삼각형 이 네 개의 닮은 삼각형으로 세분될 수 있는 점에 착안하여, 삼각형을 더 작은 삼각형으로 반복적으 로 분할함으로써, 워핑 시 필요한 대응점을 쉽게 찾도록 한다. 본 연구는 2차원 얼굴 영상의 변형을 목적으로 삼각형분할을 통해 두 연령대의 얼굴 영 상으로부터 중간 연령의 얼굴 영상을 제안한 워핑 방법을 통해 효과적으로 생성하려고 한다. 따라서 제안하는 삼각형 분할 워핑 알고리즘의 성능을 평 가하기 위한 구체적인 예로, 어린 나이와 많은 나 이의 영상을 이용하여 중간 연령의 얼굴 영상을 생성하고 연산량과 화질 개선 등에서 기존의 알고 리즘보다 더 나은 결과를 보임을 증명하고자 한다.
2. 관련연구
워핑이란 정의된 규칙과 패턴에 따라 입력 영상 을 변형 및 재생성하는 작업으로 입력 영상의 화 소를 원하는 목적 영상의 형태로 변형하는 기술이 다. 이를 위한 기초적인 기하학적 이론은 영상을 회전, 이동, 크기 변형하는 어파인 변환과 영상을 왜곡시켜 변형하는 원근 변환이 있다. 그리고 이러 한 수학적 이론을 토대로 다양한 영상 워핑 방법 들이 연구되고 있다[6]. Gomes et al.[7]는 워핑 방법을 매개변수기반, 특징기반, 자유 형상기반 그 리고 하이브리드 기술로 구분하였다. 매개변수기반 방법들은 크기, 휘어짐 그리고 구부러짐과 같은 어 파인과 원근 변환 성분을 매개변수로 제어하여 워 핑하는 기술이다[8].
특징기반 방법들은 입력 영상의 기하학적 특징 을 분석하고, 특징을 나타내는 정보를 제어점이나 선, 또는 메쉬로 표현하여 워핑을 수행한다[6,9].
여기에는 입력영상과 목적영상의 대응관계를 명확 히 정의하는 것이 중요하다. 특징기반 방법의 예로, 필드기반 워핑은 입력 영상의 특징을 나타내는 주 요 부분에 제어선을 형성하여 입력 영상에서 목적 영상으로 대응되는 제어선의 관계를 통해 워핑하는 방법이 연구되었다[6]. 그리고 메쉬 워핑은 입력 영상에서 검출된 특징점들로부터 메쉬를 구성하고 이 메쉬들을 기반으로 워핑을 수행한다. 이때 메쉬 들 사이의 대응관계를 기반으로 모든 화소를 열과 행 단위로 두 번의 리샘플링 과정을 통해 보간을 수행하는 Fan’s리샘플링 알고리즘이 연구되었다 [6,10]. Arad와 Reisfel[11]은 영상에 분포된 특징 들에 대한 scattered data의 보간 방법을 소개하기 도 하였다. 특징기반 방법은 얼굴의 눈, 코, 입과 같이 영상에 특징을 나타내는 부분이 명확하고 이 를 중점적으로 관리해야 될 경우 유용하다. 그러나 제어점이나 제어선을 활용하는 특징기반 방법들은 정교한 표현을 위해서는 많은 점들이 필요하고, 이 는 결국 연산량의 증가를 발생시키는 단점이 있다.
자유 형상기반 방법은 B-spline, 베지어와 같은 자유 형상 곡선을 활용하여 워핑 변환을 정의하는 방법으로 초기에 Smith 등에 의해 연구되었다[12].
Weng et al.은 입력 스케치를 B-spline 곡선과 대 응시켜 워핑하는 방법을 연구하였다[13]. Fang과 Hart는 라플라스 방정식을 사용하여 곡선의 불연 속구간을 유도하고 스케치로부터 영상 정보를 보간 하는 방법을 연구하였다[14]. 최근에는 Pereira et al.[15]은 컬러 영상에 노말 정보를 더하여 RGBN 영상을 만들고 이를 스케치 정보와 대입하여 워핑 하는 방법을 연구하였다. 보다 부드러운 워핑 영상 을 보이기 위해 MLS(moving least squares)를 활용하는 방법들도 있다[13,16]. 또한 전체 영상에 서 변형이 주로 일어나는 흥미영역(ROI, region of interest)을 정의하여 영상을 변형하는 방법들도 연 구되었다[17]. 이외에도 Navier-Stokes 방정식 기 반의 Fluid 구조를 활용하여 영상을 워핑하는 새로 운 접근들도 최근에 연구되고 있다[5].
본 연구에서 다루는 소스는 얼굴 영상으로 기존
의 여러 접근방법 가운데 특징기반 방법을 활용한 다. 따라서 우리는 이전 특징기반 방법들을 분석하 여 원하는 결과영상을 자연스럽게 표현하면서 효율 성을 높일 수 있는 새로운 방법을 제안한다.
3. 삼각형 반복분할에 의한 영상 보간법
본 논문에서 제안하는 영상의 워핑 과정은 [Fig.
1]과 같이 단계별로 진행된다. 본 연구는 임의의 나이대의 두 영상을 기준으로 중간나이의 영상을 워핑을 통해 생성함을 목표로 한다. 따라서 기본적 으로는 두 장의 입력 영상을 필요로 하지만 한 장 의 입력 영상으로도 워핑 가능한 구조를 갖는다.
기본적으로 우선 임의의 나이 대의 두 장의 영상 을 입력으로 받는다. 그리고 AAM(active appearance model)을 활용하여 얼굴 주요 부위의 특징점을 추출하고 이를 연결하여 삼각형 메쉬를 구성한 후 두 영상의 중간 나이 얼굴 형상을 나타 내는데 사용된다. 입력 영상으로부터 계산된 삼각 형과 이를 사용하여 생성한 중간 나이 영상의 삼 각형 메쉬를 기반으로 본 논문에서 제안하는 워핑 방법을 통해 임의의 나이의 얼굴 영상을 생성한다.
[Fig. 1] Proposed system structure of face warping
3.1 AAM기반 얼굴 특징점 검출
2차원 얼굴 형상에서 특징점을 추출하는 방법에 는 ASM(active shape model)[18], ACM(active contour model)[19]과 AAM(active appearance model)[20] 등이 있다. 하지만 ASM과 ACM은 형 광등과 같은 조명의 영향에 민감하다는 단점이 있 기 때문에 본 논문에서는 조명과 자세에 비교적 강인한 AAM을 사용하여 얼굴 특징 정보를 얻는 다. 이는 형상과 외양의 통계적 모델을 만들고 이 미지를 정합하기 쉽도록 특징점을 추출하는 알고리 즘이다[20]. 여기서 통계적 모델은 MPEG-4에서 정의한 얼굴 특징점을 기반으로 47개의 정보를 학 습하여 생성한다.
AAM을 통해 다른 나이의 두 영상에서 얼굴을 대표하는 눈, 코, 입, 윤곽의 특징점을 찾고, 모든 2차원 특징점 좌표 정보를 저장한다. 검출된 특징 점은 두 입력 영상 각각 47개의 좌표(x, y)를 담고 있다. [Fig. 2]는 AAM으로 학습된 정보를 통해 47개의 얼굴 특징 좌표를 찾은 결과를 나타낸 것 으로, 여기서는 10대, 50대 얼굴을 입력 실험 영상 으로 하였다.
(a) sample result of teenager
(b) sample result of the age of 50
[Fig. 2] Result of 47 face feature points detected by AAM
3.2 특징점기반 삼각형 메쉬 생성
다음은 검출한 얼굴 특징점들을 연결하여 삼각 형 메쉬를 생성한다. 이때 삼각형 메쉬는 검출된 47개 특징점 정보를 기반으로 들로네 삼각화 방법 을 적용하여 구성한다[6,21]. 이 방법은 기존의 메 쉬 워핑의 전처리과정과 동일하다. [Fig. 3]은 [Fig. 2](a) 영상으로부터 검출된 47개의 특징점 좌표([Fig. 3](a)), 삼각형 인덱스 정보([Fig. 3]
(b)) 및 생성된 삼각형의 일부의 예를 보인 것이 다. 삼각형 메쉬의 수는 81개로 0부터 80까지의 인 덱스 정보를 갖는다. [Fig. 3](c)는 2차원 특징점 좌표와 삼각형 인덱스 정보 중 일부를 선택하여 삼각형 메쉬로 그려본 결과이다.
x y
0 55.573 87.775 1 191.8588 68.157
2 49.506 144
3 89.325 141.978 4 74.179 132.27 .
. .
. . .
Index 0 0, 4, 6 1 0, 8, 7 2 0, 7, 1 3 6, 7, 18 4 6, 18, 17
. . .
. . . (a) the detected 2D
feature points
(b) calculated triangle indices Triangle
Area [1] 97 pixels [2] 384 pixels [3] 656 pixels . . .
[80] 542 pixels (c) example of generated triangles [Fig. 3] Example of generation of each
triangle using feature points
다음은 입력 두 영상을 기준으로 임의의 중간 나이 얼굴 형상의 삼각형 메쉬 정보를 계산해보자.
[Fig. 4]는 10대의 삼각형 정보(b)와 50대의 삼각 형 정보(d)의 가중치 값을 두어 임의의 중간 나이 삼각형 정보인 [Fig. 4](c)를 생성한 것이다. 이때
중간의 형상을 결정하는 삼각형 좌표는 (eq. 1)을 통해 계산된다.
(eq. 1)
여기서, 는 시작 나이의 하나의 좌표, 는 대응되는 끝 나이의 좌표 그리고 는 계산된 중 간 나이의 삼각형 꼭지점 좌표이다. 그리고 시작 나이( )의 가중치(0), 끝 나이()의 가중치(1)를 제어점( )으로 하고, 임의의 제어점 를 조절하여 중간 나이의 삼각형 좌표를 계산하는 가중치 를 계산한다([Fig. 4](a)). 얼굴 형상의 변화정도는 나이가 어릴수록 크고 나이가 증가할수 록 상대적으로 적기 때문에 이를 반영하여 비선형 적인 가중치를 적용한다. 이 가중치 값과 두 입력 영상의 각각의 대응 좌표()를 사용하여 입력 나이의 2차원 삼각형 메쉬 좌표()를 계산한다.
(a)
(b) (c) (d)
[Fig. 4] Process for generating the triangle coordinates in the middle age
3.3 삼각형 반복 분할
입력 두 영상으로부터 계산된 삼각형과 이를 통 해 생성된 입력 나이의 삼각형 정보를 구한 다음 이들을 반복적으로 분할한다. 이는 제안하는 워핑 과정의 핵심적인 단계로써, 입력 영상과 결과 영상 의 화소들 사이의 대응관계를 얻기 위하여 필요한 과정이다. 우선 삼각형의 세 꼭지점을 이용하여 넓 이를 계산한다(eq. 2). 그리고 각 변의 중점을 연결 하는 방법으로 삼각형을 분할해 나간다. 이때 분할 횟수는 앞서 계산한 삼각형의 넓이에 따라 달라지 나 일반적으로 삼각형의 면적이 하나의 화소 단위 가 될 때까지 분할을 반복한다. [Fig. 5]는 이를 나 타낸 것이다. 계산된 삼각형 메쉬 가운데 최대 넓 이를 갖는 삼각형을 찾아([Fig. 5](a)) 이를 분할해 나간다([Fig. 5](c)). 이때 반복 횟수에 따른 삼각 형 수는 [Fig. 5](b)와 같다. 예를 들어, 삼각형 넓 이가 40이면 (b)에서처럼 3회 반복하여 45개의 점 들을 생성한다. 이때 일부 화소에 꼭지점이 존재하 지 않는다면 해당 영역의 삼각형만 선택적으로 분 할한다.
(eq. 2)
(a) (b)
(c)
[Fig. 5] Repeat processing according to each triangle area
3.4 제안하는 영상 보간법
제안하는 영상 보간법은 앞선 삼각형 반복 분할 을 토대로 대응영상으로부터 색을 결정하는 것이 다. 다음은 이를 정리한 알고리즘이다.
If 한 픽셀 안에 하나 이상의 꼭지점
(1) 현재 번째 꼭지점과 대응되는 입력 두 영상 의 삼각형 꼭지점 탐색
(2) 찾은 입력 영상의 각 좌표의 색을 양선형 보 간을 통해 계산
(3) 시작 나이에서의 대응 좌표의 색()과 끝 나이의 대응 좌표의 색()을 조합
If 현재 화소에 들어온 꼭지점 좌표가 2개이상 현재 화소의 중심과 꼭지점 좌표의 거리에
따라 픽셀 색을 보간
∥∥
Else
현재 픽셀의 색()에 를 입력 Else
삼각형을 더 작은 4개의 삼각형으로 분할
[Fig. 6]은 제안한 방법을 통해 영상을 보간하는 한 예를 나타낸 것이다. 한 화소에 삼각형의 꼭지 점이 하나 이상 들어올 때까지 분할하고, 모든 화 소에 점들이 들어오면 분할을 멈추고 보간을 시작 한다. 우선 현재 중간 영상의 삼각형 꼭지점과 대 응되는 입력 두 영상에서의 꼭지점 좌표를 찾고 ([Fig. 6], 위), 각 좌표의 색을 주변 4방향의 화소 들의 색을 양선형 보간하여 계산한다. 두 개의 색 이 계산되면 중간 나이에서 좌표의 색()은 이 두 색을 시작 나이()와 끝 나이() 그리고 입력 나 이()를 이용하여 선형 보간을 통해 계산한다. 이 때 현재 화소에 들어온 꼭지점 좌표가 2개 이상이 라면 화소의 중심()과 꼭지점의 좌표()의 거리 ()에 따라 픽셀 색을 조합하여 최종 색을 결정한
다. 그렇지 않다면 계산된 하나의 색을 바로 대입 한다.
본 논문에서 제안하는 워핑은 제어선 기법과 제 어점 방식이 아닌 각 두 이미지에 대응되는 삼각 형 메쉬를 생성하고 반복 보간으로 영상을 생성하 는 방법이다. 이는 기존의 메쉬 워핑의 2-pass와 비교하여 보간 과정이 절반 정도 감소된다.
[Fig. 6] Calculation of the corresponding pixel value using proposed algorithm
4. 실험 결과 및 검토
본 연구에서 제안하는 삼각형 분할 워핑 방법의 실험 과정에는 Visual Studio 2008과 OpenCV 2.0 을 사용하였고, Intel dual-core E6750, 3GB RAM, Geforce GT 250 GPU를 갖춘 데스크탑 PC에서 실험하였다.
4.1 메쉬 워핑의 결점
메쉬 워핑은 사용자가 제어점을 임의대로 정의 할 수 있다는 장점이 있다. 하지만 제어점 개수를 적게 하면 사각형 메쉬의 수가 적어지고 결국 사 각형 하나의 넓이가 상대적으로 증가해 워핑 시 이미지가 고르지 못한 경우가 발생할 수 있다. 반 대로 눈, 코, 입 등 얼굴의 주요 부위에 집중적으
로 제어점 개수를 늘려 워핑 결과의 질을 높일 수 있지만 연산량과 계산 시간이 많아지는 단점이 있 다. 또한 눈, 코, 입 주위에 제어점을 증가시킬 경 우 사각형 메쉬의 면적이 극히 작아져 워핑 계산 시 실수 연산으로 발생된 값이 정수 단위의 화소 좌표로 변화될 때 삼각형이 접하는 선분 부분에서 영상이 일그러지는 문제가 자주 발생하게 된다.
[Fig. 7]은 이를 나타낸 것으로 얼굴의 주요부위에 메쉬를 밀집하여 생성할 경우 영상이 일그러지는 현상이 생기는 것을 확인할 수 있다.
(a) (b) (c) [Fig. 7] Problem of mesh warping
4.2 제안한 방법의 실험 결과
본 연구는 얼굴 영상의 형상 변형을 위한 새로 운 영상 보간법을 제안하는 것이 핵심 목표이다.
따라서 다양한 워핑 방법 가운데 특징을 중심으로 영상을 변형하는 기존 방법과의 차이를 확인하고자 하였으며, 특히 메쉬 워핑은 특징기반 워핑 중 빠 르고 정확한 결과를 얻는 방법이기에 제안한 방법 과의 다양한 비교 실험을 진행하였다.
다음은 제안한 방법을 사용하여 임의의 입력 나 이의 영상을 워핑하는 방법에 대한 실험으로 기존 의 메쉬 워핑과의 비교를 통해 성능을 검증한다.
[Fig. 8]은 10대와 50대 얼굴 영상을 입력으로 하 여 메쉬 워핑과 제안한 방법으로 입력 나이(30대) 의 영상을 생성한 것이다. 제안한 방법이 기존 방 법과 비교하여 선명한 결과를 나타냄은 물론 상대 적으로 실제 영상과 유사한 결과를 보임을 알 수 있다. 또한 제안한 방법은 47개의 특징점 만을 사 용하였지만, 메쉬 워핑은 선명한 결과를 위해 47개
이상의 특징점들을 사용하였다. 메쉬 워핑과 제안 한 방법은 특징점으로부터 생성된 메쉬를 기반으로 형상을 변형하는 과정은 동일하지만 메쉬의 대응관 계를 분석하는 방법에서 차이를 갖고 있다. 메쉬 워핑은 계산된 메쉬의 형상과 크기가 다르면 대응 되는 화소가 1:1이 되지 않음을 전제로 하지만 제 안하는 방법은 삼각형 메쉬의 크기와 상관없이 반 복적으로 분할해나가면 모든 화소가 1:1로 대응됨 을 전제로 하고 있다. 따라서 [Fig. 7]과 같은 일그 러지는 문제는 발생하지 않는 장점이 있는 것은 물론 1:1 대응을 위해 초기에 많은 특징점을 찾아 메쉬를 생성할 필요도 없는 것이다.
(a) result of mesh warping
(c) a real image
(b) result of proposed method
[Fig. 8] Comparison result of 30’s warping image of mesh warping method and proposed
method
[Fig. 9]는 다양한 입력 나이의 워핑 결과를 실 험한 것이다. 입력 나이는 20, 30, 40으로 하여 실 험하였으며, 세월이 흐를수록 광대뼈는 좁아지고 팔자 주름이 형성되는 것을 볼 수 있었다. [Fig.
9](a)는 실제 사진과의 비교를 나타낸 것으로 중간 나이의 정확성은 주관적이라 정확한 비교 실험은 어렵지만 추정을 하는 개념에서는 비교적 유사한 결과를 얻을 수 있었다. 단, 영상의 밝기는 실제 영상과 유사하게 조정하여 확인하였다. [Fig. 9](b) 는 5년 단위로 한 실험 결과이다. 앞서 연구한 10
년 단위에 비하여 눈에 뜨일 정도의 확연한 차이 는 없지만 눈꼬리가 처지고 얼굴 윤곽이 점차 20 세 이후부터 확장되는 현상을 보였다.
다음은 입력 두 영상의 대상을 다르게 하여 중 간 영상을 만드는 실험이다. 현재 또는 과거 자식 의 얼굴 영상과 부모의 현재 나이의 얼굴 영상을 입력으로 하여 나의 미래 얼굴을 추측해보는 실험 이다. 이는 본 연구에서 궁극적으로 활용하고자 하 는 목적가운데 하나이다. [Fig. 10]은 이를 나타낸 것으로 20대의 자식 얼굴 영상과 60대의 부모 얼 굴 영상을 기반으로 중간 입력 나이의 영상을 제 안한 방법을 사용하여 생성한 결과이다. [Fig. 10]
은 과거 자식 얼굴 영상과 현재 부모 얼굴 영상을 입력으로 현재 자식의 얼굴 영상을 생성한 결과로 과거 얼굴로부터 현재 나이의 워핑 영상을 비교적 잘 생성함을 확인할 수 있다.
(a) results of the age of 10, 20, 30, 40, 50
(b) results of the age of 10, 15, 20, 25, 30 [Fig. 9] age-specific results by triangle
subdivision warping
(a) (b) (c) (d) [Fig. 10] Result of the middle warping image of
input age from different input images (a) input teenage image, (b) result of warping in their 30s, (c) real image in their 30s, (d) input parent image
in their 50s
마지막으로 제안한 방법의 효율성에 대한 비교 이다. [Fig. 8]의 결과 영상 비교와 더불어 메쉬 워 핑과 제안하는 방법의 연산 시간을 비교하여 객관 적인 효율성을 실험하였다. 실험에 사용된 특징점 의 수는 47개로 위의 실험 결과에 사용된 수와 같 으며, 두 방법 모두 동일한 조건에서 실험하였다.
[Table 1]은 삼각형 메쉬가 생성된 이후부터 결과 영상을 생성하는데 까지 소요시간을 측정한 결과이 다. 한 장의 워핑 영상을 생성하는 시간의 경우 작 은 차이이기는 하나 연산 시간이 감소됨을 알 수 있다. 또한 중간 영상을 한 장 이상으로 연속하여 생성할 경우 메쉬 워핑은 입력 영상들과 결과 영 상 사이의 관계를 메쉬 단위로 모든 영상에 대해 보간해야 한다. 즉 같은 연산을 중간 영상의 수만 큼 처리해야하는 것이다. 하지만 제안하는 방법은 두 입력 영상들에서의 삼각형 메쉬 분할은 한번만 수행하고, 오로지 결과 영상에 대한 삼각형 분할
과정만 수행하여 대응 좌표만 찾아주면 되기 때문 에 연산 시간이 감소된다.
[Table 1] Operation time by comparing our method with mesh warping(the number of control
points: 47, unit: sec) the number of
result images mesh warping our method
1 2.51 2.48
10 21.78 19.157
30 77.65 57.55
100 254.12 188.52
5. 결 론
본 논문에서는 주어진 두 연령대의 영상으로부 터 임의의 중간 나이의 얼굴 형상을 표현하기 위 하여 삼각형 반복분할을 이용한 영상 보간법을 제 안하였다. 기존의 가장 널리 알려진 메쉬 워핑은 자유롭게 제어점을 이동하고 추가하여 사용자 설정 에 맞추어 워핑을 할 수 있었지만 사실적인 이미 지 결과를 얻기 위해서 보다 많은 제어점을 추가 해야했고, 그로 인해 연산량이 많아지는 문제점이 있었다. 이를 개선하기 위하여 제어점 개수를 줄이 면 제어점 간격이 넓어져 사실과 다른 결과 이미 지가 생성되었고, 메쉬가 1:1 정합이 되어야만 정 확한 최종 이미지를 생성할 수 있었다. 이러한 메 쉬 워핑의 단점을 보완하고 효과적인 워핑 방법을 구현하기 위하여 삼각형 반복분할에 의한 영상보간 법을 제안하였다. AAM을 실행하여 얼굴의 주요 특징점을 구하고 이를 통해 얼굴을 감싸는 삼각형 메쉬 정보를 계산한다. 그리고 삼각형 메쉬를 각 변의 중점을 연결하여 분할한다. 그런 다음 입력 영상과 대응되는 좌표를 찾아 화소를 보간하여 결 과 영상을 얻는다. 이는 메쉬 워핑과 비교하여 보 다 적은 수의 특징점과 메쉬를 사용하여 좋은 결 과 영상을 얻을 수 있으며 처리시간 또한 단축됨 을 실험을 통해 확인하였다.
향후 어릴 때의 이미지를 바탕으로 미래 나이의
이미지를 예측할 때 보다 정교한 이미지를 얻기 위하여 중년 이미지에 검버섯 및 주름을 도입함으 로써 세세한 특징까지 표현할 수 있게 하여 완성 도를 높인다면 좀 더 그 활용도가 높아지지 않을 까 생각된다. 그리고 영상 보간 과정은 반복 횟수 만 삼각형 면적에 따라 다를 뿐 반복 처리 과정은 동일하기 때문에 향후 이를 CUDA와 같은 GPU 병렬 프로세싱을 통해 구현함으로써 실시간 처리를 가능하게 할 수 있을 것으로 예상한다.
REFERENCES
[1] M. Bleyer, M. Gelautz, C. Rother, and C.
Rhemann, “A Stereo approach that handles the matting problem via image warping”, Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition 2009, pp. 501-508, 2009.
[2] M. Kamali, A. Banno, J.C. Bazin, I.S. Kweon, and K. Ikeuchi, “Stabilizing omnidirectional videos using 3D structure and spherical image warping”, Proceedings of the 12th IAPR Conference on Machine Vision Applications, pp. 177-180, 2011.
[3] Min-Gyu Choi, Seung-Yong Woo and Hyeong-Seok Ko, “An Extended Modal Warping Approach to Real-Time Simulation of Thin Shells”, Journal of Korea Game Society, Vol. 7, No. 2, pp. 45-53, 2007.
[4] Jeongjin Lee, Moon-Koo Kang, Ho Lee and Byeong-Seok Shin, “Cloud Modeling Method of 2D Meteorological Satellite Images”, Journal of Korea Game Society, Vol. 10, No.
1, pp. 147-156, 2010.
[5] D. Bonilla, and L. Velho, “Control Methods for Fluid-based image warping”, Proceedings of XXIV Sibgrapi Conference on Graphics, Patterns and Images, 2011.
[6] G. Wolberg, “Digital image warping”, IEEE Computer Society Press, 1990.
[7] J. Gomes, L. Darsa, B. Costa, and L. Velho,
“Warping and morphing of graphical objects”, Morgan Kaufmann Publ., 1999.
[8] A. H. Barr, “Global and local deformations of solid primitives”, ACM SIGGRAPH Computer Graphics, Vol. 18, Issue 3, pp. 21-30, 1984.
[9] S. Schaefer, T. McPhail, J. Warren, “Image deformation using moving least squares”, ACM Trans. Graph., Vol. 25, Issue 3, pp. 533 –540, 2006.
[10] G. Wolberg, “Skeleton based image warping”, Visual Computer, Vol. 5, No. 1/2, pp 95-108, 1989.
[11] N. Arad and D. Reisfeld, “Image warping using few anchor points and radial functions”, Computer Graphics Forum, Vol. 14, No. 1, pp.
35–46, 1995.
[12] A. R. Smith, “Planar 2-pass texture mapping and warping”, ACM SIGGRAPH Computer Graphics, Vol. 21, Issue 4, pp. 263-272, 1987.
[13] Y. Weng, X. Shi, H. Bao, J. Zhang,
“Sketching MLS image deformations on the GPU”, Comput. Graph. Forum, Vol. 27, Issue 7, pp. 1789–1796, 2008.
[14] H. Fang, J. C. Hart, “Detail preserving shape deformation in image editing”, ACM Trans.
Graph., Vol. 26, Issue 3, Article No. 12, 2007.
[15] T. Pereira, E. V. Brazil, I. Macêdo, M. C.
Sousa, L. H. de Figueiredo, and L. Velho,
“Sketch-based warping of RGBN images”, Graphical Models, Vol. 73, pp. 97-110, 2011.
[16] S. Schaefer, T. McPhail, J. Warren, “Image deformation using moving least squares”, ACM Trans. Graph., Vol. 25, Issue 3, pp. 533 –540, 2006.
[17] W. A. Barrett, A. S. Cheney, “Object-based image editing”, ACM Transactions on Graphics, Vol. 21, Issue 3, pp. 777-784, 2002.
[18] T. F. Coots, C. J. Taylor, D. Cooper, and J.
Graham, “Active shape Models-Their Taining and Application”, Computer Vision and Image Understanding, Vol. 61, No. 1, pp. 38-59, 1995.
[19] M. Kass, A. Witkin, and D. Terzopoulos,
“Snakes: Active Contour Models”, International Journal of Computer Vision, Vol. 1, No. 4, pp.
321-331, 1988.
[20] T. F. Cootes, Gareth J. Edwards, and Christopher J. Tayory, “Active Appearance Models”, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 23,
No. 6, pp. 681-658, 2001.
[21] Kitae Hwang, “Morphing and Warping using Delaunay Triangulation in Android Platform”, Journal of Korea Game Society, Vol. 10, No.
6, pp. 137-146, 2010.
김 진 모 (Kim, Jin Mo)
2006년 동국대학교 멀티미디어공학과 졸업(공학사) 2008년 동국대학교 멀티미디어학과 졸업 예술공학석사) 2012년 동국대학교 멀티미디어학과 졸업(공학박사) 2014년-현재 부산가톨릭대학교 소프트웨어학과 조교수 관심분야 : 컴퓨터그래픽스, 게임 프로그래밍,
게임공학, 실시간 렌더링, 영상처리
김 종 윤 (Kim, Jong Yoon)
2009년 9월 동국대학교 전산원 멀티미디어학과(공학사) 2013년 2월 동국대학교 멀티미디어학과 졸업(공학석사) 2014년-현재 오스템 임플란트 의료장비연구소 영상S/W개발팀 연구원
관심분야 : 영상처리, 컴퓨터 비전, CUDA
조 형 제(Cho, Hyung Je)
1973년 부산대학교 전자공학과(학사)
1975년 한국과학기술원 전기·전자공학과(공학석사) 1986년 한국과학기술원 전기·전자공학과(공학박사) 1986년-현재 동국대학교 멀티미디어학과 교수 관심분야 : 컴퓨터 그래픽스, 게임공학, 컴퓨터 비전,
디지털사운드처리
