A New Motion Compensated Frame Interpolation Algorithm Using Adaptive Motion Estimation

논문 2015-52-6-9

적응적 움직임 추정 기법을 활용하는 새로운 움직임 보상 프레임 보간 알고리즘

( A New Motion Compensated Frame Interpolation Algorithm Using Adaptive Motion Estimation )

황 인 서^*, 정 호 선^*, 선우 명 훈^***

( Inseo Hwang, Ho Sun Jung, and Myung Hoon Sunwoo^ⓒ )

요 약

본 논문에서는 움직임 추정 기법을 적응적으로 사용하는 프레임율 증강 기법인 AME-FRUC (Adaptive Motion Estimation Frame Rate Up-Conversion)을 제안하고자 한다. 제안하는 알고리즘은 영상의 움직임이 적은 영역에서 기존의 EBME (Extended Bilateral Motion Estimation)을 활용하고, 움직임 벡터 정보를 활용하여 관심영역을 결정한다. 관심 영역에서는 제 안하는 텍스쳐 정보에 기반한 블록 분할을 활용한 단방향 움직임 추정을 수행하도록 하여 정확도를 높였다. 최종적으로 MCFI (Motion Compensated Frame Interpolation)기법을 움직임 추정 방법에 따라 적용하고 보간 하여 중간 프레임을 생성 한다. 실 험 결과를 통해 제안하는 알고리즘이 기존의 FRUC 알고리즘에 비해 최대 68% 적은 SAD 연산으로 3dB 높은 PSNR 성능과 0.07 더 높은 SSIM 성능을 보이는 것을 확인할 수 있다.

Abstract

In this paper, a new frame rate up conversion (FRUC) algorithm using adaptive motion estimation (AME-FRUC) is proposed. The proposed algorithm performs extended bilateral motion estimation (EBME) conducts motion estimation (ME) processes on the static region, and extract region of interest with the motion vector (MV). In the region of interest block, the proposed AME-FRUC uses the texture block partitioning scheme and the unilateral motion estimation for improving ME accuracy. Finally, motion compensated frame interpolation (MCFI) are adopted to interpolate the intermediate frame in which MCFI is employed adaptively based on ME scheme. Experimental results show that the proposed algorithm improves the PSNR up to 3dB, the SSIM up to 0.07 and 68% lower SAD calculations compared to the EBME and the conventional FRUC algorithms.

Keywords: Frame rate up-conversion (FRUC), motion estimation (ME), block partitioning, motion compensated frame interpolation (MCFI)

* 학생회원, ^** 정회원, 아주대학교 전자공학부

(Department of Electrical and Computer Engineering, Ajou University)

ⓒ Corresponding Author(E-mail: [email protected])

※ 본 논문은 미래창조과학부 중견연구자지원사업[2014R1A2A2A01002952, 미래형 실감미디어 지원을 위한 영상처 리 전용 프로세서 연구]의 지원에 의하여 연구되었음.

Received ; March 17, 2015 Revised ; April 16, 2015 Accepted ; May 30, 2015

Ⅰ. 서 론

프레임율 변환 기법은 미국의 NTSC (National Television Systems Committee) 및 유럽의 PAL (Phase Alternation by Line) 방식과 같이, 서로 다른 프레임율을 가지는 다양한 디스플레이 포맷 간의 변환 을 위해 주로 사용되어 왔다^[1]. 그러나 최근의 프레임율 변환 알고리즘은 디스플레이 장치의 급속한 발전으로 4K UHD TV부터 초고해상도 디스플레이를 갖춘 스마 트폰에 이르기까지 첨단 디스플레이 디바이스들의 보급 이 급격히 증가하면서, 영상의 품질을 향상을 위한 목 적과 제한된 대역폭 내의 영상 전송 환경에서 영상의 품질을 향상시키기 위한 방법으로 응용되고 있다.

프레임율 증가변환 알고리즘은 영상의 프레임 사이 에 보간 프레임을 생성하여 영상의 연속성을 높여 물체 의 움직임 및 화면 간 전환 시 발생하는 모션블러현상 을 극단적으로 줄여 준다. 기존 프레임 율 증강 기법으 로는 프레임 반복 기법, 프레임 평활화 방법 등이 사용 되어 왔으나 영상 품질이 떨어지며, 잔상효과가 존재한 다. 이러한 문제를 해결하기 위해 움직임 보상 기법 (motion compensated interpolation)이 제안되어 활용되 어 왔다^[2~3]. 해당 기법들은 단방향 또는 양방향 블록 정 합 기법을 사용한 움직임 추정을 통해 움직임 벡터를 찾고, 이를 기반으로 중간 프레임을 생성한다.

그러나 기존의 단방향 움직임 예측을 통한 움직임 추 정은 연산복잡도가 높으며, 움직임 보상과정에서 발생 하는 홀(hole)과 중첩영역(overlaped area)으로 인해 성 능 저하가 발생한다. 이를 보완하기 위한 방법으로 현 재프레임과 이전프레임 두 프레임에서 각각 단방향 움 직임 예측을 하고, 이를 중첩하여 중간 프레임을 생성 한다. 그러나 중첩 후에도 보간 해야 할 홀과 중첩영역 이 남아있을 수 있으며, 양 방향에서 탐색과정을 진행 해야 하므로 연산 복잡도가 큰 단점을 갖고 있다.

양방향 움직임 예측방법에서는 물체의 움직임을 현 재프레임과 이전 프레임에서 쌍방향으로 대칭적인 움직 임을 갖는 것을 가정하여 움직임 추정을 진행 한다. 양 방향 움직임 예측에서는 중간 프레임의 블록을 기준으 로 양 방향의 탐색을 대칭적으로 동시에 진행하기 때문 에 복원 후에 홀과 중첩 영역이 존재하지 않으며, 단방 향 움직임 예측에 비해 약 1/4의 연산만으로 비슷한 정 확도를 갖는 움직임 벡터를 찾는다는 특징을 갖는다^[4].

그러나 양방향 움직임 예측은 블록을 기반으로 움직임 을 추정하므로 예측된 블록과 이웃 예측된 블록의 경계 가 일치하지 않는 블록화 현상이 존재한다.

이러한 양방향 움직임 추정 기법의 문제점을 해결하 기 위한 방법으로 EBME (Extended Bilateral Motion Estimation)기법이 제안되었다^[4]. 블록을 중첩 예측하여 정확도를 높인 EBME 기법은 기존 양방향 움직임 예측 방법보다 정확한 움직임 추정 성능을 보인다. 그러나 EBME를 활용한 움직임 추정방법에도 대칭적인 움직임 이 아니거나 이웃한 영상 열 내에 물체와 배경의 밝기 또는 형태가 급격히 변하는 경우 실제 움직임이 아닌 벡터가 선택되어 움직임이 큰 블록에 대해 보간 영상의 정확도가 낮은 한계점을 지닌다.

본 논문에서는 양방향 움직임 추정과 단방향 움직 임 추정을 상호 보완적으로 실시하는 적응적 움직임 추정 기법 (AME-FRUC)을 제안한다. 제안하는 방법 에서는 영상 내 블록에서 수행된 양방향 움직임 벡터 정보를 활용하여 단방향 움직임 추정을 적응적으로 수 행한다. 또한 단방향 움직임 추정 시에는 Wedgelet 블 록 분할을 통해 움직임 추정의 정확도를 높였다. 이를 통해 연산효율을 높이며 정확도를 높인 중간 프레임을 생성한다.

본 논문의 구성은 다음과 같다. Ⅱ장에서는 기존에 제안된 양방향 움직임 벡터를 이용한 프레임 보간 기법 을 설명하고, 적응적 알고리즘을 제안한다. Ⅲ장에서는 기존의 알고리즘과 제안하는 알고리즘의 성능을 분석한 다. 마지막으로 Ⅳ장에서는 결론을 맺는다.

Ⅱ. 제안하는 알고리즘

본 논문에서는 아래 그림 1의 흐름을 갖는 움직임 보 상 프레임 보간 기법을 제안한다. 배경 등 단조로운 부 분에서는 움직임 예측 효율이 좋은 EBME 기법을 활용 하여 전체 프레임에서 움직임 벡터를 추정한다. 이 후 EBME를 통해 추정한 움직임 벡터의 정보를 기반으로 잘못 예측된 움직임 벡터를 갖는 영역을 선별하여 관심 영역(Region of Interest)을 추출한다.

관심영역에서는 블록의 텍스쳐 정보를 고려한 Wedgelet 블록 분할 기법을 활용하며, 이를 기반으로 물체의 실제 움직임을 고려한 단방향 움직임 예측방법 을 시행한다. 생성된 움직임 벡터를 활용한 움직임 보

그림 1. 제안하는 적응적 움직임 보상 중간 프레임 생 성기법 흐름도

Fig. 1. Proposed adaptive motion compensated frame interpolation algorithm flow.

간 시 에는 양방향 움직임 예측 기법으로 보간 한 블록 과 관심영역에서 예측한 단방향 움직임 벡터를 활용하 여 동시에 중간프레임을 생성한다.

1. EBME 기법을 활용한 양방향 움직임 예측 일반적으로 양방향 예측 단계에서는 현재 프레임과 참고 프레임을 블록으로 분할하고 각 블록에서 주변 탐 색 영역에 대해 대칭적으로 탐색한다. 즉, 현재와 참고 두 프레임 사이에서 식 (1)과 같이 대칭 블록의 픽셀 차분 절대값의 합인 SBAD (Sum of Bilateral Absolute Difference)를 계산한다. 식 (1)의   _는 현 재 블록이 참조하는 현재, 이전 프레임인 _과 _{  }의 탐색범위  내에서 각각 _, _ 만큼 대칭 이동한 차 분 절대 값을 계산한다. 식 (2)에서는   _ 를 최소로 하는 움직임 벡터 후보 위치 _를 최종 움직임 벡터 로 결정한다.

_ _ 



_∈



_∈

_{  }  _   _

 _  _   _

(1)

그림 2. 기존 EBME의 움직임 벡터 필드 중첩 방법의 예

Fig. 2. Example of the motion vector field obtained by the proposed EBME process.

_ _ argmin

 ∈ _ _ (2)

EBME 기법에서는 움직임 예측의 정확도를 높이기 위해 추가적으로 블록의 그리드를 영상의 가로축과 세 로축으로 블록크기에 반만큼 이동하여 다시 한 번 움직 임 추정을 수행한다. 이후 중첩된 영역에서 더 작은 SBAD를 갖는 격자의 움직임 벡터를 선택하여 움직임 벡터 필드를 수정한다. 이를 통해 EBME에서는 위의 그림 2와 같이 움직임 추정 정확도를 높였다^[4].

또한, EBME기법에서는 추가적으로 블록화 현상을 최소화하기 위해 움직임 벡터 평활화를 수행한다. 아래 식 (3)은 현재 블록과 주변 여덟 개 블록의 벡터 값 차 이를 고려하기 위한 아웃라이어(Outlier) 블록을 구하는 식이다^[4]. 식 (3)에서 _은 현재 블록의, _은 주변 이 웃 블록들의 평균 움직임 벡터값이며, 는 과 

의 절대 차분치 이다. 주변 블록과의 차분 평균인 _ 은 현재 블록의 절대 차분치인 _와 비교해 __ 인 경우 현재 블록을 아웃라이어 블록으로 분류하고 주 변 벡터의 평균값으로 움직임 벡터를 수정한다^[4].

_  

_{  }



_   _ _

_ 





  



 _ _

(3)

그러나 기존 방식에서 주변 벡터의 평균값을 활용하 여 아웃라이어 블록을 분류하는 방법은 효율적이지 못 하다. 이는 블록 주변의 전반적인 영역에서 움직임 추 정이 잘못 일어날 경우 해당 영역에서 아웃라이어로 선 택되지 않을 가능성이 있기 때문이다. 반면, 제안하는

그림 3. 제안하는 관심영역 분류를 위한 수평, 수직블록 평균 움직임 벡터 생성 방법

Fig. 3. Proposed horizontal and vertical block line mean vector generating method.

알고리즘에서는 이전 프레임의 움직임 벡터 값을 활용 해 관심영역을 추가적으로 분류 한다. 이를 통해 정적 인 움직임을 갖는 영역과 움직임이 크고 복잡한 영역을 분류하고 적응적으로 움직임을 추정한다.

제안하는 관심 영역 분리 기법은 위의 그림 3과 같이 이전 보간 한 _{  } 프레임에서의 수평, 수직 방향의 블록 평균 움직임 벡터를 활용한다. 이때, _는  번째 수평 열 블록 평균 움직임 벡터를, 는  번째 수직 열 블록 평균 움직임 벡터를 의미한다.

계산한 수평, 수직열 블록 평균 움직임 벡터는 아래 식 (4)와 같이 현재 블록의 움직임 벡터의 크기와 비교 하여 블록의 벡터 절대값이 이전 프레임 _{  }의 _와

_보다 큰 경우 관심영역으로 분류한다. 이때,  값은 표 1과 같이 PSNR 성능과 관심블록의 선택비율을 고 려하여 탐색 범위 크기의 50%로 설정하였다. 표 1의 결 과는 네 개의 Flower, Mobile, Foreman, Football 영상 별 50프레임을 보간 해 평균 PSNR 성능을 비교 활용 하였으며, 평균 관심블록 선택 수를 비교하였다. 평균 PSNR 성능이 탐색 범위 크기의 75%일 때 미세하게 더 높음에도 50%를 선택한 것은 주관적 성능을 고려하였

Size of  in equation (4)

0% 25% 50% 75% 100%

PSNR average 28.04 28.75 28.87 28.88 28.82 ROI block average 366.4 128.1 85.3 56 36.5 표 1. 식(4)의 ^ 변화에 따른 PSNR 성능 비교 Table 1. PSNR comparision of the ^ in equation (4).

기 때문으로 아래 Ⅲ장에 관련 내용을 기술하였다. 이 를 통해 제안하는 기법은 영상 상단과 하단의 평균 움 직임이 부분적으로 다른 화면 움직임에도 효율적으로 관심 영역을 분류한다.

_ 

_{  }





_ _{  } _  

_ _{  } _  

(4)

위의 식 (4)를 통해 분류된 관심영역은 양방향 움직 임 예측방법이 적합하지 않은 영역으로 판단하고, 관심 영역 및 그 주변블록에 대해 Wedgelet 블록분할을 활 용하여 단방향 움직임 예측을 실시한다. 단방향 예측에 는 발생할 홀 영역과 중첩 영역을 고려해 주변 블록을 포함하여 블록분할 및 움직임 예측을 실시한다. 기존 EBME 아웃라이어로 선택되었던 블록들 중 관심영역이 아닌 블록에 대해서는 두 블록 이상 인접하여 나타난 경우에만 관심영역으로 분류하고, 나머지 아웃라이어에 대해서는 기존 EBME 방식과 같이 주변 블록의 평균 움직임 벡터를 활용 한다.

2. 비정방형 블록 분할 방법을 활용한 단방향 움직 임 추정 알고리즘

Wedgelet 블록 분할 기법을 활용한 단방향 움직임 추정 방법은 양방향 움직임 추정보다 연산복잡도가 높 고 홀, 중첩 영역을 보간 해야 하는 단점이 있다. 하지 만 움직임이 크거나 대칭적이지 않은 물체 또는 블록의 실제 움직임을 고려하기 위해서는 단방향 움직임 추정 기법을 활용하는 것이 효율적이다.

Wedgelet 블록분할 방법은 영상 코딩기법에서 비정 방형의 블록으로 분할하기 위해 사용된다^[5]. 기존의 영 상 압축에서 활용되는 블록 분할에서는 블록의 잔여 영 상(Residual)을 최소로 하는 블록으로 분할 하지만, 제 안하는 알고리즘에서는 영상 내 물체 사이에 큰 텍스쳐 의 차이가 존재한다는 특성을 활용하였다. 영상 블록 내 텍스쳐의 균일도는 블록 내부의 평균값과 분산값을 통해 구분한다.

제안하는 알고리즘의 Wedgelet 블록 분할 방법에서 는 연산 블록  내부의 픽셀좌표     에 해당하는 픽셀을 와  값에 따라 아래 식 (5)를 활용한다. 블록 내의 픽셀좌표별 연산 결과를 기준으로 음수인 경우 블

그림 4. 제안하는 관심영역 텍스쳐 기반 블록 분할 방 법

Fig. 4. Proposed region of interest texture based block partitioning scheme.

록 _, 그 외의 경우를 블록 _로 비정방형의 블록으 로 분할한다. 이때 좌표의 범위는 연산 블록 크기인 16x16을 넘지 않도록 하였다.

            ≤  ≺  

  ≤  ≺   (5)

   ∈



_ 



블록 분할 시 와  값 범위는 각각 [0, 5], [0, 2]

로 제한하였으며, ∆  , ∆   로 설정하여 단 계별로 분할한다. 와  에 의해 여러 분할 후보군에서 최적의 경계 면을 선택할 때에는 두 개의 하위 블록

_, 내의 픽셀에 대해 아래 식 (6)과 같이 연산한 다. 이 후 두개의 내부 블록이 갖는 픽셀 평균값의 차 이가 크고, 픽셀 분산 값이 가장 작도록 하는 경계면으 로 위의 그림 4와 같이 관심영역인 블록에 대해 최종 분할한다.

   arg

  ∈  ≤  ≤ 

 ≤  ≤  



 _   _



(6) 제안하는 알고리즘은 비정방형 블록 분할 이외에도 16x16 기본 또는 8x8 분할 블록을 활용한다. 16x16 블 록의 경우 블록의 분산값이 비정방형 블록들의 합보다 작을 경우 사용되며, 8x8 블록의 경우 블록 간 평균값 의 차이의 최대값과 블록 내부의 분산값을 비정방형 블 록 분할 방법과 비교하여 선택한다. 이 후 분할된 블록 의 단방향 움직임 추정 탐색은 기존 블록단위에서 동시

에 수행한다. 이때 분할된 블록에 대한 각각의 최소 SAD (Sum of Absolute Difference)값을 갖는 위치를 움직임 벡터로 갖는다. 단방향 움직임 탐색에서는 양방 향 움직임 추정 대비 네 배의 넓은 범위를 탐색하며, 식 (7)과 같이 최대 12개의 주변벡터 와 현재벡터

 의 차이를 고려하여 관심영역에 대한 평활화를 추 가 실시한다.

_{}  arg

 ∈⋯



  



  _ (7)

3. 움직임 보상을 이용한 보간 프레임 생성 기법 제안하는 알고리즘의 EBME기법을 사용한 블록영역 에서는 양방향 움직임 추정 기법의 특성상 홀 또는 중 첩 영역이 존재하지 않는다. 또한 움직임이 작거나 고 르게 분포한 정적인 영상의 블록에서 보간 하였기 때문 에 기존 EBME에 활용된 OBMC (Overlapped Block Motion Estimation)기법을 사용하지 않더라도 블록화 현상이 크게 나타나지 않는다.

반면, 관심영역에서는 인접 프레임을 기준으로 두 번 의 단방향 움직임 추정을 실시하며, 홀과 중첩 영역을 보간 한다. 단방향 움직임 벡터의 프레임 보간은 관심 영역에 대해 수행하므로, 중첩 영역을 보간 한 후 아래 그림 5와 같이 관심영역에 한해 블록을 채워 넣는다.

이후 전체 프레임에 대해 홀 보간을 거친다. 중첩 영역 의 경우 대응되는 현재, 참고 프레임 블록의 픽셀 평균 값을, 홀 영역은 주변 픽셀의 평균값으로 보간 한다.

그림 5. 제안하는 단방향 움직임 보상 블록 및 관심영역 블록 보간 예시

Fig. 5. Example of the region of interest block interpolation.

Ⅲ. 실 험

본 논문에서는 제안한 프레임율 증가 변환 기법의 평가를 위해 주관적, 객관적 평가를 실시하였다. 주관 적 화질 평가는 기존 EBME 기법을 활용해 얻은 아웃 라이어와 제안하는 관심영역 분리 기법에 대해 중간 프레임 생성을 수행하여 아래 그림 6과 같이 결과를 비교하였다. 객관적인 평가를 위해서는 영상처리 분야 에서 일반적으로 사용되는 PSNR (Peak signal-to noise ratio) 및 SSIM (Structural similarity)를 이용하 여 기존의 프레임율 증가 변환 알고리즘^[6~8]과 성능 비 교를 수행하였다.

관심영역에 대해 수정되는 움직임 벡터에 대해 결과 를 확인하기 위하여 수행한 기존 EBME 기법에서는 그 림 6. (a)와 같이 일부 블록에서 주변 블록의 평균 움직 임 벡터와의 차이가 작은 경우 아웃라이어로 선택되지 않는다. 반면, 제안한 관심 영역 분류 기법은 그림 6.

(b)와 같이 움직임 추정이 잘못된 블록을 관심영역으로 추가 분류하여 단방향 움직임 추정을 수행한다. 이를 통해 기존 EBME 기법의 보간 결과인 그림 6. (c)에 비 해 제안하는 알고리즘이 그림 6. (d)과 같이 세밀한 텍

그림 6. Mobile 영상의 주관적 화질 비교 (a) EBME 아 웃라이어 블록, (b) 제안하는 관심영역, (c) EBME 보간 영상, (d) 제안하는 보간 영상 Fig. 6. Visual comparison of the Mobile (CIF) (a) outlier

block of the EBME, (b) ROI block of the proposed algorithm, (c) interpolated frame of the EBME, (d) interpolated frame of the proposed algorithm.

스쳐에 있어 주관적 화질 향상이 있는 것을 확인할 수 있다.

객관적 화질 평가에서는 원본 영상의 홀수 프레임을 모두 삭제한 뒤, 짝수 프레임을 이용해 가상의 홀수 프 레임을 만들고 원본 홀수 프레임과 화질대조를 실시하 였다. 기존 EBME 알고리즘은 양방향 16x16블록과 ±8 픽셀에 대한 탐색범위를 활용하였으며, 제안하는 알고 리즘은 양방향 32x32, 단방향 16x16을 기본블록으로 설 정하였다. 탐색범위는 양방향 움직임 추정기법은 ±8 픽셀을, 단방향 움직임 추정 기법에서는 ±16의 픽셀 범위를 탐색하도록 설정하였다.

실험한 영상의 시퀀스는 기존 EBME 논문에서 제시 하는 Flower garden, Mobile, Foreman, 그리고 Football CIF (352x288)영상에 대하여 각각 50장의 프레임을 사 용하여 아래 표 2와 같이 실험결과를 획득하였다.

실험 결과, 표 2의 제안하는 텍스쳐 기반 단방향 움 직임 추정기법만을 사용한 결과를 보면, 세부 객체의 움직임이 많은 Mobile, Foreman 영상에서 기존 EBME 보다 좋은 성능을 보이는 것을 확인할 수 있다. 반면, 배경과 큰 객체의 움직임이 많은 Flower garden, Football 영상에서는 양방향 움직임 추정이 더 좋은 성 능을 갖는 것을 확인할 수 있다. 결과적으로 제안하는 적응적 알고리즘의 경우 기존 EBME 및 단방향 추정 방식 단일 사용에 비해 최대 3dB 이상의 높은 PSNR 결과를 갖는다. 이는 움직임이 적은 블록에서 성능이 좋은 EBME 알고리즘을, 관심영역인 블록에서 단방향 움직임 추정을 실시하여 상호 보완적으로 정확도를 높 인 결과이다.

추가적으로 제안하는 알고리즘에 대한 기존 프레임 율 변환 알고리즘과의 성능비교를 위해 표 3 과 같이 PSNR 및 SSIM 비교를 실시하였다. 비교 대상인

Test sequence (dB)

Flower garden Mobile Foreman Football

EBME 29.32 25.39 31.82 21.31

Proposed

(Unilateral) 28.53 28.04 32.64 21.27 Proposed

(Adaptive) 30.56 29.16 33.64 22.86

표 2. 기존 EBME 기법과 제안하는 알고리즘의

PSNR 성능 비교

Table 2. PSNR comparision to existing EBME frame rate up algorithm.

Sequence VS-BMC [6] Dual ME [7] PMVS [8] Proposed PSNR (dB) SSIM PSNR (dB) SSIM PSNR (dB) SSIM PSNR (dB) SSIM

News 36.48 0.9915 37.32 0.9923 38.30 0.9933 38.36 0.9940

Mobile 22.89 0.9113 23.71 0.9117 26.41 0.9319 29.16 0.9676

Foreman 33.50 0.9760 33.14 0.9726 32.71 0.9768 33.64 0.9771

Football 19.79 0.7549 20.95 0.7849 22.17 0.7862 22.86 0.8252

Stefan 24.79 0.8946 27.32 0.9430 26.79 0.9303 28.25 0.9515

Coastguard 30.96 0.9576 27.09 0.9149 31.33 0.9709 34.82 0.9799

Highway 31.18 0.9733 31.50 0.9732 32.23 0.9730 33.18 0.9751

Average 28.51 0.9227 28.72 0.9275 29.99 0.9375 31.47 0.9529

표 3. 제안하는 알고리즘과 기존 알고리즘의 PSNR 및 SSIM 비교 표 Table 3. PSNR and SSIM comparision to conventional frame rate up algorithm.

VS-BMC^[6], Dual ME^[7], PMVS^[8] 알고리즘에서는 기본 16x16블록과 ±16 픽셀에 대한 탐색범위를 설정하였다.

VS-BMC 알고리즘의 경우 EBME와 동일한 양방향 움 직임 추정을 기반으로 하며, Dual ME 알고리즘의 경우 단방향 및 양방향 움직임 추정을 모두 실시하지만, 최 종 움직임 벡터는 양방향 움직임 추정 결과를 활용한 다. 이러한 이유로 Mobile, Foreman과 같은 복잡한 영 상에서 낮은 성능을 보인다. 반면, 제안하는 알고리즘은 이러한 영상에 대해 성능이 크게 개선된 것을 확인할 수 있다.

또한 PMVS와 같이 단방향 움직임 추정을 기반으로 하는 기법과의 비교에서도 배경부분에서 효율인 추정이 이루어져 영상에 따라 비슷하거나 더 높은 PSNR과 SSIM 성능을 보이는 것을 확인할 수 있다.

아래 표 4는 연산량 측면의 성능비교를 위해 알고리 즘 별 SAD 연산량 비교를 아래와 같이 정리하였다. 각 알고리즘의 수식에는 기준블록 사이즈 및 탐색 범위를 각각 ,  로 나타내었으며, VS-BMC^[6] 알고리즘의  은 반복회수로 2회 반복을 기준으로 하였다. Dual ME^[7] 알고리즘은 움직임 추정 시 1.5배의 큰 블록사이 즈에서 연산을 수행하므로 아래와 같은 연산량을 갖는 다. PMVS^[8] 알고리즘은 단방향 움직임 추정

^×  ^에 홀 보간 시 필요한 수식 ^^가 더해져 두 번의 움직임 추정을 실시한다.

제안하는 적응적 알고리즘의 경우 관심영역비율 ^가 0.25, 0.50일 때를 기준으로 비교하였다. 수식

^×  ^은 EBME 연산을 나타내며, 32x32블 록을 중첩 연산 후 최종 16x16블록이 결정되므로 절반 을 취하였다. 또한, 제안하는 알고리즘의 단방향 움직임 추정에는 텍스쳐 기반 블록분할을 위한 연산을 고려하

Number of SAD calculation VS-BMC

[6]

^×  ^ ×  ^ × 696,960

Dual ME [7]

^×  ^

 ^ ^ 

936,432 PMVS

[8]

^×  ^ ^ 559,616

Proposed (Adaptive)



^×  ^  ^×  ^

^× ∆ × ∆ 

297,600 (  ), 447,232 (  ) 표 4. 움직임 추정 알고리즘별 SAD 연산량 비교 Table 4. Number of SAD calculation comparisons to

different motion estimation algorithm.

였다. 실험 결과 제안하는 적응적 알고리즘은 표 3에 나타낸 것과 같이 기존 알고리즘 대비 SAD 연산에서 최대 68%의 연산량 감소를 기대할 수 있다.

Ⅳ. 결 론

본 논문에서는 양방향 움직임 추정기법인 EBME에 단방향 움직임 추정 기법을 적용하여 영상 보간 정확도 를 높이고, 전 영역 단방향 움직임 추정기법에 비해 연 산량을 줄여 효율을 높인 프레임율 변환 알고리즘을 제 안하였다. 제안하는 프레임율 변환 알고리즘은 기존 EBME 알고리즘에 비해 복잡한 움직임 영역에서 높은 정확도를 높였으며, 기존 알고리즘 대비 최대 68%의 적 은 SAD 연산으로 3dB의 PSNR 성능 향상과 0.07의 SSIM 성능 향상이 있음을 확인할 수 있다.

저 자 소 개 황 인 서(학생회원)

2014년 아주대학교 전자공학 학사 졸업.

2015년 현재 아주대학교 전자공학 석사 재학.

<주관심분야 : 멀티미디어 코덱, 멀티미디어 신호 처리, 멀티미디어용 ASIP설계, 컴퓨터 비전>

정 호 선(학생회원)

2012년 아주대학교 전자공학 학사 졸업.

2014년 아주대학교 전자공학 석사 졸업.

<주관심분야 : 멀티미디어 코덱, 멀티미디어 신호 처리, 멀티미디어용 ASIP설계>

선우 명 훈(평생회원) 1980년 서강대학교 전자공학 학사 졸업.

1982년 한국과학기술원 전기전자 공학 석사 졸업.

1982년∼1985년 한국전자통신 연구소(ETRI)연구원 1985년∼1990년 Univ. of Texas at Austin 전자공학 박사 졸업

1990년∼1992년 Motorola, DSP Chip Operation (미국)

1992년∼현재 아주대학교 전자공학과 교수 2011년∼현재 IEEE CASS Board of Governor 2011년∼현재 IEEE Fellow Member

2012년∼2014년 대한전자공학회 반도체소사이어 티 회장

2014년∼현재 대한전자공학회 반도체 소사이어티 자문위원

<주관심분야 : VLSI 및 SoC Architecture, 통신 및 멀티미디어 ASIP 및 SoC 설계>

REFERENCES

[1] G. A. Thomas, “Television motion measurement for DATV and other applications,” BBC, Res. Dep.

Rep. RD 1987/11, Sep. 1987.

[2] K. Hilman, H.-W. Park, and Y.-M. Kim, “Using motion compensated frame-rate conversion for the correction of 3:2 pulldown artifacts in video sequences,” IEEE Trans. on CSVT, Vol. 10, No. 6, pp. 869-877, Sep. 2000.

[3] R. Castagno, P. Haavisto, and G. Ramponi, “A method for motion adaptive frame rate upconversion,” IEEE Trans. Circuits Systems for Video Technology, Vol.6, No.5, pp. 436-446, Oct.

1996.

[4] S. J. Kang, K. R. Cho and Y. H. Kim, “Motion compensated frame rate up-conversion using extended bilateral motion estimation,” IEEE Trans.

Consumer Electron., vol. 53, no. 4, pp. 1759-1767, Nov. 2007.

[5] E. Hung, R. de Queiroz, and D. Mukherjee, “On macroblock partition for motion compensation,” in Proc. Int. Conf. Image Process. (ICIP), 2006, pp.

1697.1700.

[6] B.-D. Choi, J.-W. Han, C.-S. Kim and S.-J. Ko,

“Motion-compensated frame interpolation using bilateral motion estimation and adaptive overlapped block motion compensation,“ IEEE Trans. Circuits Syst. Viedo Technol., vol. 17, no. 4, pp. 407-416, Apr. 2007.

[7] S.-J. Kang, S.-J. Yoo and Y.-H. Kim, “Dual motion estimation for frame rate up-conversion,”

IEEE Trans. Circuits Syst. Viedo Technol., vol. 20, no. 12, pp. 1909-1914, Dec. 2010.

[8] U.-S. Kim and M.-H. Sunwoo, “New frame rate up-conversion algorithms with low computational complexity,” IEEE Trans. Circuits Syst. Viedo Technol., vol. 24, no. 3, pp. 384-393, Aug. 2014.