Complexity Reduction Method Using Inter-layer CU Depth Information for Scalable Video Coding Base on HEVC

(1)

a)광운대학교 컴퓨터공학과 (Department of Computer Engineering, Kwangwoon University)

‡Corresponding Author : 심동규 (Dong-Gyu Sim) E-mail: [email protected]

Tel: +82-2-941-6470 Fax: +82-2-941-6471

※본 연구는 일부 서울시 산학연 협력사업(SS110004M0229111)의 지원을 받았고, 일부 지식경제부 및 한국산업기술평가관리원의 산업원천기술개발사업(정보통신)의 일환으로 수행하였음. [10039199, 인지품질 기반 스케일러블 3D 비디오 코덱 핵심 기술 연구]

・ Manuscript received July 20, 2012 Revised September 12, 2012 Accepted September 12, 2012

계층 간 CU 깊이 예측을 이용한 HEVC SVC 고속 부호화 방법

장 형 문â), 남 정 학â), 심 동 규â)^‡

Complexity Reduction Method Using Inter-layer CU Depth Information for Scalable Video Coding Base on HEVC

Hyeong-Moon Jangâ), Jung-Hak Namâ), and Dong-Gyu Simâ)^‡

요 약

본 논문은 차세대 압축 표준(high efficiency video coding; HEVC)을 기반으로 하는 계층 간 비디오 압축 코덱의 부호화 속도 향상 을 위하여 참조 계층 CU(coding unit) 깊이정보를 참조하여 향상 계층의 CU깊이를 고속으로 결정하는 방법을 제안한다. 향상 계층의 CU깊이를 예측하기 위해 먼저, 참조 계층의 대응 CU의 깊이 정보를 참조 한다. 이때, 참조 깊이 기준으로 -1부터 +1까지의 CU깊이 에 대한 RDcost만을 계산하여 향상 계층의 최종 CU깊이를 결정한다. 제안하는 방법을 이용하여 향상 계층의 모든 CU깊이에 대한 율 -왜곡 최적화(rate-distortion optimization) 과정을 거치지 않고 최종 CU깊이를 결정하기 때문에 계산 복잡도 감소 효과를 얻을 수 있 다. 제안하는 방법의 고속화 성능을 평가하기 위해 HM 4.0 기반의 simulcast 계층 간 부호화기를 이용한 결과 제안하는 알고리듬을 적용하지 않은 경우 대비 약 1.4% 정도 이내의 적은 비트율 증가에도 불구하고, 약 26%의 계산 복잡도 감소 효과를 얻을 수 있었다.

Abstract

In this paper, we propose a fast mode decision method that determines the coding unit depth for enhancement layers to improve an encoding speed of a scalable video encoder based on HEVC. To decide the coding unit depth of the enhancement layer, firstly, the coding unit depth of the corresponded coding unit in the basement layer is employed. At this stage, the final CU depth is decided by calculating the rate-distortion costs of one lower depth to one upper depth of the referenced depth. The proposed method can reduce a computational load since it does not calculate the rate-distortion costs for all the depths of a target CU. We found that the proposed algorithm decreases encoding complexity of 26% with approximately 1.4% bit increment, compared with the simulcast encoder of the HM 4.0.

Keyword : HEVC, SVC, inter layer CU depth-prediction, early termination, computational complexity.

특집논문 (Special Paper)

방송공학회논문지 제17권 제5호, 2012년 9월 (JBE Vol. 17, No. 5, September 2012) http://dx.doi.org/10.5909/JBE.2012.17.5.765

ISSN 1226-7953(Print)

(2)

Ⅰ. 서 론

최근 디스플레이의 대형화와 대용량 컨텐츠 영상의 사용 이 점차 증가하고 있으며, 디스플레이 기술의 발전과 고화 질 영상에 대한 사용자의 요구에 힘입어 모바일 기기에서 도 1080p full-HD 영상에 대한 실시간 재생이 이루어지고 있다. 또한, 고해상도 영상에 대한 필요성이 기존의 full-HD 뿐만 아니라 8K, 32K로 확대되고 있으며, 초당 30장의 화 면 재생율은 초당 60장까지 요구되고 있다. 이러한 요구에 발맞춰 ITU-T video coding expert group (VCEG)과 ISO/

IEC의 moving picture expert group (MPEG)은 H.264/AVC 의 High profile 대비 두 배의 부호화 효율을 갖는 차세대 비디오 압축 기술인 HEVC 표준화를 시작하였다[1]. 차세 대 비디오 압축기술인 HEVC는 2010년 4월 1차 회의를 시 작으로 본격적으로 진행되어 2012년 현재까지 표준화가 진 행 중에 있다. 또한, 진행 중인 압축표준을 기반으로 개발되 는 참조소프트웨어인 HM을 공표하였다. HEVC 참조소프 트웨어인 HM을 기반으로 기존의 표준 압축기술인 H.264/

AVC의 참조 소프트웨어인 JM과 비교하였을 때, HEVC는 압축 성능 측면에서 H.264/AVC에 비해 약 40~50%의 높은 성능효율을 보인다^[2-3]. 이러한 부호화 효율 향상을 위한 다 양한 기술들이 제안되었으며^[4-8], 이 중 쿼드-트리기반의 가 변적인 CU 부호화 구조는 HEVC의 대표적 특징 기술로 꼽 을 수 있다. 그러나 HEVC 부호화기는 H.264/AVC 부호화 기에 비해 2배 이상 높은 복잡도를 가지며, 이는 개선되어 야할 문제점으로 지적되고 있다. 이러한 부호화기의 높은 복잡도를 개선하기 위해 많은 기관들에서 복잡도 개선 및 고속 부호화를 위한 기술들을 제안하고 있다^[9-12].

또한, 차세대 비디오 압축 기술을 위한 표준화 회의에서 는 HEVC 확장(extension) 표준화에 관한 논의가 지속되었 으며, HEVC를 기반으로 3D, 다시점 비디오 뿐 만 아니라 계층 간 비디오 압축 기술 등이 논의에 포함되었다. 2012년 7월 10차 회의에서 SVC에 대한 CfP(call for proposal)을 시작으로 앞으로 HEVC 확장기술에 대한 표준화가 가속화 될 것으로 보인다. 공간․시간․품질 간 계층적 부호화를 지원하기 위한 SVC기술을 HEVC에 적용할 경우, 기존의 H.264/AVC 기반 계층 간 비디오 압축 표준에서 지원하지

못하던 UHD급 비디오를 포함하여, 시장의 추세에 따라 향 후 수년 내 위성 DCATV, IPTV 그리고 지상파 등 다양한 방송망의 환경에 따라 서비스를 지원할 수 있을 것으로 기 대되고 있다. 하지만, SVC는 모든 계층의 비디오를 부호화 하고 계층 간의 예측 방법을 사용하여 부호화 효율을 높이 는 기술이 요구되기 때문에 부호화기의 복잡도가 높다. 본 논문에서는 HEVC 기반 계층적 비디오 압축 기술에서 발 생하는 높은 복잡도 문제를 해결하고자 향상계층의 고속 CU 깊이 결정방법을 제안한다.

본 논문의 구성은 다음과 같다. 2장에서는 HEVC의 CU 깊이 결정 방법에 대하여 살펴보고, 3장에서는 제안하는 CU 깊이 예측을 통한 향상계층의 고속 CU 깊이 결정방법 에 대하여 소개 한다. 이후, 4장에서는 제안하는 기술의 실 험결과를 제시하고, 5장에서 본 논문의 결론을 맺는다.

Ⅱ. 차세대 압축 표준기반의 CU 깊이 결정 방법

본 논문은 현재 표준화가 진행되고 있는 차세대 압축 표 준기반의 계층적 비디오 기술에 대한 알고리듬을 제안하기 때문에 각 계층은 차세대 압축 표준기술을 기반으로 부호 화한다고 가정한다. 차세대 압축 표준의 참조소프트웨어인 HM은 계층적 부호화 구조 및 변환 블록 구조를 위하여 coding unit (CU), prediction unit (PU) 및 transform unit (TU)을 정의한다.

HEVC는 기존의 MPEG-2,4, H.264/AVC 비디오 표준에 서 사용된 매크로블록에서 보`다 세분화된 CU, PU, TU를 정의한다. CU는 부호화가 이루어지는 기본단위로 가장 큰 크기의 CU를 largest CU (LCU)로 정의하며, 가장 작은 크 기의 CU를 smallest CU (SCU)로 정의한다. HEVC 기술 제안 초기에는 128×128 크기의 LCU와 8×8 크기의 SCU 가 사용되었으나, 이후 복잡도 대비 부호화 성능을 비교를 통해 64×64 LCU와 8×8 SCU가 사용되고 있다. LCU는 하나 이상의 더 작은 크기의 CU로 나눠질 수 있으며 쿼드- 트리 형태로 구성된다. 또한, 하나의 CU는 다시 하나 이상 의 PU로 나눠질 수 있으며 PU는 예측된 모양에 따라 정방

(3)

그림 2. HEVC의 재귀적 CU 분할 구조 Fig. 2. Recursive CU partition of HEVC 그림 1. HEVC의 계층적 블록 구조

Fig. 1. Hierarchical block structure of HEVC

형뿐만 아니라 장방형으로 나눠질 수 있다. 이와 독립적으 로 CU는 다시 정방형의 TU로 나뉘어 변환 및 양자화를 수 행한다. HEVC는 전술한 다양한 크기의 CU, PU 및 TU의 적용을 통하여 향상된 부호화 효율을 얻을 수 있다^[13]. 그림 1은 HEVC에서 정의하는 쿼드-트리기반 계층적 블록구조 를 나타낸다.

그림 2는 율-왜곡 최적화를 수행하여 하나의 LCU가 다 양한 크기의 CU로 나눠지는 과정의 예이며, 하나의 CU가 더 작은 크기의 CU로 나눠질 때 split_flag를 부호화한다.

Split_flag는 비트스트림에 포함되어 전송되며, 복호화기에 서는 이를 통하여 CU의 분할 여부를 판단할 수 있다. 하 나의 CU는 율-왜곡 최적화 수행을 통해 최적의 부호화

(4)

효율 성능을 갖는 CU 깊이를 결정하게 된다. CU 깊이란, LCU의 깊이 0을 기준으로 CU가 4개의 ^× 서브-CU 로 분할됨에 따라 증가하며, 이는 쿼드-트리구조 내에서 CU가 분할된 정도를 나타내는 수치이다. 예를 들어 CU 깊이가 n인 CU를 , 의 RDcost를 ^이라고 하였을 때, ^이 의 서브-CU인  들의 RDcost 합, ^ ,보다 큰 값을 가지면 split_flag는 1 이 되고 의 4개의   로 분할된다. 반대로 ^

이 ^ 보다 작은 값을 갖는다면 split_flag는 0이 되 고 _으로 부호화 된다.

그림 3은 HEVC의 CU깊이 정보를 결정하는 의사코드이 다. 깊이가 n인 CU, ,는 2N×2N의 MERGE, 2N×2N, N×2N, 2N×N 화면 간 예측모드 및 2N×2N 화면 내 예측 모드의 RDcost를 율-왜곡 최적화를 통해 순차적으로 구한 다. 추가적으로 n이 HEVC에서 정의하는 최대 CU 깊이인 경우, N×N 화면 내 예측모드에 대한 RDcost를 구한다. 해

/*Input : current depth Output : Best CU status*/

BEGIN

Calculate RDcost of MERGE_2Nx2N Calculate RDcost of INTER_2Nx2N Calculate RDcost of INTER_Nx2N Calculate RDcost of INTER_2NxN Calculate RDcost of INTRA_2Nx2N IF current depth == max depth THEN Calculate RDcost of INTRA_NxN ENDIF

Select best RDcost update its CU status

IF current depth != max depth THEN FOR PartitionIndex=0 to 3

DO current depth = current depth +1 GOTO BEGIN sub-CU

ENDFOR

acccumulated RDcost of the sub-CUs Compare best RDcost of current depth update CU status

ENDIF END

그림 3. HM4.0 CU 깊이 결정방법 의사코드

Fig. 3. Pseudo code determining CU depth for HM4.0

당 모드들에 대한 RDcost를 모두 구하면, 이들 중 가장 작은 RDcost를 가지는 예측모드를 저장한다. 이 후 n이 최대 CU 깊이가 아니라면 N×N크기의 4개 CU로 분할하여 재귀적 으로 동일한 순서로 n+1깊이의 모든 예측 모드에 대하여 RDcost를 계산한다. 전술한 율-왜곡 최적화 과정에서 계산 된 RDcost를 기반으로 가장 효율적인 CU 깊이를 결정한다.

Ⅲ. CU 깊이 예측을 통한 HEVC기반 SVC 고속 부호화 기법

본 논문에서는 HEVC기반 SVC 부호화기의 복잡도 감소 를 위하여 HEVC의 쿼드-트리기반 CU 구조의 특징을 이용 한 고속화 기법을 제안한다. 제안하는 고속화 기법은 상위 계층의 CU 깊이 결정과정에서 하위 계층의 CU 깊이를 이 용하여 부호화를 수행함으로써 율-왜곡 최적화 횟수를 줄 이는 기법이다. 향상 계층의 CU는 참조 계층의 대응되는 CU 깊이정보를 이용하여, 참조 계층의 CU 깊이를 기준으 로 ±1의 CU 깊이에서 율-왜곡 최적화를 통한 최적의 CU 깊이를 계산한다.

1. 계층 간 최적의 CU 깊이 일치성과 계산 복잡도

본 절에서는 참조 계층의 CU 깊이를 이용한 고속 부호화 를 통해 절감되는 복잡도를 제시하고, 율-왜곡 최적화를 통 해 획득한 계층 간 최적의 CU 깊이 일치성을 살펴본다. 먼 저, 참조 계층의 CU 깊이를 이용하는 제안하는 알고리듬의 복잡도 개선은 다음과 같다. 은 CU 깊이가 n인 참조 계층의 CU를 의미하며 은 CU 깊이가 n인 향상 계층 의 CU를 의미한다. 수식 (1)은 본 논문의 제안하는 기법으 로 성능 향상을 얻기 위해 만족하여야 하는 조건을 수식으 로 나타낸 것이다. 수식(1)에서 , _는 참조 계층의 CU 깊이를 이용하여 제한한 향상 계층의 CU 깊이 최솟값, 최 댓값을 나타낸다. 는 HEVC에서 정의한 향상계층의 최 대 깊이 정보를 나타낸다. 또한, 는 제안하는 기법의 사용 으로 추가되는 메모리 연산 및 조건 연산으로 인해 발생하 는 복잡도를 의미한다.

(5)

그림 4. 참조 계층과 향상 계층의 CU 깊이 유사성

Fig. 4. Similarity between reference layer and enhancement layer in terms of CU depth

 



 _^ 

 ≤ 

  

_

 _^

(1)

수식 (2)는 본 논문에서 제안하는 참조계층의 CU 깊이 를 이용한 향상 계층의 CU 깊이 결정기법을 통해 개선할 수 있는 LCU 복잡도,,를 나타내며, 수식 (3)은 향 상 계층에서 절감되는 전체 복잡도,



,를 나타낸 다. 수식 (3)의 는 비디오 영상의 Slice의 개수를 의미 하며, 는 Slice 내부의 LCU 개수를 의미한다. 또한

_{}^ 는 k번째 slice에 위치하는 n번째 LCU의 절감되

는 복잡도를 의미한다.

_{}

  



 _^ 

 



 _^  

(2)

  

 _{  }^^{}_{  }^^^^  

  ₍₃₎

Class 상위 계층 CU깊이 하위 계층 CU 깊이 확률(%)일치

제안하는 기법의 CU 깊이 일치

확률(%)

B

0 46 88.7

1 38.4 91.2

2 34.8 94.1

3 52.1 82.4

C

0 39.9 70.4

1 21.3 90.3

2 41.4 97.2

3 56.8 88.6

D

0 33.7 66.9

1 21.2 92.6

2 37.9 85.3

3 55.6 88.3

표 1. 계층 간 CU 깊이 유사성

Table 1. CU depth similarity of inter layers

그림 4는 율-왜곡 최적화를 통해 획득된 참조 계층과 향

(6)

그림 6. 계층 간 대응하는 CU 위치 Fig. 6. Inter-layer CU mapping position

상 계층의 CU 깊이를 나타낸다. 그림 4에서 나타나는 바와 같이, 참조 계층과 향상 계층의 CU 깊이는 높은 유사성을 갖으며, 실험을 통하여 계층 간 CU 깊이의 유사성을 측정 하면 표 1와 같다. 표 1에서는 평균 39.93%의 계층 간 CU 깊이 일치 확률을 나타냈다.

본 논문에서는 전술한 계층 간 CU 깊이의 유사성을 바 탕으로 참조 계층의 CU 깊이를 향상 계층의 CU 부호화 깊이로 사용함으로써 율-왜곡 최적화 횟수를 감소시키는 기법을 제안한다. 이때, 참조 계층의 CU 깊이를 그대로 사용할 경우, 계층 간 CU 깊이 일치 확률은 약 40%에 불 과하므로, 제안하는 기법에서는 참조 계층의 CU 깊이를 이용하여 향상 계층의 율-왜곡 최적화 수행 CU 깊이를 일 정범위로 확대한다. 통계적으로 참조 계층의 CU 깊이가 n일 때, 향상 계층에서 n-1의 CU 깊이를 갖는 확률은 평균 28.7%로 나타났으며, n+1의 CU 깊이를 갖는 확률은 평균 27.6%로 나타났다. 이러한 통계적 유사성을 바탕으로 n-1~n+1로 향상 계층의 CU 깊이 범위를 확대할 경우 계층 간 CU 깊이의 일치 확률은 평균 86.33%로 크게 증가한다.

참조 계층의 CU 깊이 정보를 사용하여 향상 계층에서 율- 왜곡 최적화 CU 깊이를 제한 할 경우, 향상 계층에서 낮은 복잡도로 비교적 정확한 부호화를 수행할 수 있으며, 최소 한의 화질 열화로 높은 부호화 복잡도를 개선할 수 있다.

표 1은 율-왜곡 최적화를 통해 획득한 계층 간 CU 깊이 일치성과 본 논문에서 제안하는 기법의 CU 깊이 일치성

을 나타낸다.

2. 향상 계층 CU 깊이 예측을 위한 대응되는 참조 계층 CU 결정 기법

본 논문은 3.1절의 통계를 바탕으로 향상 계층에서 발생 하는 CU 부호화 복잡도를 감소시키기 위하여, 부호화하려 는 향상 계층의 CU 깊이를 참조 계층의 대응되는 CU 에서 예측하는 방법을 제안한다. 제안하는 방법은 부호화 하려

/*Input : LCU index of the enhancement-layer Output : Predicted CU depth*/

BEGIN

IF LCU != last LCU THEN

Calculate LCU index of the base-layer

Calculate CU position in the LCU of the base-layer

FOR PartitionIndex=0 to PartitionNumber of the enhancement-layer CU DO get the CU depth of the base-layer CU

ENDFOR ENDIF

END

그림 5. 향상계층의 CU에 대응하는 참조계층 CU 계산 방법 의사코드 Fig. 5. Pseudo code determining CU position of reference layer with CU position of enhancement layer

(7)

그림 7. 향상 계층의 CU에 대응하는 참조 계층 CU위치 역방향-맵핑 방법

Fig. 7. Method of backward mapping to position of reference CU from position of enhanced CU 는 향상 계층의 CU의 깊이 정보를 예측하기 위하여 선행적

으로 대응되는 참조 계층의 CU를 찾는 알고리듬이 요구된 다. 그림 5는 향상 계층의 CU에 대응되는 참조 계층의 CU 를 결정하는 알고리듬의 의사 코드이다. 먼저, 부호화 하려 는 향상 계층의 LCU 인덱스를 이용하여 대응되는 참조 계 층의 LCU 인덱스를 계산하고 참조 LCU로 결정한다. 또한, 결정된 참조 계층의 LCU내에서 대응되는 CU 위치를 계산 하여, 해당 CU의 깊이를 향상 계층의 CU 깊이로 예측 한 다. 그림 6은 서로 다른 크기의 HEVC에서 표준영상들을 이용하여 계층 간 비디오를 부호화할 경우 향상 계층의 CU 와 대응되는 참조 계층의 CU의 위치를 나타낸다.

향상 계층의 CU는 역방향-맵핑 (backward-mapping) 방 법을 사용하여 대응하는 참조 계층의 CU를 결정한다. 정 방향-맵핑 (forward-mapping) 방법을 사용하여 향상계층 의 CU 깊이를 예측할 때, 참조 계층과 향상 계층의 CU 개수가 비례하지 않으면 대응되는 CU 위치를 예측하지 못하는 경우가 발생하기 때문에 역방향-맵핑 방법을 사용 한다. 그림 7은 향상 계층의 크기가 448×256, 참조 계층 의 크기가 256×128 때의 예이다. 참조계층의 3번 LCU는 향상 계층의 6번, 13번 LCU에 대응된다. 그러므로 향상 계층의 6번 LCU는 참조 계층의 3번 LCU에서 대응되는 CU의 깊이를 사용하여 부호화를 수행한다. 이때, 예측 CU 깊이 n을 기준으로 n-1 깊이부터 n+1 하위 깊이까지 율-왜곡 최적화를 통하여 최적의 CU를 결정한다. 위의

CU 깊이 정보 예측은 프레임 단위로 수행되며, 한 번의 수행으로 향상 계층의 모든 CU는 대응되는 참조 계층의 CU 깊이를 예측한다.

3. 예측된 CU 깊이 정보를 이용한 고속 CU 결정 기법

참조 계층의 CU 깊이를 통해 예측된 CU 깊이는 율-왜곡 최적화가 수행되는 CU 깊이를 제한하여 최적의 CU 결정 에 사용된다. 그림 8는 예측된 CU 깊이를 이용하여 최적의 CU를 결정하는 의사코드이다. 예측 깊이 n을 갖는 CU,

_,은_{  }_부터_{  }일 때 부호화를 수행하게 된

다. 즉, n-1 깊이보다 작은 깊이에 해당하는 모드들에 대한 율-왜곡 최적화를 수행하지 않고 n-1 깊이와 동일할 때까지 4개의 서브-CU로 분할하게 된다. 또한, n+1 깊이보다 큰 깊이의 모드는 부호화를 수행하지 않는다.

그림 9는 3.2절의 방법을 통하여 예측된 CU 깊이를 이용 해 HEVC기반 SVC 부호화기에서 제한된 CU 깊이에서만 율-왜곡 최적화를 수행하여 고속으로 CU를 결정하는 방법 의 예이다. 예측된 CU 깊이가 1 일 경우 0~2까지의 제한된 CU 깊이에서 율-왜곡 최적화를 통하여 최적의 CU를 결정 하는 것을 나타낸다. 즉, 향상계층의 CU깊이 0~2까지의 제 한된 범위 내에서 율-왜곡 최적화를 수행하고 CU 깊이가 3인 경우, 부호화를 수행하지 않는다.

(8)

/*Input : Predicted CU depth Output : Best RDcost CU status */

BEGIN

predicted min CU depth = predict CU depth-1 predicted max CU depth = predict CU depth+1

IF predicted CU depth == 0 THEN predicted min CU depth = 0 ENDIF

IF predicted CU depth == 3 THEN predicted max CU depth = 3 ENDIF

IF current CU depth >= predicted min CU depth information from base-layer CU THEN Calculate RDcost of MERGE_2Nx2N

Calculate RDcost of INTER_2Nx2N Calculate RDcost of INTER_Nx2N Calculate RDcost of INTER_2NxN Calculate RDcost of INTRA_2Nx2N IF　current CU depth == max depth THEN Calculate RDcost of INTRA_NxN ENDIF

Select best RDcost update best CU depth status

IF　depth != predicted max depth THEN FOR PartitionIndex=0 to 3

DO depth = depth+1 GOTO BEGIN next depth CU ENDFOR

ENDIF END

그림 8. 제안하는 CU 깊이 예측을 통한 최적의 CU 결정 의사코드

Fig. 8. Pseudo code representing the proposed method determining best CU by predicting CU depth

그림 9. 예측된 CU를 이용하여 향상계층의 고속 CU깊이 결정 예 Fig. 9. An example to determine best CU with predicted CU depth

(9)

Reference layer Enhance layer

CPU Intel core i7

RAM 4GB

Coding Mode Random access high efficiency Low delay P high efficiency Reference Software Simulcast SVC based on HM4.0

Compiler MS visual studio 2008 release

# iteration 300

Measurement Encoding time/ Bitrate/ PSNR

Condition

Sequence size

960×540 1920×1080

416×240 832×480

208×120 416×240

QP

22 22

27 27

32 32

37 37

MAX CU size 64×64 64×64

MERGE On On

Deblocking Filter On On

SAO On On

Quad-tree max TU depth 3 3

표 2. 실험 조건 Table 2. Test conditions

Ⅳ. 실험 결과

제안하는 CU 깊이 예측을 통한 HEVC기반 SVC 고속 부호화 기법의 검증을 위하여, 본 논문은 HEVC 공통 실험 조건을 참고하였으며, random access – high efficiency (RA-HE), low delay P – high efficiency (LD_P-HE) 조건 에서 실험을 진행하였다. 실험을 위해 제안하는 방법과 HM 4.0 기반의 simulcast로 동작하는 SVC 부호화기 소프 트웨어를 비교하여 BD-bitrate와 시간 감소율을 계산하였 다. 시간 감소율에 대한 수식은 수식(4)와 같다.

∆_{ }

    

    _{ }

(4)

수식 (4)에서     는 각 계층의 부호화가 HM 4.0

기반 simulcast 방식의 HEVC SVC 부호화 시간이며,

_{ }는 HM 4.0기반 simulcast 방식의 HEVC SVC 부 호화기에 제안하는 CU 깊이 예측을 이용한 고속 부호화 기법을 적용한 부호화 시간이다. 실험은 기존의 방법과 제 안하는 방법 모두 같은 성능을 갖는 PC에서 측정한 것이며, 실험 조건은 표 2와 같다.

표 3,4,5는 각각 RA-HE 환경에서 기존의 방법과 제안하 는 방법의 bitrate, PSNR 및 부호화 시간을 나타낸 것이다.

표 6은 RA-HE 조건에서 기존의 방법과 제안하는 방법을 비교한 BD-Bitrate와 감소된 복잡도를 나타낸다. RA-HE 조건에서 제안하는 방법은 기존의 방법에 비하여 Class B 는 1.49% 비트율 증가와 약 32%의 복잡도 감소율, Class C는 1.57% 비트율 증가와 약 25% 복잡도 감소율 그리고 Class D는 1.16% 비트율 증가와 약 23% 복잡도 감소율을 보인다.

(10)

영상 계층　 QP

ClassB

기존의 방법 제안하는 방법

Bitrate PSNR(Y) Time Bitrate PSNR(Y) Time

BQTerrace

layer0

22 3479.73 41.35

-

3479.73 41.35

27 1613.16 38.41 1613.16 38.41 -

32 817.96 35.40 817.96 35.40

37 420.85 32.29 420.85 32.29

layer1

22 47091.42 37.98 54383.98 46654.92 37.93 39343.21

27 8869.50 35.63 41019.09 8847.10 35.61 27917.61

32 2891.18 34.18 36698.88 2895.34 34.15 23592.08

37 1322.35 32.48 34512.08 1327.35 32.45 21348.87

ParkScene

layer0

22 2221.35 41.10

-

2221.35 41.10

27 1079.19 37.59 1079.19 37.59 -

32 512.87 34.25 512.87 34.25

37 229.13 31.20 229.13 31.20

layer1

22 7944.08 40.37 20190.86 7977.41 40.35 14623.49 27 3466.48 37.78 17685.47 3483.01 37.74 12423.26 32 1576.04 35.10 16173.96 1585.62 35.06 10972.78

37 711.66 32.49 15143.71 716.12 32.47 9884.13

Cactus

layer0

22 4451.56 41.80

-

4451.56 41.80

27 2302.06 38.41 2302.06 38.41 -

32 1182.12 35.06 1182.12 35.06

37 600.84 31.99 600.84 31.99

layer1

22 19804.76 38.80 62272.95 19838.62 38.79 44653.02

27 6450.73 37.25 52524.63 6499.44 37.24 37179.17

32 3116.07 35.39 48418.21 3142.27 35.36 33722.47

37 1584.44 33.18 45678.87 1596.99 33.15 30931.62

Kimono

layer0

22 2084.91 42.95

-

2084.91 42.95

27 1021.93 39.41 1021.93 39.41 -

32 498.21 36.11 498.21 36.11

37 236.64 33.16 236.64 33.16

layer1

22 5083.47 42.01 20222.36 5118.97 42.00 15117.52

27 2384.96 40.17 18017.36 2403.22 40.15 13141.99

32 1180.01 37.86 16502.79 1190.63 37.83 11615.53

37 594.10 35.41 15422.75 599.33 35.39 10398.85

표 3. Random Access 조건에서 Class B 영상의 기존의 방법과 제안하는 방법의 결과

Table 3. Performances of a conventional and the proposed method for Class B on Random Access condition

영상 계층　 QP

Class C

RaceHorses

layer0

22 1319.00 40.06

-

1319.00 40.06

27 652.54 36.20 652.54 36.20 -

32 321.37 32.73 321.37 32.73

37 157.41 29.85 157.41 29.85

layer1

22 5367.85 39.71 6525.76 5390.12 39.70 4932.04 27 2266.62 36.40 5559.66 2282.50 36.39 4281.32 32 1065.58 33.50 4877.21 1074.09 33.47 3817.72 37 507.88 30.69 4394.48 509.84 30.65 3413.66 표 4. Random Access 조건에서 Class C 영상의 기존의 방법과 제안하는 방법의 결과

Table 4. Performances of a conventional and the proposed method for Class C on Random Access condition

(11)

PartyScene

layer0

22 1627.38 40.12

-

1627.38 40.12

27 838.61 36.00 838.61 36.00 -

32 419.02 32.23 419.02 32.23

37 203.46 28.90 203.46 28.90

layer1

22 7725.56 38.81 8847.81 7760.24 38.79 6601.49 27 3599.40 35.23 7556.79 3628.40 35.20 5633.47 32 1721.16 31.99 6706.16 1733.13 31.93 4961.62 37 812.63 28.97 6127.47 816.26 28.91 4425.76

BQMall

layer0

22 1213.00 41.93

-

1213.00 41.93

27 659.44 38.18 659.44 38.18 -

32 360.54 34.60 360.54 34.60

37 198.91 31.30 198.91 31.30

layer1

22 4112.86 40.62 14566.94 4141.42 40.61 10745.06 27 1982.82 38.11 12925.15 2000.26 38.09 9551.52 32 1021.67 35.37 11857.07 1031.53 35.33 8649.58 37 539.37 32.57 11100.14 545.43 32.52 7975.57

BasketballDrill

layer0

22 1356.90 41.13

-

1356.90 41.13

27 698.13 37.39 698.13 37.39 -

32 365.50 34.04 365.50 34.04

37 197.86 31.08 197.86 31.08

layer1

22 3833.31 40.85 8106.49 3866.23 40.83 6076.51 27 1861.06 37.67 7138.82 1878.27 37.64 5322.68 32 930.40 34.83 6428.13 939.14 34.79 4778.02 37 492.71 32.41 5890.27 499.54 32.40 4353.31

영상 계층　 QP

Class D

BasketballPass

layer0

22 552.18 40.76

-

552.18 40.76

27 291.22 36.66 291.22 36.66 -

32 153.29 33.08 153.29 33.08

37 83.44 30.11 83.44 30.11

layer1

22 1661.38 41.29 4228.33 1673.45 41.27 3278.12

27 840.95 37.45 3775.74 848.01 37.42 2929.84

32 427.16 34.08 3399.21 430.45 34.03 2670.24

37 222.08 31.19 3102.58 224.37 31.14 2440.70

BlowingBubbles

layer0

22 389.29 40.12

-

389.29 40.12

27 203.11 36.04 203.11 36.04 -

32 104.44 32.29 104.44 32.29

37 53.39 28.96 53.39 28.96

layer1

22 1879.60 38.71 1993.92 1886.90 38.70 1529.55

27 877.30 35.22 1699.76 883.06 35.20 1323.30

32 412.49 31.89 1507.70 413.54 31.84 1185.59

37 191.03 28.87 1373.71 191.16 28.84 1062.49

BQSquare

layer0

22 277.86 40.40

-

277.86 40.40

27 149.19 36.81 149.19 36.81 -

32 87.66 33.41 87.66 33.41

37 53.96 30.00 53.96 30.00

layer1

22 1962.87 38.68 2372.06 1961.03 38.65 1841.34

27 807.44 35.25 1982.45 809.36 35.23 1503.42

32 376.91 32.34 1780.55 378.54 32.32 1340.43

37 192.93 29.64 1657.07 192.63 29.61 1235.96

표 5. Random Access 조건에서 Class D 영상의 기존의 방법과 제안하는 방법의 결과

Table 5. Performances of a conventional and the proposed method for Class D on Random Access condition

(12)

Class B BD-PSNR BD-Bitrate

layer 0 0 0

layer 1 -0.04 1.49

Time

22 27.19

27 29.49

32 32.70

37 37.16

AVG 31.64

Class C BD-PSNR BD-Bitrate

layer 0 0 0

layer 1 -0.06 1.58

Time

22 25.27

27 25.00

32 25.11

37 26.08

AVG 25.37

Class D BD-PSNR BD-Bitrate

layer 0 0 0

layer 1 -0.05 1.17

Time

22 22.71

27 22.91

32 22.51

37 23.13

AVG 22.81

표 6. Random Access 조건에서 제안하는 방법의 BDBitrate, BDPSNR 및 복잡도 개선율

Table 6. Performance of the proposed method in terms of BDBitrate, BDPSNR, and ratio of enhanced computational complexity on Random Access condition

영상 계층　 QP

ClassB

BitRate PSNR(Y) Time BitRate PSNR(Y) Time

BQTerrace

layer0

22 4126.34 40.67

-

4126.34 40.67

27 1492.07 37.44 1492.07 37.44 -

32 598.12 34.32 598.12 34.32

37 258.08 31.32 258.08 31.32

layer1

22 58521.96 38.36 47436.81 58878.46 38.35 35818.60

27 9515.95 35.25 33642.38 9485.99 35.21 24835.54

32 2415.98 33.53 28093.76 2429.96 33.51 19517.09

37 880.41 31.50 25641.89 887.64 31.47 16925.27

표 7. Low delay P 조건에서 Class B 영상의 기존의 방법과 제안하는 방법의 결과

Table 7. Performances of a conventional and the proposed method for Class B on Low Delay P condition 표 6를 보면 RA-HE 조건에서 평균 0.05%의 화질 열화

를 가지면서 약 27% 부호화 속도 개선결과를 확인 할 수 있다. 특히 부호화 영상이 클수록 부호화 속도개선 결과가 좋은 것을 확인 할 수 있다.

표 7,8,9는 LD_P-HE 환경에서 기존의 방법과 제안하는 방법의 bitrate, PSNR 및 부호화 시간을 나타낸다. Low de-

lay 환경에서 제안하는 방법은 기존의 방법에 비하여 Class B에서 1.61% 비트율 증가와 함께 약 28%의 복잡도 감소 율, Class C에서 1.5% 비트율 증가와 약 24% 복잡도 감소 율 그리고 Class D에서 1.16% 비트율 증가와 약 22% 복잡 도 감소율을 보인다.

(13)

ParkScene

layer0

22 2323.66 40.32

-　

2323.66 40.32

-　

27 1017.20 36.66 1017.20 36.66

32 446.87 33.34 446.87 33.34

37 509.93 31.19 509.93 31.19

layer1

22 8456.62 39.97 25797.06 8500.13 39.96 19303.89 27 3324.42 37.06 21340.62 3352.43 37.04 15891.76 32 1398.11 34.26 18741.87 1411.66 34.23 13439.86

37 601.32 31.67 17141.67 606.19 31.64 11607.53

Cactus

layer0

22 4583.64 41.23

-　

4583.64 41.23

-　

27 2173.33 37.58 2173.33 37.58

32 1042.46 34.19 1042.46 34.19

37 509.93 31.19 509.93 31.19

layer1

22 21710.52 38.69 51780.36 21844.21 38.67 37784.78 27 6275.52 36.73 41972.78 6331.37 36.72 30665.16 32 2757.35 34.58 37411.24 2788.40 34.57 27118.70 37 1348.00 32.28 34634.60 1360.54　　32.36 24608.07　

Kimono

layer0

22 2244.18 42.62

-

2244.18 42.62

27 1063.17 38.81 1063.17 38.81 -　

32 486.32 35.31 486.32 35.31

37 223.00 32.37 223.00 32.37

layer1

22 5370.87 41.91 16588.69 5399.36 41.90 12904.81 27 2473.22 39.89 14227.77 2491.81 39.88 10883.94

32 1183.45 37.32 12620.59 1195.00 37.31 9344.20

37 573.89 34.71 11522.73 578.24 34.69 8146.51

영상 계층　 QP

Class C

RaceHorses

layer0

22 1399.12 39.96

-　

1399.12 39.96

27 657.91 35.86 657.91 35.86 -

32 307.91 32.25 307.91 32.25

37 147.92 29.41 147.92 29.41

layer1

22 6084.53 40.09 5717.62 6108.28 40.09 4322.60

27 2395.63 36.24 4738.23 2411.34 36.23 3627.18

32 1040.46 33.05 3977.66 1050.30 33.03 3132.83

37 471.18 30.21 3460.46 474.65 30.18 2744.28

PartyScene

layer0

22 1822.70 39.06

-

1822.70 39.06

-　

27 840.22 34.99 840.22 34.99

32 377.44 31.22 377.44 31.22

37 169.25 27.95 169.25 27.95

layer1

22 9612.31 38.22 8287.05 9647.26 38.21 6202.40

27 3845.06 34.28 6521.97 3863.04 34.26 4998.01

32 1620.22 30.96 5417.13 1635.26 30.93 4162.20

37 675.56 27.81 4684.24 681.19 27.77 3502.10

BQMall

layer0

22 1300.80 41.03

-

1300.80 41.03

27 649.51 37.14 649.51 37.14 -　

32 333.99 33.56 333.99 33.56

37 177.06 30.28 177.06 30.28

layer1

22 4527.02 40.21 12307.34 4558.78 40.20 9329.25

27 1975.18 37.33 10495.95 1998.06 37.31 7905.75

32 942.13 34.40 9263.72 956.76 34.38 6959.25

37 474.36 31.55 8458.30 481.80 31.50 6276.67

표 8. Low Delay P 조건에서 Class C 영상의 기존의 방법과 제안하는 방법의 결과

Table 8. Performances of a conventional and the proposed method for Class C on Low Delay condition

(14)

BasketballDrill

layer0

22 1415.28 40.63

-

1415.28 40.63

27 704.23 36.84 704.23 36.84 -

32 348.46 33.41 348.46 33.41

37 181.84 30.42 181.84 30.42

layer1

22 4077.58 40.22 6926.27 4122.86 40.20 5228.64

27 1891.57 36.97 5868.43 1910.60 36.94 4466.10

32 900.54 34.12 5095.05 911.32 34.10 3870.66

37 459.77 31.61 4539.67 465.90 31.57 3452.44

영상 계층　 QP

Class D

BasketballPass

layer0

22 595.63 40.50

-　

595.63 40.50

-　

27 308.13 36.21 308.13 36.21

32 156.65 32.47 156.65 32.47

37 82.53 29.41 82.53 29.41

layer1

22 1806.03 41.04 3582.83 1817.83 41.02 2731.83

27 892.36 37.08 3155.48 899.94 37.06 2405.26

32 434.31 33.58 2711.58 439.00 33.55 2171.70

37 219.64 30.64 2436.88 222.31 30.61 1956.70

BlowingBubbles

layer0

22 410.69 38.93

-　

410.69 38.93

27 192.80 34.90 192.80 34.90 -　

32 89.70 31.24 89.70 31.24

37 42.86 28.02 42.86 28.02

layer1

22 2182.42 37.98 1810.82 2185.66 37.97 1386.77

27 882.83 34.20 1423.00 887.36 34.18 1132.98

32 369.44 30.80 1187.10 372.24 30.77 940.41

37 155.07 27.80 1036.11 155.92 27.77 823.85

BQSquare

layer0

22 397.63 38.99

-　

397.63 38.99

27 152.91 35.20 152.91 35.20 -　

32 67.94 31.90 67.94 31.90

37 35.67 28.69 35.67 28.69

layer1

22 2818.83 38.19 2250.55 2826.93 38.19 1727.95

27 962.25 34.05 1753.63 960.77 34.01 1390.09

32 351.84 30.99 1447.79 351.91 30.96 1144.53

37 135.30 28.10 1281.14 135.40 28.07 982.44

표 9. Low Delay P 조건에서 Class D 영상의 기존의 방법과 제안하는 방법의 결과

Table 9. Performances of a conventional and the proposed method for Class D on Low Delay condition

Class B BD-PSNR BD-Bitrate

layer 0 0 0

layer 1 -0.04 1.61

Time

22 24.72

27 25.54

32 28.91

37 33.96

AVG 28.28

Class C BD-PSNR BD-Bitrate

layer 0 0 0

layer 1 -0.06 1.50

표 10. Low delay P 조건에서 제안하는 방법의 BDBitrate, BDPSNR 및 복잡도 개선율

Table 10. Performance of the proposed method in terms of BDBitrate, BDPSNR, and ratio of enhanced computational complexity on Low Delay P condition