이원준 외 1인: VVC의 화면 내 예측에서 적응적 TBC를 사용하는 방법 109 (Won Jun Lee et al.: Adaptive TBC in Intra Prediction on Versatile Video Coding)
VVC 의 화면 내 예측에서 적응적 TBC를 사용하는 방법
이 원 준a), 박 광 훈a)‡
Adaptive TBC in Intra Prediction on Versatile Video Coding
Won Jun Leea) and Gwang Hoon Parka)‡
요 약
VVC는 화면 내 예측에서 67가지의 모드를 사용한다. 이때 화면 내 예측 모드 표현을 위한 데이터를 감소시키기 위하여
MPM(Most Probable Mode)을 사용한다. 시그널링 되는 모드가 MPM 후보 내에 존재하는 경우 MPM 리스트의 해당 index를 송신하 는 방법을 사용하고 MPM 후보 내에 존재하지 않는 경우에는 TBC 부호화를 적용한다. 화면 내 예측에서 TBC가 적용될 때 MPM 후보를 제외하고 낮은 번호의 모드 순서대로 3가지가 선택되어 5비트로 부호화되고 나머지 모드는 6비트로 부호화된다. 본 논문에서 는 VVC의 화면 내 예측에서 사용하는 TBC 기술의 한계점을 알아보고 화면 내 예측에서 TBC를 사용할 때 기존의 방법보다 효율적 으로 부호화 할 수 있는 적응적인 방법을 제안한다. 그 결과 기존의 부호화 방법과 비교해서 overall 부호화 성능이 AI와 RA에서 각 각 0.01%, 0.04%의 부호화 효율이 증대되었다.
Abstract
VVC uses 67 modes in intra prediction. Most probable mode (MPM) is used to reduce data for the representation of intra prediction mode. If the mode to send exists in the MPM candidate, the index of the MPM list is transmitted. If it does not exist in the MPM candidate, TBC encoding is applied. When TBC is applied in intra prediction, three are selected in order of low number mode and coded into 5 bits. The remaining modes except the mode encoded by 5 bits are encoded by 6 bits. In this paper, we examine the limitations of the TBC used in VVC intra prediction and propose an adaptive method that can encode more efficiently than conventional methods when using TBC in intra prediction. As a result, the coding efficiency of the overall coding performance is 0.01% and 0.04% in AI and RA, respectively, compared with the conventional coding method.
Keyword : VVC(Versatile Video Coding), HEVC(High Efficiency Video Coding)/H.265, MPEG(Moving Picture Experts Group), JVET(Joint Video Exploration Team)
Copyright Ⓒ 2020 Korean Institute of Broadcast and Media Engineers. All rights reserved.
“This is an Open-Access article distributed under the terms of the Creative Commons BY-NC-ND (http://creativecommons.org/licenses/by-nc-nd/3.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited and not altered.”
a)경희대학교 컴퓨터공학과(Department of Computer Science and Engineering, Kyung Hee University)
‡Corresponding Author : 박광훈(Gwang Hoon Park) E-mail: [email protected] Tel: +82-31-201-3680
ORCID:https://orcid.org/0000-0001-7133-8285
․Manuscript received December 11, 2019; Revised January 23, 2020; Accepted January 23, 2020.
레터논문 (Letter Paper)
방송공학회논문지 제25권 제1호, 2020년 1월 (JBE Vol. 25, No. 1, January 2020) https://doi.org/10.5909/JBE.2020.25.1.109
ISSN 2287-9137 (Online) ISSN 1226-7953 (Print)
110 방송공학회논문지 제25권 제1호, 2020년 1월 (JBE Vol. 25, No. 1, January 2020)
Ⅰ. 서 론
VVC는 화면 내 예측에서 67가지의 모드를 사용한다. 부 호화기에서는 67가지의 모드 중 최적의 모드를 찾는 추정 과정을 거치고 최적으로 선택된 모드를 복호화기에 송신한 다. 이때 화면 내 예측 모드 표현 데이터를 감소시키기 위하 여 Most Probable Mode(MPM)를 사용한다. MPM은 부호 화기와 복호화기가 같은 방식으로 현재 블록 주변으로부터 화면 내 예측 모드 후보를 가져와 화면 내 예측 모드로 구성 된 리스트이다. VVC에서 MPM은 6개의 후보로 구성한다.
시그널링 되는 모드가 MPM 후보 내에 존재하는 경우 MPM 리스트의 해당 index를 송신하는 방법을 사용한다.
해당 모드가 MPM 후보 내에 존재하지 않는 경우 67개 모 드 중에 MPM 후보인 6개 모드를 제외하고 나머지 61개에 모드에 대한 TBC(Truncated Binary Encoding) 부호화를
적용한다
[1][2]. 본 논문에서는 VVC의 화면 내 예측에서
TBC 를 사용할 때 기존의 방법보다 효율적으로 부호화 할 수 있는 적응적인 방법을 제안한다.
Ⅱ. 기존 연구의 문제점
TBC는 2k-1 ≤ n ≤ 2k 을 만족할 때 2k – n 개의 심볼 은 k-1 개의 비트로, 그 외는 k 개의 비트로 표현된다. VVC 에서는 61개에 대한 모드에 대하여 TBC를 적용하므로 TBC의 공식에 의하여 3개의 모드는 5비트, 나머지 58개의 모드는 6비트로 코딩된다.
VVC의 화면 내 예측에서 사용되는 TBC가 적용되는 과 정은 화면 내 예측 모드 번호를 기준으로 오름차순으로 정 렬된 67가지의 모드에서 MPM 에 속하는 모드를 제외하고 앞에서부터 차례대로 0부터 60까지의 부호를 부여한다. 이 때 0, 1, 2 부호가 5비트로 부호화되고 나머지의 58가지의 모드에 부여된 부호는 6비트로 부호화된다. 따라서 MPM 후보를 제외하고 낮은 번호의 모드 순서로 3개가 선택되어 5 비트로 부호화된다. <그림1> 은 TBC를 적용했을 때 5비 트로 부호화되는 모드와 6비트로 부호화되는 모드가 나눠 지는 한 예시이다. 그러나 TBC가 적용되는 모드의 발생 확 률에 편향성이 존재하게 되면 발생확률이 높은 모드에 적
은 비트로 부호화 되는 부호를 부여하는 것이 압축효율을 보다 향상시킬 수 있다.
그림 1. VVC에서 TBC를 사용하여 각 모드가 부호화되는 예 Fig. 1. Example of encoding each mode from VVC to TBC
Ⅲ. 제안하는 적응적 TBC 방법
본 논문에서는 화면 내 예측에서 TBC를 적용한 모드를 시그널링함에 있어 더욱더 높은 효율을 보이기 위하여 영 상에 적응적으로 발생 빈도가 높은 모드에 적은 비트를 부여하여 성능을 개선하는 적응적인 TBC 모드 부호화 방 법을 제안한다. 적응적 TBC는 발생 확률이 높은 모드를 찾기 위하여 화면 내 예측 모드별 TBC 적용 시그널링 발 생 횟수를 저장하는 테이블을 구성한다. 해당 테이블은 부 호화기와 복호화기가 동일한 구성을 하기 위하여 현재 블 록이 부호화되기 전, 이미 복호화가 완료된 블록까지의 발 생횟수만을 저장한다. TBC를 적용하여 시그널링되는 모 드가 발생했을 때 해당 테이블에서 MPM 후보에 포함되 어있는 모드를 제외하고 발생횟수가 높은 순서대로 3가지 모드를 찾아 해당 모드에 5비트로 부호화되는 0, 1, 2 부호 를 부여한다. 프레임별로 독립적인 수행을 하기 위하여 발 생 횟수를 저장하는 테이블은 프레임 단위로 초기화를 진 행한다.
<그림2> 는 제안하는 적응적 TBC를 적용했을 때 5비트
로 부호화되는 모드와 6비트로 부호화되는 모드가 나눠지
는 한 예시이다. 본 예시에서는 MPM 후보에 포함되어있는
모드를 제외하고 발생횟수가 높은 순서대로 3가지 모드가
66, 62, 3 일 때 모드 66, 62, 3 이 부호 0, 1, 2를 할당받고
5비트로 부호화 되는 과정을 나타낸다.
이원준 외 1인: VVC의 화면 내 예측에서 적응적 TBC를 사용하는 방법 111 (Won Jun Lee et al.: Adaptive TBC in Intra Prediction on Versatile Video Coding)
부호화기에서 최적의 모드를 찾는 추정과정은 시그널링 되는 비트 및 예측 정밀도를 고려하여 최적의 모드를 찾는 다. 이때 추정 과정에서 고려하는 시그널링 비트를 계산하 기 위한 방법은 복잡도를 감소시키기 위하여 실제 시그널 링될 때 사용되는 방법이 아닌 다른 방법을 사용할 수 있다.
본 논문에서는 복잡도의 증가를 막기 위하여 추정과정에서 는 적응적 TBC과정 대신 기존의 TBC 방법을 사용하고 실 제 시그널링에서만 적응적 TBC를 적용한다.
Ⅳ. 실험 및 결과
본 논문에서 제안하는 방법들의 성능을 확인하기 위하여
VVC와 성능비교를 수행한다. 본 논문에서 제안하는 방법 들을 VVC의 참조 소프트웨어인 VTM 6.1에 적용하였으 며, 이를 VTM 6.1의 성능과 비교한다. 본 논문에서는 AI 및 RA 테스트를 진행하였으며, 실험 결과 및 분석을 위한 테스트 시퀀스는 VVC의 CTC를 기반으로 하되 F 클래스 를 제외하고 1GOP 만을 실험하였다
[3]. <표1>은 제안한 방 법을 이용하여 부호화한 BD-Bitrate를 나타낸 것이다
[4]. Overall을 기준으로 실험 결과 AI 기준 0.01%, RA 기준 0.04%의 부호화 효율이 증대됨을 확인하였다. 또한 부호 화 및 복호화기의 소요 시간은 부호화기 및 복호화기에서 최대 1%의 증가를 보여 부호화기 및 복호화기 복잡도가 기 존의 방법과 비교하여 큰 차이가 없음을 확인 할 수 있다.
Overall 에 포함되지 않는 D class에서는 AI 와 RA에서 각
그림 2. 제안하는 방법을 적용했을 때 각 모드가 부호화 되는 예Fig. 2. Example of encoding each mode when the proposed method is applied
그림 3. MPM 모드로 부호화되지 않은 블록 중 5비트로 부호화 된 블록의 비율 그래프
Fig. 3. Ratio graph of blocks encoded with 5 bits among blocks not encoded in MPM mode
112 방송공학회논문지 제25권 제1호, 2020년 1월 (JBE Vol. 25, No. 1, January 2020)
각 최대 0.04%, 0.13%의 부호화 효율이 증대된 것을 확인 할 수 있다.
<그림 3> 은 제안하는 방법의 성능을 비교하기 위해 화 면 내 예측으로 부호화된 블록 중에서 MPM 모드로 부호화 되지 않은 블록의 경우에 5비트로 부호화 된 블록의 비율을 나타내는 그래프이다. AI Test는 AI 로 진행 된 실험의 결 과를 분석한 것이고 RA Test는 RA로 진행된 실험의 결과 를 분석한 것이다. x 축의 Anchor는 Anchor의 결과를 분석 한 것이고 Experiment는 본 논문에서 제안한 방법을 적용 했을 때의 결과를 분석한 것이다. y축은 5비트로 부호화 된 블록의 비율을 나타낸 것이다.
MPM 모드로 부호화되지 않는 경우 5비트 또는 6비트로 부호화 되기 때문에 5비트로 부호화 된 비율이 높을수록 부호화 효율 측면에 유리하다. <그림 3> 으로부터 본 논문 에서 제안한 방법을 적용했을 때 부호화 효율 측면에 유리 하다는 것을 확인할 수 있다.
Ⅴ. 결 론
본 논문에서는 VVC의 화면 내 예측에서 사용하는 TBC
기술의 한계점을 알아보고 이를 극복하기 위한 적응적 TBC 기술 알고리즘을 제안하였다. 그 결과 기존의 부호화 방법과 비교해서 overall 기준 부호화 효율이 AI와 RA에서 각각 0.01%, 0.04% 증대되었고 D class 기준 부호화 효율 이 AI와 RA에서 각각 0.03%, 0.10% 증대된 것을 확인하였 다. 부호화 효율의 향상을 보이면서 부호화기 및 복호화기 복잡도는 기존의 방식과 거의 동일한 것을 확인했다. 본 논 문에서는 발생 횟수를 저장하는 테이블을 프레임 단위로 초기화하였으나 병렬처리 등을 고려하여 보다 적합한 발생 횟수를 저장하는 테이블 초기화 지점 연구가 필요할 것으 로 보인다.
참 고 문 헌 (References)
[1] B. Bross, J. Chen, S. Liu, “Versatile Video Coding (Draft 6)”, Gothenburg Meeting, July, 2019
[2] J. Chen, Y. Ye, S. Kim, “Algorithm description for Versatile Video Coding and Test Model 6 (VTM 6)”, Gothenburg Meeting, July, 2019 [3] F. Bossen, J. Boyce, X. Li, V. Seregin, K. Sühring, “JVET common test
conditions and software reference configurations for SDR video”, Geneva Meeting, March, 2019
[4] G. Bjøntegaard, “Calculation of average PSNR differences between RD-curves,” ITU-T SG16 Q.6, VCEG-M33, Texas, USA, Apr. 2001 All Intra Main10 Random Access Main10
Y U V EncT DecT Y U V EncT DecT
Class A1 -0.02% 0.24% 0.03% 101% 100% -0.02% 0.55% -0.13% 100% 99%
Class A2 0.02% 0.03% 0.01% 101% 100% -0.02% -0.03% 0.04% 100% 99%
Class B 0.00% 0.01% -0.13% 101% 100% -0.03% -0.08% -0.03% 100% 100%
Class C -0.02% -0.13% 0.16% 100% 101% -0.08% 0.00% -0.48% 100% 96%
Class E -0.06% 0.11% -0.16% 100% 100%
Overall -0.01% 0.04% -0.02% 101% 100% -0.04% 0.08% -0.15% 100% 99%
Class D -0.03% -0.12% -0.20% 101% 101% -0.10% -0.11% -0.60% 100% 99%
표 1. VVC 대비 제안 알고리즘의 BD-rate
Table 1. BD-rate of proposed algorithm compared to VVC
