논문 2016-53-2-11
HEVC 인트라 부호화를 위한 특징점 기반의 고속 CU Depth 결정
( Keypoint-based Fast CU Depth Decision for HEVC Intra Coding )
김 남 욱*, 임 성 창**, 고 현 석**, 전 병 우***
( Namuk Kim, Sung-Chang Lim, Hyunsuk Ko, and Byeungwoo Jeonⓒ)
요 약
MPEG-H HEVC/ITU-T H.265는 quadtree 구조의 CU (Coding Unit)를 갖는 최신의 비디오 부호화 표준 기술이다. HEVC 부 호화기는 모든 가능한 CU 구조에 대해서 Rate-distortion 최적화 과정을 통하여 최적 부호화 성능의 CU depth를 구할 수 있지만, 그 과정에 매우 많은 계산량을 필요로 한다. 본 연구에서는 컴퓨터 비젼 분야에서 잘 알려진 blob detection을 통하여 특징점을 찾는 과정이 저역 필터를 거치는 것과 같은 효과를 가진다는 것과 CU depth의 결정에는 영상의 고주파수 에너지 분포를 고려하 는 것이 중요하다는 사실에 착안하여, blob detection 방법을 사용하여 추출된 특징점을 사용하여 HEVC 부호화기의 인트라 예측의 계산 복잡도를 낮추고자 한다. 실험을 통하여 all intra의 경우 0.45%의 BDBR 저하만으로 20% 정도의 부호화 시간을 절감할 수 있음을 보인다.
Abstract
The High Efficiency Video Coding (MPEG-H HEVC/ITU-T H.265) is the newest video coding standard which has the quadtree-structured coding unit (CU). The quadtree-structure splits a CU adaptively, and its optimum CU depth can be determined by rate-distortion optimization. Such HEVC encoding requires very high computational complexity for CU depth decision. Motivated that the blob detection, which is a well-known algorithm in computer vision, detects keypoints in pictures and decision of CU depth needs to consider high frequency energy distribution, in this paper, we propose to utilize these keypoints for fast CU depth decision. Experimental results show that 20% encoding time can be saved with only slightly increasing BDBR by 0.45% on all intra case.
Keywords: HEVC, CU depth decision, Keypoint, Interest point, blob detection
*학생회원, ***정회원, 성균관대학교 전자전기공학부 (School of Electronic and Electrical Engineering, Sungkyunkwan University)
**정회원, 한국전자통신연구원
(Electronics and Telecommunications Research Institute)
ⓒ Corresponding Author(E-mail: [email protected])
※ 이 논문은 2011년도 정부(미래창조과학부)의 재원으 로 한국연구재단의 지원(No. 2011-001-7578)과 2015 년도 정부(미래창조과학부)의 재원으로 정보통신기술 진흥센터의 지원을 받아 수행된 연구임 (No.
14-000-02-001, 초고품질 콘텐츠 지원 UHD 실감방 송/디지털시네마/사이니지 융합서비스 기술 개발) Received ;December 05, 2015 Revised ;December 27, 2015 Accepted ; January 31, 2016
Ⅰ. 서 론
정보통신기술의 급속한 발전에 따라 더욱 고화질의 영상서비스를 더욱 저렴한 가격에 언제 어디서나 제공 받기를 원하는 영상 시장과 사용자 요구에 따라, ISO/IEC Moving Picture Experts Group (MPEG)과 ITU-T Video Coding Experts Group (VCEG)은 Joint Collaborative Team on Video Coding (JCT-VC)를 조직하여 현재 가장 최신의 비디오 압축 표준기술인 ISO/IEC MPEG-H HEVC (High Efficiency Video Coding)/ITU-T H.265[1]표준을 2013년 1월 제정 완료하였다.
그림 1. Quadtree 구조에 의해 분할된 Coding Tree Unit (CTU)
Fig. 1. Coding Tree Unit (CTU) partitioned by quadtree structure.
HEVC는 quadtree 구조[2]를 채택하고 있는데, 최소의 Coding Unit (CU)은 8×8 크기 (depth 3), 그리고 최대의 CU는 64×64 크기 (depth 0) 이며, 하나의 CU는 최대 크기 로부터 최소 크기 내에서 반복적으로 분할 될 수 있다. 이때, 어떻게 분할되는 것이 최적인 가를 알기 위하여 가능한 모든 조합에 대해서 Rate-Distortion Optimization (RDO) 과정을 거쳐, 최적의 CU 분할구조를 선택할 수 있다. 즉, CU는 총 4개의 크기 (depth0: 64×64, depth1:
32×32, depth2: 16×16, depth3: 8×8)를 갖을 수 있다.
이렇게 결정된 각각의 CU는 다시 PU (Prediction Unit)로 분리되어 예측 과정이 수행되게 된다. 이렇듯 다양한 크기를 갖는 CU와 가능한 모든 PU 모드들에 대하여 RDO 과정을 거쳐 최적의 조합을 선택하도록 하여, 고 압축 효율의 HEVC 영상 부호화를 달성할 수 있다.
하지만, 이 과정은 매우 복잡한 계산 때문에 많은 부 호화 시간을 필요로 하므로, 이를 해결하기 위한 다양 한 고속 알고리즘들이 개발 되었다. 현재까지 연구 된 고속의 부호화 알고리즘은 크게 기존의 HEVC 알고리 즘에 존재하는 정보를 사용하는 방식[5～10]과, 기존에 없 던 새로운 정보를 사용하는 방식[11～18]으로 분류할 수 있다. 먼저 주변 블록의 정보를 이용하는 방식에 대한 연구를 살펴보면, 화면 내 예측을 빠르게 하기 위해 인 접 블록의 정보를 이용하는 방안[5], 현재 CU의 율-왜곡 치를 비교하여, 지정한 한계치보다 크면 증가된 depth 로 넘어가서 부호화를 하는 방안[6], CU의 깊이 정보를
이용하여 해당 깊이에서 보다 정확한 PU 및 TU (Transform Unit)를 결정하고, CU 조기 종료를 결정하 는 방법[7], Most Probable Modes (MPMs)와 Rough Mode Decision (RMD)을 모두 사용하여 좀 더 좋은 화 면 내 예측 모드를 선택하는 방안[8], RMD에 의해 얻은 cost를 각 화면 내 예측 모드에 적용하여 RDO를 대신 하여 적용하는 방안[9], 계층구조로 이전의 PU와 TU정 보를 이용하여 화면 내 예측 모드를 선택하는 방법[10]
이 있다. 다음으로 새로운 정보를 사용하는 방식에 대 한 연구를 살펴보면, 변화도를 측정하여 변화도 히스토 그램을 구한 후, 이 히스토그램을 사용하여 최소한의 모드에 대해서만 RDO 과정을 거치는 방안[11], Coding Tree Unit (CTU: CU 중 가장 큰 단위로 64×64 크기 의 CU를 뜻함) 전체의 변화도를 네 방향으로 측정하여, 전혀 불가능한 방향의 모드는 빼고, 최적의 방향에 근 접한 모드만 사용하는 방안[12], CU내의 에지를 사용하 여 화면 내 예측 모드를 선택하는 방안[13], Bayesian 선 택 방법을 사용하여 CU 분할과 pruning을 하는 방안
[14], CU 블록 내의 에지를 검출한 후 에지의 방향성 및 강도를 활용하여, RMD가 고려하는 후보 군의 수를 줄 이는 방안[15], 병합 모드의 Rate Distortion Cost에 따라 나머지 모드는 확인해보지 않고 스킵 모드를 선택하는 방안[16], CABAC에서 생성된 이진 정보를 이용하여 출 력 비트를 효율적으로 추정하고, 컨텍스트 모델링, 구간 세분 재정규화, 컨텍스트 업데이트를 수행하지 않는 방 안[17], 양자화 레벨 중 최적의 레벨만을 선별하여 이 양 자화 레벨에서만 RDO 과정을 거치는 방안[18]이 있다.
상기의 연구들을 살펴보면 화면 내 예측 모드를 선택하 는 방안에 대한 연구는 많이 이루어졌지만, 최근 기술의 발전으로 카메라 자체에서 영상처리를 해주는 칩들이 많이 개발되고 있음에도 불구하고 부호화를 할 때 컴퓨 터 비전의 기술을 사용하는 방안은 아직 연구가 많이 이루어지지 않음을 알 수 있다. 이에 본 연구에서는 HEVC내에서 부호화 단위인 CU의 크기를 정할 때 컴 퓨터 비전에서 보편적으로 사용되는 매칭 알고리즘인 SIFT (Scale Invariant Feature Transform)를 사용하여 특징점을 얻어낸 후, 이를 이용하여 고속의 CU depth를 결정하는 알고리즘을 제안한다.
Blob detection[3]은 컴퓨터 비전 분야에서 영상의 국 지적 특징을 찾아주는 보편적으로 알려진 알고리즘이 다. 본 연구에서는 이 특징점을 CU depth 결정에 이용 하고자 하며 본 논문이 제안하는 방법은 다음과 같다.
a) Blob detection을 이용하여 현재 CTU의 고주파
그림 2. 특징점과 CU depth와의 관계 (조그만 원은 특징점을 표시함) Fig. 2. Relation of keypoints and CU depth. (small circle indicates keypoint) 영역에서 발생하는 특징점의 개수를 구한다. (이 때, 특
징점을 추출하는 방법은 D. G. Lowe가 제안한 Scale Invariant Feature Transform (SIFT[4]) 기반 방법을 사 용한다).
b) CU의 depth가 고주파 영역일수록 높은 depth를 갖는 경향을 이용하여 특징점의 개수에 따라 CTU가 선택할 수 있는 depth의 범위를 정한다.
특징점은 blob detection의 기법중 하나인 Difference of Gaussian (DoG) 방법을 통해 구해지게 되는데, 특징 점은 Gaussian 피라미드의 scale-space에서 각기 다른
스케일간의 차이이기 때문에, 이 과정은 고역 필터와 비슷한 효과를 갖는다. 따라서, 고주파 영역에서 많은 특징점이 나타날 것으로 예상되며, 그림 2는 특징점과 CU depth간에 높은 연관성이 고주파 영역에서 있다는 것을 보여주고 있다. 이에 본 연구에서는 특징점 기반 고속의 화면 내 예측 CU depth 결정방법을 제안한다.
본 논문의 구성은 다음과 같다. Ⅱ장 1절에서는 HEVC의 Quadtree 구조와 blob detection 알고리즘에 대하여 설명한다. 그리고 Ⅱ장 2절에서는 CU depth 결 정에 필요한 한계치 설정과 제안하는 특징점 기반 고속 CU depth 결정에 대한 내용을 기술한다. Ⅲ장에서는 실험방법과 그 결과에 대한 내용을 기술하고, Ⅳ장에서 본 연구의 내용을 결론짓는다.
Ⅱ. 특징점을 사용한 고속 CU depth 결정
1. 관련 연구
가. CU 블록 분할
ITU-T와 ISO/IEC는 H.261부터 MPEG-H HEVC/
H.265까지 일련의 블록 기반의 비디오 표준을 만들어왔 다. HEVC 이전의 표준에서는 고정된 블록 크기의 Macroblock를 사용한 반면 HEVC에서는 그림 1의 quadtree 구조를 사용하여 휘도 (Luminance) 성분에 대 해 최대 64 × 64 에서 최소 8 × 8 까지의 다양한 크기 를 갖을 수 있는 2N × 2N 크기의 CU를 사용할 수 있 다. 그리고 색도 (Chrominance) 성분은 휘도 성분 블록 을 따라가되 일반적으로 사용하는 4:2:0 영상에서는 전 체적인 프레임의 크기가 휘도 성분에 비해 1/4로 작기 때문에 휘도 성분보다 가로 세로가 절반씩 작은 N × N 크기를 사용하게 된다. 또한 화면 내 예측 부호화의 경 우 각 CU에 대해 총 35가지 모드로 예측을 하며, RDO 사용시에는 Rate Distortion cost (RDcost)를 구해, 그 값이 가장 작은 모드를 사용하도록 하여 각 CTU 마다 최적의 CU 분할 모드를 선택하게 된다. 때문에, Bit-rate와 PSNR 관점에서는 좋은 부호화 효율을 보이 지만, 연산복잡도가 높아져 부호화 시간이 길어진다는 단점을 가지고 있다. 본 논문은 CU depth 결정에 소요 되는 계산 복잡도를 줄이는 방안을 고려한다.
그림 3. 극값을 찾기 위해 비교하는 주변 픽셀 Fig. 3. Reference pixels to find extremum
나. 특징점 찾기
Blob detection은 영상의 극값을 찾아내기 위하여 컴 퓨터 비전에서 보편적으로 사용되는 알고리즘으로써, 총 3가지 과정을 거친다. 이 과정은 1) 특징점 후보를 찾는 부분과, 2) 후보군을 추출하는 부분, 그리고, 3) 추 출된 특징점을 저장하는 부분이다. 본 논문은 특징점을 찾아 CU depth 결정에 사용할 것이기 때문에 1)항과 2) 항에 대한 좀 더 자세한 이해가 필요하다.
특징점은 변화도가 큰 부분을 추출한 점을 후보군으 로 하기 때문에, 영상신호를 두 번 미분하여 주변 값보 다 크거나 작은 점을 후보군으로 선택하게 된다. 하지 만 실제 영상에서는 잡음신호로 인해 제대로 된 검출을 할 수 없어 식 1의 Gaussian 필터를 적용해 저역 필터링을 먼저 취한다.
(1)그리고 Gaussian 커널에 Laplacian을 적용시킨 Laplacian of Gaussian (LoG) 커널을 convolution 하여 0값이 되는 부분을 극값으로 찾는다. 하지만 LoG과정은 복잡도가 너무 높아, Difference of Gaussian (DoG)으로 근사하여 극값을 얻어낸다[19]. DoG는 말 그대로 두 개의 다른 값을 가진 Gaussian 커널을 convolution 해준 영 상간의 차를 말한다. 근사가 되는 과정은 다음과 같다. 저 역필터 (Gaussian 커널)를 거친 원본 이미지를
이라 하면 LoG는 식 2와 같이 표현할 수 있다.
∇ (2) Heat diffusion 관계에 의해 LoG는 식 3과 같이 표현 된다.
그림 4. 특징점 기반 CU depth 결정 흐름도 Fig. 4. Keypoint-based CU depth decision flowchart.
∂
∂ ∇ (heat diffusion equation) (3)
이를 식 (4)-(6)의 과정에 의해 근사하게 되면, 식 7 과 같이 LoG는 DoG에 근사된다.
∇
lim
→
≈
(4)
(5)
(6)
≈ (7)
즉, DoG를 통해 나오는 스케일 공간에서의 최소, 최 대값 역시 극값이라 표현할 수 있게 된다. 최소, 최대값을 구하기 위해서 현 화소 대비 스케일 공간에서 상위 공 간과 하위 공간, 그리고 그림 3과 같이 현재 공간의 주 변 픽셀 값 총 26개를 비교하여 26개의 값 모두보다 크 거나 작은 점을 극값으로 선택을 하고, 이 극값들을 특 징점의 후보군으로 사용하게 된다. 그리고 이 후보군들은 고역 필터를 거친 것과 같은 효과를 갖기 때문에, 고주 파 영역에서 발견될 가능성이 크다.
다음으로 이 후보군의 극값 중에 특징점으로 사용할 만한 점들을 고르는 과정이 필요하다. 총 두 개의 한계
표 1. 통계추출에 사용된 동영상 정보
Table 1. Video sequence information for estimating statistics.
Video sequence Number of Frames
Frame-rate (Hz) Class B
BasketballDrive 10 50
Cactus 10 50
BQTerrace 10 60
Class C
BasketballDrill 10 50
PartyScene 10 50
BQMall 10 60
표 2. 특징점 개수에 따른 최대, 최소 depth
Table 2. Min, Max depth with respect to number of key points.
Number of Keypoints
Minimum Depth
Number of Keypoints
Maximum Depth
< 1 0 == 0 0
1≤ < 1 == 1 1
≤ <65 2 == 2 2
65 ≤ 3 2 < 3
치를 통해서 특징점으로 구분하게 되는데, 1) edge 한계치 와, 2) Contrast 한계치를 사용하게 된다. edge 한계치는 Harris corner detection[20]에서 사용된 식을 통상적으로 사용하지만 본 논문에서는 edge 역시 중요한 특징점 정 보이기 때문에 사용하지 않았다. Contrast 한계치는 D.
G. Lowe가 개발한 SIFT알고리즘에서 사용한 Taylor 전개를 통해 얻어진 식 8을 이용하여 구해진다.
i f ⇒
(8)
이 과정을 거친 극값들을 특징점이라 하고, 본 논문은 이 특징점들을 고속의 CU depth 결정에 사용한다.
2. 제안하는 방법
특징점들은 서로 다른 스케일 공간에서 극값들을 후 보군으로 하여 얻어진 값이기 때문에, 고주파 영역에서 많이 관찰된다. 또한 화면 내 예측에서 CU의 분할, 즉 CU의 depth는 고주파 영역일수록 복잡한 패턴을 갖고 있어 높은 depth를 갖는 경향이 관찰된다. 그래서 본 연구에서는 그림 2와 같이 특징점과 CU depth 결정에 있어 비슷한 경향을 보이는 것을 이용하여 '특징점 기 반 고속 CU depth 결정 (Keypoint-based CU depth decision, KCD) ' 알고리즘을 제안한다. 제안하는 알고 리즘의 흐름도는 그림 4와 같다.
(a) 최소 depth 개수 (QP=32)
(b) 최대 depth 개수 (QP=32)
그림 5. QP에 따른 특징점 개수와 depth의 관계 (QP=32) (a) 특징점 개수에 따른 최소 depth의 개수 (b) 특징점 개수에 따른 최대 depth의 개수 Fig. 5. Relationship between the number of keypoints
and depth (QP=32) (a) The number of MinDepth vs. the number of keypoints (b) The number of MaxDepth vs. the number of keypoints
먼저 특징점과 CU depth간의 통계분석을 통하여 특 징점의 개수와 CU depth가 어떤 관계가 있는지 알아보 기 위하여, 사전실험을 수행하였다. 이를 위하여 QP값 은 22, 27, 32, 37를 사용하고, 실험영상으로는 HEVC 표준 테스트 영상 중 B class, C class에서 각각 3개씩 을 사용하였다.
통계를 내기 위해 사용한 영상들의 정보는 표 1과 같 다. 각 CTU에서 특징점의 개수와 최대, 최소 depth를 통계 내어 그림 5과 같이 그래프를 그리고, 이 값을 정 규화 하여 식 9의 Bayesian Classification[21]으로 에러 가 최소가 되는 점을 CTU에서 최소, 최대 depth를 구 하기 위한 한계치로 정하였다.
min
Sequence information Measurement
Class Sequence name # frames frame rate (Hz) BDBR(%) Time Saving(%) KCD Ratio(%)
Class B (1080p)
BQTerrace 100 60 0.9 27.2 3.33
BasketballDrive 100 50 1.5 30.8 3.27
ParkScene 100 24 0.4 25.1 3.77
Cactus 100 50 0.8 23.4 3.64
Class C (WVGA)
BasketballDrill 100 50 0.4 15.8 2.90
BQMall 100 60 0.3 17.8 3.02
PartyScene 100 50 0.0 16.8 2.76
RaceHorses 100 30 0.2 17.7 3.06
Class D (WQVGA)
BasketballPass 100 50 0.7 15.8 3.23
BQSquare 100 60 0.1 20.5 2.98
BlowingBubbles 100 50 0.1 15.1 2.50
RaceHorses 100 30 0.1 14.1 3.29
Average 0.46 20.01 3.15
표 3. 제안한 KCD 알고리즘과 기존의 HM 14.0 부호화기의 성능비교
Table 3. Performance of the proposed KCD algorithm compared with HM 14.0 encoder.
(9) 그 결과 특징점 한계치들은 QP에 따라 지수함수의 형태를 갖는 것을 관찰할 수 있다. 하지만 최소 depth 를 0과 1로 구분해주는 한계치 , 2와 3으로 구 분해주는 한계치 의 경우 그 변화가 소수점이 하 수준으로 미비하여 의 경우 1, 의 경우 65로 고정 된 값을 사용 하였다. 하지만 최소 depth를 1과 2로 구분해주는 한계치()는 변화 가 지수형태로 나타날 뿐 아니라 그 변화량 역시 크기 때문에, 식 10의 관계를 유도하여 사용한다.
exp × (10)
최대 depth를 구분 해 주는 , ,
의 경우는 앞선 한계치들과 같이 변화가 적어 각각 0, 1, 2로 고정된 수치를 사용하였다. 그 결과 표 2 와 같은 한계치를 통해 특징점의 개수에 따른 최대 depth와 최소 depth를 정하여 최적화 된 depth 범위에 서만 RDO 과정을 진행하여 부호화를 진행하게 된다.
모든 가능한 CU에 대해 RDO 과정을 거치지 않아도 되 기 때문에, 적은 Bit의 증가로도 고속의 부호화를 진행 할 수 있을 것이다.
Ⅲ. 실 험
실험은 HEVC 참조 소프트웨어 (HM-14.0)를 사용하 여 진행되었으며, 특징점을 찾는데 OpenCv 2.4.10을 사
용하였다. 실험에 사용한 장비는 Intel(R) Core(TM) i5-4690 CPU @ 3.50GHz, 12.0GB RAM을 갖고 있으며, Windows10 64비트 운영체제를 사용하였다. 실험은 All_intra_main 프로필에서 네가지의 QP값 (22, 27, 32, 37)을 사용하여 실험 비디오시퀀스에 대하여 각 100 프 레임씩을 사용하였다. 또한, 각 QP에서 최대, 최소 depth를 구하기 위한 한계치는 표 2의 것을 사용하였 다. 실험에 사용한 영상은 HEVC 테스트 영상 중 Class B(1080p), Class C(WVGA), Class D(WQVGA)이다.
복잡도가 얼마나 감소하는지에 대한 척도로써는 부 호화 시간 절감을 식 11의 방법을 통해 구하였고, 부호 화의 효율이 떨어지는 정도를 확인하기 위해 BDBR[22]
을 사용하였다. 또한 제안한 KCD 알고리즘이 전체 복 잡도 중 어느 정도의 비율 (KCD Ratio)을 차지하는 지를 알아보기 위해 전체 부호화 시간 대비 KCD 알고 리즘의 소요시간의 비율 역시 측정하였다.
×* (11)
표 3은 제안한 알고리즘과 HM-14.0 소프트웨어 부 호화기의 성능을 비교 분석한 결과이다. 평균적으로 BDBR 0.46%의 증가만으로 20.01%의 수행시간 절약이 가능함을 알 수 있다. 또한 전체 부호화 시간 중 KCD 알고리즘이 차지하는 비중은 3.15% 정도인 것을 알 수 있다. 각각의 영상을 나누어 살펴보면, 영상의 특성에 따라 결과가 다르게 나오는 것을 알 수 있는데, 주로 부 호화 시간 절감이 클수록 BDBR이 증가하는 폭이 커지 는 것을 확인 할 수 있다. 가장 높은 부호화 시간 절감 이 되는 영상인 ‘BasketballDrive’는 30.8%의 부호화 시
간 절감이 가능 하지만 BDBR이 1.5%로 가장 많이 증 가하였다. 이와 같은 현상은 주로 영상이 복잡하여 특 징점이 많이 나타나 한계치가 높은 최소 depth가 3에 근접하게 되고, 한계치가 낮은 최대 depth 역시 3에 근 접하게 되어, RDO 과정을 거쳐야 할 범위가 줄어들어 발생하는 것이다. 때문에, 시간 절감 측면에서 좋은 반 면 BDBR의 손해가 다른 영상들에 비해 커지게 된 것 이다. BDBR이 증가하지 않는 ‘PartyScene’의 경우 부 호화 시간 절감이 16.8%로 저조하였다. 이는 특징점이 많이 발생하지 않아 한계치가 비교적 높은 최소 depth 는 0에 근접하게 되지만, 최대 depth의 경우 한계치가 낮아 여전히 3에 근접해 있기 때문에, CU depth를 결정 할 수 있는 범위가 넓어져서 라고 할 수 있다.
하지만, blob detection 알고리즘이 추가 되어 복잡도 가 증가되었음에도 불구하고, 전체적으로 부호화 시간 절감이 가능 한 것으로 보아, blob detection으로 인해 추가되는 복잡도 보다, RDO 과정을 줄여 복잡도를 낮 추는 것이 효율적이라는 것을 알 수 있다.
Ⅳ. 결 론
기존의 HEVC에서는 모든 CU에 대해 RDO과정을 거치는 까닭에 높은 복잡도로 인해 부호화 시간이 매우 길다. 또한 CTU의 크기를 기존의 64×64에서 256×256 까지 늘리려는 추세가 보이고 있어, 부호화 시간은 더 욱 길어 질 것이다. 때문에, 이를 줄이기 위해 CU의 depth 결정을 도와주는 연구는 아직도 중요하다. 기술 의 발전으로 고성능 영상처리 칩셋이 개발되어 많은 영 상처리 정보를 사용할 수 있게 되었음에도 불구하고 아 직도 영상의 특성을 분석하여 이를 이용하는 연구는 많 이 이루어지지 않고 있다. 이에 컴퓨터 비전에서 보편 적으로 이용되는 blob detection을 사용하여 특징점을 구하고 그 특징점의 개수에 따라 CU depth의 범위를 정해줌으로써 모든 CU에 대해 RDO를 하지 않도록 할 수 있다. 이로 인해 적은 부호화 효율 저하만으로 현재 결과보다 더 빠른 고속의 부호화를 가능하게 하였다.
REFERENCES
[1] G. J. Sullivan and J. R. Ohm, “Recent development in standardization of high efficiency video coding (HEVC),” Proc. SPIE, vol. 7798, p.77980V, Sep. 2010.
[2] G. J. Sullivan and R. L. Baker, “Efficient quadtree coding of images and video,” Proc.
ICASSP, vol. 4, pp. 2661-2664, May 1991.
[3] T. Lindeberg, “Scale selection properties of generalized scalespace interest point detectors,”
Journal of Mathematical Imaging and Vision, vol.
4, Sept. 2012.
[4] D. G. Lowe. “Distinctive image features from scale-invariant keypoints,” IJCV, 60(2):91–110, 2004.
[5] L. Zhao, L. Zhang, S. Ma, D. Zhao, "Fast Mode Decision Algorithm for Intra Prediction in HEVC,” IEEE Visual Communications and Image Processing (VCIP), pp. 1-4, Nov. 2011.
[6] J. Lee and S. Lee, “Early CU size determination for HEVC,” Proc. Conference of the Institute of Electronics Engineers of Korea, pp. 476-477, 2012.
[7] S. E. Yoo, Y. J. Ahn, and D. G. Sim, “Fast HEVC Encoding based on CU-Depth First Decision,” Journal of the Institute of Electronics Engineers of Korea, vol. 49, no. 3, pp. 40-50, 2012.
[8] Q. Yu, Y. Rong, and Y. He, “Fast intra mode decision strategy for HEVC,” Proc. IEEE China Summit Int. Conf. Signal Info. Process., Jul. pp.
500–504, 2013.
[9] Y. Shi et al., “Local saliency detection based fast mode decision for HEVC intra coding,”
Proc. IEEE 15th Int. Workshop Multimedia Signal Process. (MMSP), pp. 429–433, Oct.
2013.
[10] J. Kim, J. Y. Yang, H. Y. Lee, and B. Jeon,
“Fast Intra Mode Decision of HEVC based on Hierarchical Structure,” 8th International Conference on Information, Communication and Signal Processing, pp. 1-4, Dec. 2011.
[11] W. Jiang, H. J. Ma, and Y. W. Chen, “Gradient Based Fast Mode Decision Algorithm for Intra Prediction in HEVC,” Proc. 2nd International Conference on Consumer Electronics, Communi cations and Networks, pp. 1836-1840, Apr. 2012.
[12] Y. Zhang, Z. Li, and B. Li, “Gradient-based fast decision for intra prediction in HEVC,” Proc.
IEEE Vis. Commun. Image Process. (VCIP), pp.
1–6, Nov. 2012.
[13] G. Chen, Z. Liu, T. Ikenaga, and D. Wang, “Fast HEVC intra mode decision using matching edge detector and kernel density estimation alike histogram generation,” Proc. IEEE ISCAS, pp. 53 –56, May 2013.
[14] S. Chao and M. Kim, “Fast CU splitting and pruning for suboptimal CU partitioning in HEVC
저 자 소 개 김 남 욱(학생회원)
2015년 성균관대학교 전자전기 공 학과 졸업 (학사).
2015년 3월∼현재 성균관대학교 IT융합학과 석사 과정.
<주관심분야 : 멀티미디어 영상압 축, 신호처리>
임 성 창(정회원)
2006년 세종대학교 컴퓨터공학과 졸업 (학사).
2008년 세종대학교 컴퓨터공학과 졸업 (석사).
2008년∼현재 한국전자통신연구원 실감방송미디어연구부 선 임연구원.
<주관심분야 : 영상압축, 영상처리>
고 현 석(정회원)
2006년 연세대학교 전기전자 공학 부 졸업 (학사).
2009년 연세대학교 전기전자 공학 부 졸업 (석사).
2009년∼2010년 삼성전자 DMC 사업부 연구원.
2015년 University of Southern California, Elec.
졸업 (공학박사).
2015년∼현재 한국전자통신연구원 선임연구원.
<주관심분야 : 영상압축, 영상처리, 화질평가>
전 병 우(정회원)
1985년 서울대학교 전자공학과 졸 업 (학사).
1987년 서울대학교 전자공학과 졸 업 (석사).
1992년 Purdue Univ. School of Elec. 졸업 (공학박사).
1993년∼1997년 삼성전자 신호처리연구소 선임/
수석연구원.
1997년∼현재 성균관대학교 전자전기공학부 교수
<주관심분야 : 멀티미디어, 영상압축, 영상인식, 신호처리>
intra coding,” IEEE Trans. Circuits Syst. Video Technol., vol. 23, no. 9, pp. 1555–1563, Sep.
2013.
[15] D. H. Gwon and H. Choi, “Edge and Relative RMD Cost based Fast Intra Prediction Mode Decision in HEVC,” Journal of the Institute of Electronics Engineers of Korea, pp. 154–163, 2014.
[16] Hoyoung Lee, Huik Jae Shim, Younghyun Park, and Byeungwoo Jeon, “Early Skip Mode Decision for Fast HEVC Encoder,” IEEE Trans.
Broadcasting, vol. 61, No.3, pp.388-397, Sept.
2015.
[17] Kwanghyun Won and Byeungwoo Jeon,
“Complexity-Efficient Rate Estimation for Mode Decision of HEVC encoder,” IEEE Trans.
Broadcasting, vol.61, No.3, pp.425-435, Sept. 2015.
[18] Hoyoung Lee, Seungha Yang, Younghyun Park, and Byeungwoo Jeon, “Fast Quantization Method with Simplified Rate-Distortion Optimized Quantization for HEVC Encoder,” IEEE.Trans.
Circ. and Syst. for Video Technology (Sepcial issue on HEVC Implementation), VOL. 26, No.1, pp.107-116, Jan. 2016.
[19] http://citeseerx.ist.psu.edu/viewdoc/download?re p=rep1&type=pdf&doi=10.1.1.217.4931
[20] C. Harris and M. Stephens, “A Combined Corner and EdgeDetector,” Proc. Alvey Vision Conf., pp.
147-151, 1988.
[21] R. O. Duda, P.E. Hart, and D.G. Stork, Pattern Classification. pp 20-26, JohnWiley & Sons, 2001.
[22] G. Bjontegaard, “Calculation of average PSNR difference between RD-curves,” Proc. 13th VCEG-M33 Meeting, Austin, TX, USA, Apr.
2001.
