(19) 대한민국특허청(KR) (12) 공개특허공보(A)
(11) 공개번호 10-2010-0106193 (43) 공개일자 2010년10월01일 (51) Int. Cl.
G10L 19/00 (2006.01) H04S 3/00 (2006.01) H04N 7/24 (2006.01) G11B 20/10 (2006.01) (21) 출원번호 10-2009-0116054
(22) 출원일자 2009년11월27일 심사청구일자 없음
(30) 우선권주장
1020090024328 2009년03월23일 대한민국(KR)
(71) 출원인
한국전자통신연구원
대전 유성구 가정동 161번지 주식회사 이머시스
대전광역시 유성구 장동 48 대전 S/W 지원센터 505
(72) 발명자 서정일
대전시 유성구 반석동 반석마을7단지 709동 1401 호
이용주
대전시 유성구 전민동 세종아파트 109동 708호 (뒷면에 계속)
(74) 대리인 특허법인무한 전체 청구항 수 : 총 8 항
(54) ＳＡＣ 부가정보를 이용한 3Ｄ 바이노럴 필터링 시스템 및 방법 (57) 요 약
SAC 부가정보를 이용한 3D 바이노럴 필터링 시스템 및 방법이 개시된다. 바이노럴 필터링 시스템은, 지상파 DMB 및 위성 DMB를 통해 전송된 멀티채널 오디오 신호를 구성하는 부가정보 비트스트림을 분석하여 멀티채널 오디오 재생특성 파라미터를 추출하고, 추출된 멀티채널 오디오 재생특성 파라미터를 이용하여 다운믹스 오디오 신호로 부터 3D 바이노럴 신호를 출력할 수 있다.
대 표 도 - 도1
(72) 발명자 강경옥
대전시 유성구 전민동 삼성푸른아파트 101동 605호 김현석
대전시 서구 월평동 무궁화아파트 103동 307호
김풍민
대전시 유성구 어은동 한빛아파트 102동 1804호
이 발명을 지원한 국가연구개발사업 과제고유번호 2008-F-011-01
부처명 지식경제부 및 정보통신연구진흥원 연구관리전문기관
연구사업명 IT원천기술개발
연구과제명 차세대DTV핵심기술개발(표준화연계)-무안경개인형3D방송기술개발(계속) 기여율
주관기관 한국전자통신연구원 연구기간 2008-03-01 ~ 2011-02-28
특허청구의 범위 청구항 1
지상파 DMB 및 위성 DMB를 통해 전송된 멀티채널 오디오 신호를 구성하는 다운믹스 오디오 비트스트림을 디코딩 하여 PCM 신호를 출력하는 스테레오 디코더;
상기 멀티채널 오디오 신호를 구성하는 부가정보 비트스트림을 분석하여 멀티채널 오디오 재생특성 파라미터를 추출하는 부가정보 분석부; 및
상기 멀티채널 오디오 재생특성 파라미터를 이용하여 상기 PCM 신호로 출력된 다운믹스 오디오 신호로부터 3D 바이노럴 신호를 출력하는 바이노럴 필터링부
를 포함하는 3D 바이노럴 필터링 시스템.
청구항 2 제1항에 있어서,
상기 다운믹스 오디오 비트스트림은
지상파 DMB의 경우, MPEG-Surround인 공간 오디오 부호화 기법에 따라 부호화되고, 위성 DMB의 경우, SSLCC(Sound Source Location Cue Coding)인 공간 오디오 부호화 기법에 따라 부호화된 것을 특징으로 하는 3D 바이노럴 필터링 시스템.
청구항 3 제1항에 있어서,
상기 부가정보 비트스트림은,
상기 멀티채널 오디오 신호를 복원하는데 필요한 공간 파라미터(spatial parameter)가 부호화된 것을 특징으로 하는 3D 바이노럴 필터링 시스템.
청구항 4 제1항에 있어서,
상기 스테레오 디코더는,
상기 위성 DMB의 경우, 상기 다운믹스 오디오 비트스트림을 aacPlus(Advanced Audio Coding Plus), 또는 HE- AAC(High-Efficiency Advanced Audio Coding) 기법으로 디코딩하여 PCM 신호를 출력하고,
상기 지상파 DMB의 경우, 상기 다운믹스 오디오 비트스트림을 BSAC(Bit Sliced Arithmetic Coding) 기법으로 디코딩하여 PCM 신호를 출력하는 것을 특징으로 하는 3D 바이노럴 필터링 시스템.
청구항 5 제1항에 있어서,
상기 바이노럴 필터링부는,
상기 멀티채널 오디오 재생특성 파라미터를 이용하여 상기 다운믹스 오디오 신호로부터 가상 멀티채널로 렌더링 된 3D 바이노럴 신호를 출력하는 것을 특징으로 하는 3D 바이노럴 필터링 시스템.
청구항 6
지상파 DMB 및 위성 DMB를 통해 전송된 멀티채널 오디오 신호를 구성하는 다운믹스 오디오 비트스트림을 디코딩 하는 단계;
상기 멀티채널 오디오 신호를 구성하는 부가정보 비트스트림을 분석하여 멀티채널 오디오 재생특성 파라미터를 추출하는 단계; 및
상기 멀티채널 오디오 재생특성 파라미터를 이용하여 상기 디코딩된 다운믹스 오디오 신호로부터 3D 바이노럴
신호를 출력하는 단계
를 포함하는 3D 바이노럴 필터링 방법.
청구항 7 제6항에 있어서,
상기 다운믹스 오디오 비트스트림은
지상파 DMB의 경우, MPEG Surround인 공간 오디오 부호화 기법에 따라 부호화되고, 위성 DMB의 경우, SSLCC(Sound Source Location Cue Coding)인 공간 오디오 부호화 기법에 따라 부호화된 것을 특징으로 하는 3D 바이노럴 필터링 방법.
청구항 8 제7항에 있어서,
상기 바이노럴 필터링부는,
상기 멀티채널 오디오 재생특성 파라미터를 이용하여 상기 다운믹스 오디오 신호를 가상 멀티채널로 렌더링된 3D 바이노럴 신호를 출력하는 것을 특징으로 하는 3D 바이노럴 필터링 방법.
명 세 서
발명의 상세한 설명 기 술 분 야
본 발명은 SAC 부가정보를 이용한 3D 바이노럴 필터링 시스템 및 방법에 관한 것으로, 보다 상세하게는 SAC 부 [0001]
가정보를 이용하여 가상 멀티 채널로 렌더링된 3D 바이노럴 신호를 출력하는 3D 바이노럴 필터링 시스템 및 방 법에 관한 것이다.
본 발명은 방송통신위원회, 지식경제부 및 한국산업기술평가관리원의 IT 원천기술개발사업의 일환으로 수행한 [0002]
연구로부터 도출된 것이다 [과제관리번호: 2008-F-011-01, 과제명: 차세대 DTV 핵심기술 개발(표준화연계)-무안 경 개인형 3D 방송기술개발(계속)].
배 경 기 술
5.1채널과 같은 멀티채널 오디오 신호를 공간정보를 이용하여 압축하는 기술로 공간 오디오 부호화 기술이 [0003]
있다. 공간 오디오 부호화 기술은 멀티채널 오디오 신호를 모노(Mono) 또는 스테레오(Stereo) 신호로 다운믹스 (Downmix)하고, 멀티채널을 복원하는데 필요한 공간 파라미터(Spatial Parameter)를 부가정보(Side Information: SI)로 부호화하는 기술이다.
더욱이, 공간 오디오 부호화 기술은 DAB(Digital Audio Broadcasting), DMB(Digital Multimedia Broadcastin [0004]
g)와 같이 좁은 대역폭 환경에서 고품질의 오디오 신호를 전송하는 것을 목표로 하는 방송 시스템에서 멀티채널 오디오 서비스를 제공하는데 적합한 기술이다. 이러한 공간 부호화 기술로는 MPEG-Surround 및 SSLCC(Sound Source Location Cue Coding) 등이 있다.
국내에서는, MPEG-Surround를 지상파 DMB에서의 멀티채널 오디오 부호화 표준으로 선정하였고, SSLCC를 위성 [0005]
DMB에서의 멀티채널 오디오 부호화 표준으로 선정하였다. 이에 따라, MPEG-Surround 및 SSLCC와 같은 공간 부 호화 기술을 휴대폰과 같은 이동 단말에 적용하기 위한 연구가 활발히 진행되고 있다.
또한, 지상파 DMB와 위성 DMB에서 이용되는 공간 오디오 부호화 기술이 서로 상이한 경우, 하나의 기기에서 지 [0006]
상파 DMB 및 위성 DMB를 모두 지원하기 위해서는 두 개의 디코더가 요구되는 문제점이 발생할 수 있다. 이에 따라, 지상파 DMB 및 위성 DMB를 모두 지원할 수 있는 바이노럴 필터링 시스템이 필요하다.
발명의 내용
해결 하고자하는 과제
본 발명은 SAC(spectral Audio Coding) 부가정보를 이용하여 3D 바이노럴 신호를 출력할 수 있는 3D 바이노럴 [0007]
필터링 시스템 및 방법을 제공한다.
과제 해결수단
본 발명의 일 실시예에 따른 3D 바이노럴 필터링 시스템은, 지상파 DMB 및 위성 DMB를 통해 전송된 멀티채널 오 [0008]
디오 신호를 구성하는 다운믹스 오디오 비트스트림을 디코딩하여 PCM 신호를 출력하는 스테레오 디코더, 멀티채 널 오디오 신호를 구성하는 부가정보 비트스트림을 분석하여 멀티채널 오디오 재생특성 파라미터를 추출하는 부 가정보 분석부, 및 멀티채널 오디오 재생특성 파라미터를 이용하여 PCM 신호로 출력된 다운믹스 오디오 신호로 부터 3D 바이노럴 신호를 출력하는 바이노럴 필터링부를 포함할 수 있다.
이때, 지상파 DMB의 경우, 다운믹스 오디오 비트스트림은 MPEG-Surround인 공간 오디오 부호화 기법에 따라 부 [0009]
호화될 수 있다. 또한, 위성 DMB의 경우, 다운믹스 오디오 비트스트림은 SSLCC(Sound Source Location Cue Coding)인 공간 오디오 부호화 기법에 따라 부호화될 수 있다.
또한, 바이노럴 필터링부는, 멀티채널 오디오 재생특성 파라미터를 이용하여 다운믹스 오디오 신호로부터 가상 [0010]
멀티채널로 렌더링된 3D 바이노럴 신호를 출력할 수 있다.
본 발명의 일 실시예에 따른 3D 바이노럴 필터링 방법은, 지상파 DMB 및 위성 DMB를 통해 전송된 멀티채널 오디 [0011]
오 신호를 구성하는 다운믹스 오디오 비트스트림을 디코딩하는 단계, 멀티채널 오디오 신호를 구성하는 부가정 보 비트스트림을 분석하여 멀티채널 오디오 재생특성 파라미터를 추출하는 단계, 및 멀티채널 오디오 재생특성 파라미터를 이용하여 디코딩된 다운믹스 오디오 신호로부터 3D 바이노럴 신호를 출력하는 단계를 포함할 수 있 다.
효 과
본 발명은 SAC 부가정보를 이용하여 멀티채널 오디오 신호의 복원과정 없이 3D 바이노럴 신호를 출력함에 따라 [0012]
바이노럴 필터링 과정 중에 발생할 수 있는 음질의 열화를 감소시킬 수 있다.
또한, 멀티채널 오디오 신호의 복원과정을 생략함에 따라 연산량이 감소하여 복잡도를 낮출 수 있을 뿐만 아니 [0013]
라, 위성 및 지상파 DMB를 지원하는 기기의 제조 가격을 낮출 수 있다.
또한, SAC 부가정보를 이용하여 3D 바이노럴 신호를 출력함에 따라 공간 오디오 부호화 방식에 제한되지 않는 [0014]
가상 멀티채널 오디오 신호를 생성할 수 있다.
발명의 실시를 위한 구체적인 내용
최근, 휴대폰과 같은 이동 단말에 공간 부호화 기술을 적용하기 위해 멀티채널 디코더 또는 바이노럴 디코더가 [0015]
이용될 수 있다. 멀티채널 디코더는 멀티채널 공간 오디오 디코더와 3D 바이노럴 필터를 포함할 수 있다. 멀 티채널 공간 오디오 디코더는 지상파 또는 위성 DMB를 통해 수신된 멀티채널 오디오 신호를 복원할 수 있다.
그리고, 3D 바이노럴 필터는 복원된 멀티채널 오디오 신호로부터 바이노럴 신호를 생성할 수 있다. 이때, 생성 된 바이노럴 신호는 가상 멀티채널로 렌더링된 신호일 수 있다.
바이노럴 디코더(Binaural Decoder)는 공간 파라미터로 구성된 부가정보를 이용하여 모노 또는 스테레오 다운믹 [0016]
스 오디오 신호로부터 스테레오 바이노럴 오디오 신호를 도출할 수 있다. 즉, 바이노럴 디코더는 멀티채널 공 간 오디오 디코더에서 수행된 멀티채널 디코딩 과정과 3D 바이노럴 필터에서 수행된 바이노럴 필터링 과정이 혼 합된 디코더의 형태를 가질 수 있다.
이때, MPEG-Surround 및 SSLCC에서 제공되는 바이노럴 디코더는 멀티채널 디코더에 비해 낮은 복잡도를 갖지만, [0017]
멀티채널 오디오 신호의 복원 및 바이노럴 필터링을 통해 높은 복잡도를 가질 수 있다. 여기서, 바이노럴 필터 링은 복원된 멀티채널 오디오 신호들에 대해 HRTF(Head Related Transfer Function) 필터링을 수행하는 과정을 포함할 수 있다. 이에 따라, 바이노럴 디코더를 휴대폰과 같은 이동 단말에 실장하는 데 제약이 존재할 수 있 다.
또한, 바이노럴 디코더는 공간 오디오 부호화 기술에서 적용하는 프레임의 크기로 제한된 HRTF 필터를 사용하므 [0018]
로, 음질의 열화가 발생할 수 있다.
이에 따라, 멀티채널 디코딩 과정을 생략하여 연산량을 감소시킬 수 있는 바이노럴 필터링 시스템이 필요하다.
[0019]
이하, 본 발명에 따른 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 또한, 본 실시예에서는 지상파 DMB [0020]
및 위성 DMB 모두를 통해 멀티채널 오디오 신호가 수신되는 경우를 가정하여 바이노럴 신호를 출력하는 방법에 대해 상세하게 설명하기로 한다.
다만, 본 발명을 설명함에 있어서, 관련된 공기 기술 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필 [0021]
요하게 흐릴 수 있다고 판단되는 경우, 그에 대한 상세한 설명은 축약하거나 생략한다.
도 1은 본 발명의 일 실시예에 따른 3D 바이노럴 필터링 시스템의 구성을 도시한 도면이다.
[0022]
도 1을 참조하면, 3D 바이노럴 필터링 시스템(100)은 스테레오 디코더(110), 부가정보 분석부(130), 및 바이노 [0023]
럴 필터링부(150)를 포함할 수 있다.
스테레오 디코더(110)는 지상파 DMB(T-DMB)를 통해 전송된 멀티채널 오디오 신호를 구성하는 다운믹스 오디오 [0024]
비트스트림을 공간 오디오 부호화 기법에 따라 디코딩하여 PCM(Pulse Code Modulation)신호를 출력할 수 있다.
이때, 멀티채널 오디오 신호는 다운믹스 오디오 비트스트림 및 부가정보 비트스트림으로 구성될 수 있다.
일 예로, 지상파 DMB의 경우, 스테레오 디코더(110)는 MPEG-Surround인 공간 오디오 부호화 기법으로 다운믹스 [0025]
오디오 비트스트림을 디코딩하여 PCM 신호를 출력할 수 있다. 여기서, MPEG-Surround인 공간 오디오 부호화 기 법에는 BSAC(Bit Sliced Arithmetic Coding) 기법이 포함될 수 있다.
또한, 스테레오 디코더(110)는 위성 DMB(S-DMB)를 통해 전송된 멀티채널 오디오 신호를 구성하는 다운믹스 오디 [0026]
오 비트스트림을 디코딩하여 PCM신호를 출력할 수 있다.
일 예로, 위성 DMB의 경우, 스테레오 디코더(110)는 SSLCC인 공간 오디오 부호화 기법으로 다운믹스 오디오 비 [0027]
트스트림을 디코딩하여 PCM 신호를 출력할 수 있다. 여기서, SSLCC인 공간 오디오 부호화 기법에는 aacPlus(Advanced Audio Coding Plus) 또는 HE-AAC(High-Efficiency Advanced Audio Coding) 기법이 포함될 수 있다.
부가정보 분석부(130)는 멀티채널 오디오 신호를 구성하는 부가정보 비트스트림을 분석하여 멀티채널 오디오 재 [0028]
생특성 파라미터를 추출할 수 있다. 여기서, 부가정보 비트스트림은 멀티채널 오디오 신호를 복원하는 데 필요 한 공간 파라미터(Spatial Parameter)룰 포함할 수 있다. 또한, 멀티채널 오디오 재생특성 파라미터는 주파수 대역별 전후방 채널 신호 사이의 출력 레벨차를 포함할 수 있다.
일 예로, 지상파 DMB의 경우, 부가정보 분석부(130) 는 MPEG-Surround(MPS)인 공간 오디오 부호화 기법에 따라 [0029]
부호화된 부가정보 비트스트림(MPS SI)으로부터 멀티채널 오디오 재생특성 파라미터를 추출할 수 있다.
또한, 위성 DMB의 경우, 부가정보 분석부(130) 는 SSLCC(Sound Source Location Cue Coding)인 공간 오디오 부 [0030]
호화 기법에 따라 부호화된 부가정보 비트스트림(SSLCC SI)으로부터 멀티채널 오디오 재생특성 파라미터를 추출 할 수 있다. 이를 통해, 부가정보 분석부(130)는 주파수 대역별 전후방 채널 신호 사이의 출력 레벨차를 추출 할 수 있다.
바이노럴 필터링부(150)는 추출된 멀티채널 오디오 재생특성 파라미터를 이용하여 PCM 신호로 출력된 다운믹스 [0031]
오디오 신호로부터 3D 바이노럴 신호를 출력할 수 있다. 즉, 바이노럴 필터링부(150)는 멀티채널 오디오 재생 특성 파라미터를 이용하여 다운믹스 오디오 신호로부터 가상 멀티채널로 렌더링된 3D 바이노럴 신호를 출력할 수 있다. 이를 통해, 바이노럴 필터링부(150)는 멀티채널 오디오 신호의 복원과정 없이도 가상 멀티채널로 렌더 링된 3D 바이노럴 신호를 출력할 수 있다.
일 예로, 바이노럴 필터링부(150)는 멀티채널 오디오 재생특성 파라미터를 이용하여 다운믹스 오디오 신호에 대 [0032]
해 HRTF(Head Related Transfer function) 필터링을 수행하여 3D 바이노럴 신호를 출력할 수 있다. 여기서, HRTF 필터는 인간의 청각기관을 모델링한 더미 헤더 마이크를 이용하여 360도의 방위각과 180도의 고도각 사이 를 특정 간격을 두고 각각의 위치에 대한 좌우 양쪽의 임펄스 응답을 구하는 필터링일 수 있다.
도 2는 본 발명의 일 실시예에 따른 3D 바이노럴 필터링 시스템의 구성을 설명하기 위해 제공되는 흐름도이다.
[0033]
도 2를 참조하면, 먼저, 스테레오 디코더(110)는 지상파 DMB 및 위성 DMB를 통해 전송된 멀티채널 오디오 신호 [0034]
를 구성하는 다운믹스 오디오 비트스트림을 디코딩할 수 있다(S210).
일 예로, 지상파 DMB의 경우, 스테레오 디코더(110)는 MPEG-Surround인 공간 오디오 부호화 기법으로 부호화된 [0035]
다운믹스 오디오 비트스트림을 디코딩하여 PCM 신호를 출력할 수 있다. 즉, 지상파 DMB의 경우, 다운믹스 오디
오 비트스트림은 BSAC 디코더를 통해 PCM 신호로 출력될 수 있다.
또한, 위성 DMB의 경우, 스테레오 디코더(110)는 SSLCC인 공간 오디오 부호화 기법으로 부호화된 다운믹스 오디 [0036]
오 비트스트림을 디코딩하여 PCM 신호를 출력할 수 있다. 즉, 위성 DMB의 경우, 다운믹스 오디오 비트스트림은 aacPlus 또는 HE-AAC 디코더를 통해 PCM 신호로 출력될 수 있다.
이어, 부가정보 분석부(130)는 지상파 DMB 및 위성 DMB를 통해 전송된 멀티채널 오디오 신호를 구성하는 부가정 [0037]
보 비트스트림을 분석하여 멀티채널 오디오 재생특성 파라미터를 추출할 수 있다(S220). 여기서, 멀티채널 오 디오 재생특성 파라미터는 주파수 대역별 전후방 채널 신호 사이의 출력 레벨차를 포함할 수 있다.
일 예로, 지상파 DMB의 경우, 부가정보 분석부(130)는 MPEG-Surround인 공간 오디오 부호화 기법에 따라 부호화 [0038]
된 부가정보 비트스트림을 분석하여 멀티채널 오디오 재생특성 파라미터를 추출할 수 있다.
또한, 위성 DMB의 경우, 부가정보 분석부(130)는 SSLCC인 공간 오디오 부호화 기법에 따라 부호화된 부가정보 [0039]
비트스트림을 분석하여 멀티채널 오디오 재생특성 파라미터를 추출할 수 있다.
그러면, 바이노럴 필터링부(150)는 추출된 멀티채널 오디오 재생특성 파라미터를 이용하여 디코딩된 다운믹스 [0040]
오디오 신호로부터 3D 바이노럴 신호를 출력할 수 있다(S230). 즉, 바이노럴 필터링부(150)는 PCM 신호로 출력 된 다운믹스 오디오 신호로부터 가상 멀티채널로 렌더링된 3D 바이노럴 신호를 출력할 수 있다. 이를 통해, 멀 티채널 오디오 신호의 복원과정 없이 가상 멀티채널로 렌더링된 3D 바이노럴 신호를 출력할 수 있다.
지금까지, BSAC, HE-AAC 또는 aacPlus 기법으로 부호화된 다운믹스 오디오 비트스트림에 대해서 설명하였으나, [0041]
이는 실시예에 불과할 뿐, AAC 기법으로 부호화된 다운믹스 오디오 비트스트림이 수신된 경우에도 3D 바이노럴 신호를 출력할 수 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 [0042]
것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 [0043]
이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
도면의 간단한 설명
도 1은 본 발명의 일 실시예에 따른 3D 바이노럴 필터링 시스템의 구성을 도시한 도면이다.
[0044]
도 2는 본 발명의 일 실시예에 따른 3D 바이노럴 필터링 시스템의 구성을 설명하기 위해 제공되는 흐름도이다.
[0045]
<도면의 주요 부분에 대한 부호의 설명>
[0046]
110: 스테레오 디코더 [0047]
130: 부가정보 분석부 [0048]
150: 바이노럴 필터링부 [0049]
도면 도면1
도면2
