(19) 대한민국특허청(KR) (12) 공개특허공보(A)
(11) 공개번호 10-2009-0047341 (43) 공개일자 2009년05월12일 (51) Int. Cl.
G10L 19/00 (2006.01) G11B 20/10 (2006.01) H03M 7/30 (2006.01) H04S 5/00 (2006.01) (21) 출원번호 10-2008-0043578
(22) 출원일자 2008년05월09일 심사청구일자 2008년05월09일 (30) 우선권주장
1020070113196 2007년11월07일 대한민국(KR)
(71) 출원인
한국전자통신연구원
대전 유성구 가정동 161번지 (72) 발명자
백승권
서울특별시 서초구 방배2동 957-13 서정일
대전광역시 유성구 전민동 세종아파트 107-801호 (뒷면에 계속)
(74) 대리인 특허법인 신성 전체 청구항 수 : 총 21 항
(54) 공간큐 기반의 바이노럴 스테레오 합성 장치 및 그 방법과,그를 이용한 바이노럴 스테레오 복호화 장치 (57) 요 약
본 발명은 공간큐 기반의 바이노럴 스테레오 합성 장치 및 그 방법과, 그를 이용한 바이노럴 스테레오 복호화 장 치에 관한 것으로, 공간큐 정보(가상음원 위치정보)와 각 채널별 바이노럴 필터 계수에 기초하여 좌/우 오디오 신호를 주파수 영역에서 필터링하고, 그 필터링된 신호를 바이노럴 스테레오 신호로 복호화함으로써, 주파수 영 역에서의 선형 복적분을 통해 고품질의 바이노럴 스테레오 신호를 용이하게 재생할 수 있게 하는, 공간큐 기반의 바이노럴 스테레오 합성 장치 및 그 방법과, 그를 이용한 바이노럴 스테레오 복호화 장치를 제공하고자 한다.
이를 위하여, 본 발명은, 공간큐 기반의 바이노럴 스테레오 합성 장치에 있어서, 가상음원 위치 기반의 공간큐 정보를 합성하여 서브밴드별 각 채널의 파워 이득값을 산출하기 위한 공간큐 정보 합성 수단; 상기 산출된 각 채 널의 파워 이득값과 바이노럴 필터 계수에 기초하여, 좌/우 오디오 신호를 주파수 영역에서 필터링하기 위한 신 호 필터링 수단; 및 상기 필터링된 신호를 시간 영역으로 역변환하기 위한 신호 역변환 수단을 포함한다.
대 표 도 - 도1
(72) 발명자 장대영
대전광역시 유성구 노은동 열매마을9단지 904-1701 강경옥
대전광역시 유성구 전민동 삼성푸른아파트 101-605
홍진우
대전광역시 유성구 관평동 672 대덕테크노밸리 60 9동 1202호
김진웅
대전광역시 유성구 전민동 엑스포아파트 305-1603
이 발명을 지원한 국가연구개발사업 과제고유번호 2007-S-004-01
부처명 정보통신부 및 정보통신연구진흥원 연구사업명 IT성장동력기술개발
연구과제명 무안경 개인형 3D 방송기술개발 주관기관 한국전자통신연구원
연구기간 2007년 03월 01일 ~ 2008년 02월 29일
특허청구의 범위 청구항 1
공간큐 기반의 바이노럴 스테레오 합성 장치에 있어서,
가상음원 위치 기반의 공간큐 정보를 합성하여 서브밴드별 각 채널의 파워 이득값을 산출하기 위한 공간큐 정보 합성 수단;
상기 산출된 각 채널의 파워 이득값과 바이노럴 필터 계수에 기초하여, 좌/우 오디오 신호를 주파수 영역에서 필터링하기 위한 신호 필터링 수단; 및
상기 필터링된 신호를 시간 영역으로 역변환하기 위한 신호 역변환 수단 을 포함하는 공간큐 기반의 바이노럴 스테레오 합성 장치.
청구항 2
제 1 항에 있어서,
상기 좌/우 오디오 신호가 시간 영역의 신호이면, 상기 좌/우 오디오 신호를 주파수 영역으로 변환하여 상기 신 호 필터링 수단으로 전달하기 위한 신호 변환 수단
을 더 포함하는 공간큐 기반의 바이노럴 스테레오 합성 장치.
청구항 3
제 1 항 또는 제 2 항에 있어서,
상기 바이노럴 필터 계수를 주파수 영역으로 변환하여 상기 신호 필터링 수단으로 전달하기 위한 계수 변환 수 단
을 더 포함하는 공간큐 기반의 바이노럴 스테레오 합성 장치.
청구항 4
제 3 항에 있어서, 상기 계수 변환 수단은,
상기 바이노럴 필터 계수에 제로 블록을 덧붙여서 연결하기 위한 블록 연결 수단; 및
상기 제로 블록이 덧붙여진 상기 바이노럴 필터 계수를 주파수 영역으로 변환하기 위한 블록 변환 수단 을 포함하는 공간큐 기반의 바이노럴 스테레오 합성 장치.
청구항 5
제 4 항에 있어서, 상기 계수 변환 수단은,
사용자가 임의로 렌더링하기 위한 임펄스응답 신호와 상기 변환된 바이노럴 필터 계수를 블록 덧셈연산하여 새 로운 바이노럴 필터 계수를 생성하기 위한 블록 덧셈 수단을 더 포함하고,
상기 신호 필터링 수단은, 상기 새로 생성된 바이노럴 필터 계수에 기초하여 필터링하는 것을 특징으로 하는 공 간큐 기반의 바이노럴 스테레오 합성 장치.
청구항 6
제 3 항에 있어서,
상기 공간큐 정보 합성 수단은,
채널별 각도 위치에 음상 정위를 하기 위하여, 패닝 방식에 따라 각 채널의 파워 이득값을 조절하여 산출하는
것을 특징으로 하는 공간큐 기반의 바이노럴 스테레오 합성 장치.
청구항 7
제 3 항에 있어서,
상기 공간큐 정보 합성 수단은,
사용자 관심 채널의 강조 요청에 따라 상기 사용자로부터 입력되는 상호작용 변수를 이용하여 각 채널의 파워 이득값을 조절하여 산출하는 것을 특징으로 하는 공간큐 기반의 바이노럴 스테레오 합성 장치.
청구항 8
제 3 항에 있어서, 상기 신호 필터링 수단은,
상기 바이노럴 필터 계수를 채널 조합의 파워 이득값에 맞게 가공하고, 상기 가공된 바이노럴 필터 계수에 따라 상기 변환된 좌/우 오디오 신호를 필터링하는 것을 특징으로 하는 공간큐 기반의 바이노럴 스테레오 합성 장치.
청구항 9
제 8 항에 있어서, 상기 신호 필터링 수단은,
상기 가공된 바이노럴 필터 계수에 따라 상기 좌/우 오디오 신호를 필터링하되,
주파수 영역에서의 선형 복적분을 이용하여 상기 변환된 좌/우 오디오 신호를 필터링하는 것을 특징으로 하는 공간큐 기반의 바이노럴 스테레오 합성 장치.
청구항 10
공간큐 기반의 바이노럴 스테레오 합성 방법에 있어서,
가상음원 위치 기반의 공간큐 정보를 합성하여 서브밴드별 각 채널의 파워 이득값을 산출하는 공간큐 정보 합성 단계;
상기 산출된 각 채널의 파워 이득값과 바이노럴 필터 계수에 기초하여, 좌/우 오디오 신호를 주파수 영역에서 필터링하는 신호 필터링 단계; 및
상기 필터링된 신호를 시간 영역으로 역변환하는 신호 역변환 단계 를 포함하는 공간큐 기반의 바이노럴 스테레오 합성 방법.
청구항 11
제 10 항에 있어서,
상기 좌/우 오디오 신호가 시간 영역의 신호이면, 상기 좌/우 오디오 신호를 주파수 영역으로 변환하는 신호 변 환 단계
를 더 포함하는 공간큐 기반의 바이노럴 스테레오 합성 방법.
청구항 12
제 10 항 또는 제 11 항에 있어서,
상기 바이노럴 필터 계수를 주파수 영역으로 변환하는 계수 변환 단계 를 더 포함하는 공간큐 기반의 바이노럴 스테레오 합성 방법.
청구항 13
제 12 항에 있어서,
상기 계수 변환 단계는,
상기 바이노럴 필터 계수에 제로 블록을 덧붙여서 연결하는 블록 연결 단계; 및
상기 제로 블록이 덧붙여진 상기 바이노럴 필터 계수를 주파수 영역으로 변환하는 블록 변환 단계 를 포함하는 공간큐 기반의 바이노럴 스테레오 합성 방법.
청구항 14
제 13 항에 있어서, 상기 계수 변환 단계은,
사용자가 임의로 렌더링하기 위한 임펄스응답 신호와 상기 변환된 바이노럴 필터 계수를 블록 덧셈연산하여 새 로운 바이노럴 필터 계수를 생성하는 블록 덧셈 단계를 더 포함하고,
상기 신호 필터링 단계는, 상기 새로 생성된 바이노럴 필터 계수에 기초하여 필터링하는 것을 특징으로 하는 공 간큐 기반의 바이노럴 스테레오 합성 방법.
청구항 15
제 12 항에 있어서,
상기 공간큐 정보 합성 단계는,
채널별 각도 위치에 음상 정위를 하기 위하여, 패닝 방식에 따라 각 채널의 파워 이득값을 조절하여 산출하는 것을 특징으로 하는 공간큐 기반의 바이노럴 스테레오 합성 방법.
청구항 16
제 12 항에 있어서,
상기 공간큐 정보 합성 단계는,
사용자 관심 채널의 강조 요청에 따라 상기 사용자로부터 입력되는 상호작용 변수를 이용하여 각 채널의 파워 이득값을 조절하여 산출하는 것을 특징으로 하는 공간큐 기반의 바이노럴 스테레오 합성 방법.
청구항 17
제 12 항에 있어서, 상기 신호 필터링 단계는,
상기 바이노럴 필터 계수를 채널 조합의 파워 이득값에 맞게 가공하고, 상기 가공된 바이노럴 필터 계수에 따라 상기 변환된 좌/우 오디오 신호를 필터링하는 것을 특징으로 하는 공간큐 기반의 바이노럴 스테레오 합성 방법.
청구항 18
제 17 항에 있어서, 상기 신호 필터링 단계는,
상기 가공된 바이노럴 필터 계수에 따라 상기 좌/우 오디오 신호를 필터링하되,
주파수 영역에서의 선형 복적분을 이용하여 상기 변환된 좌/우 오디오 신호를 필터링하는 것을 특징으로 하는 공간큐 기반의 바이노럴 스테레오 합성 방법.
청구항 19
바이노럴 스테레오 합성을 이용한 바이노럴 스테레오 복호화 장치에 있어서, 좌/우 오디오 신호에 제로 블록을 덧붙여서 연결하기 위한 블록 연결 수단;
가상음원 위치 기반의 공간큐 정보에 따른 각 채널의 파워 이득값과 바이노럴 필터 계수에 기초하여, 상기 제로
블록이 연결된 좌/우 오디오 신호를 주파수 영역에서 필터링하기 위한 바이노럴 스테레오 합성 수단; 및
상기 필터링된 좌/우 오디오 신호를 서로 다른 서브블록으로 분리하고, 상기 분리된 서로 다른 서브블록을 이용 해 복호화하여 바이노럴 스테레오 신호를 출력하기 위한 복호화 수단
을 포함하는 바이노럴 스테레오 합성을 이용한 바이노럴 스테레오 복호화 장치.
청구항 20
제 19 항에 있어서,
상기 바이노럴 스테레오 합성 수단은,
가상음원 위치 기반의 공간큐 정보를 합성하여 서브밴드별 각 채널의 파워 이득값을 산출하기 위한 공간큐 정보 합성 수단;
상기 산출된 각 채널의 파워 이득값과 상기 바이노럴 필터 계수에 기초하여, 상기 제로 블록이 연결된 좌/우 오 디오 신호를 주파수 영역에서 필터링하기 위한 신호 필터링 수단; 및
상기 필터링된 신호를 시간 영역으로 역변환하기 위한 신호 역변환 수단 을 포함하는 바이노럴 스테레오 합성을 이용한 바이노럴 스테레오 복호화 장치.
청구항 21
제 19 항 또는 제 20 항에 있어서, 상기 복호화 수단은,
상기 복호화된 바이노럴 스테레오 신호를 윈도우 함수를 이용하여 오버랩(Overlap)하여 출력하는 것을 특징으로 하는 바이노럴 스테레오 합성을 이용한 바이노럴 스테레오 복호화 장치.
명 세 서
발명의 상세한 설명 기 술 분 야
본 발명은 공간큐 기반의 바이노럴 스테레오 합성 장치 및 그 방법과, 그를 이용한 바이노럴 스테레오 복호화
<1>
장치에 관한 것으로, 더욱 상세하게는 공간큐 정보(가상음원 위치정보)와 각 채널별 바이노럴 필터 계수에 기초 하여 좌/우 오디오 신호를 주파수 영역에서 필터링하고, 그 필터링된 신호를 바이노럴 스테레오 신호로 복호화 함으로써, 주파수 영역에서의 선형 복적분을 통해 고품질의 바이노럴 스테레오 신호를 용이하게 재생할 수 있게 하는, 공간큐 기반의 바이노럴 스테레오 합성 장치 및 그 방법과, 그를 이용한 바이노럴 스테레오 복호화 장치 에 관한 것이다.
본 발명은 정보통신부 및 정보통신연구진흥원의 IT성장동력기술개발사업의 일환으로 수행한 연구로부터 도출된
<2>
것이다[과제관리번호: 2007-S-004-01, 과제명: 무안경 개인형 3D 방송기술개발].
배 경 기 술
종래의 바이노럴(binaural) 스테레오 기술은 일반적인 스테레오 신호의 정보기반으로 음원의 위치 및 좌우 채널
<3>
의 상관관계를 고려하여 머리 전달 함수(HRTF: Head Related Transfer Function)를 적절하게 이용함으로써, 보 다 실감나는 스테레오 신호를 재생하는 기술이다. 이와 더불어, 사용자들에 의한 멀티채널 오디오 서비스에 대 한 요구가 증대됨에 따라, 효율적으로 멀티채널 신호를 압축하는 방법들이 소개되어 왔다.
최근에는 "MPEG 서라운드(MPEG Surround)"라는 다채널 오디오 부호화 기술이 국제 표준으로 채택되어 상용화를
<4>
눈앞에 두고 있다. 이에 따라, 바이노럴 스테레오 부호화 기술도 후처리 방식으로 구현하던 코딩전략에서 벗어 나, MPEG 서라운드 기술을 근간으로 보다 개선된 음질을 제공할 수 있는 MPEG 서라운드 기반 바이노럴 스테레오 부호화 기술도 소개되었다.
종래의 바이노럴 스테레오 복호화 기술은 다채널 오디오 음상을 스테레오에서도 감상할 수 있도록 렌더링하는
<5>
기술이다. 이러한 종래의 바이노럴 스테레오 복호화 기술은 공간큐 정보를 활용하여 다채널 정보를 이용함으로 써 후처리 방식이 아닌 복호화 과정에서 독립적으로 수행될 수 있으며, 이는 종래의 후처리 방식에 의존하던 바 이노럴 스테레오 기술의 문제점을 개선한 새로운 기술에 속한다.
하지만, 종래의 MPEG 서라운드 기반 바이노럴 스테레오 복호화 기술은 바이노럴 스테레오 복호화 과정에서 발생
<6>
하는 복잡도를 줄이면서 성능을 개선했지만, 시간 축 상의 복적분(convolution) 계산에 의해 발생되는 복잡도 및 연산량 증가로 인해 휴대단말용 서비스 등에 활용하기에는 곤란하다는 문제점이 있다.
즉, 종래의 바이노럴 스테레오 복호화 기술은 QMF(Quadrature Mirror Filter bank)를 기반으로 시간 축 상의
<7>
복적분(convolution)을 계산하여 HRTF 렌더링 과정을 수행하기 때문에 복잡하고 연산량이 증가한다. 또한, 이러 한 종래의 기술은 입력된 스테레오 신호를 다채널 신호로 복호화한 후에 각 채널 신호마다 시간 축 상에서 복적 분을 각각 수행하고 다시 스테레오 신호로 다운믹스하는 과정이 필요하기 때문에, 복잡도 및 연산량이 증가한다 는 문제점이 있다.
발명의 내용
해결 하고자하는 과제
따라서 상기와 같은 종래 기술은 각 채널 신호에 대하여 시간 축 상의 복적분을 통한 HRTF 계산 과정으로 인해
<8>
복잡도 및 연산량이 증가한다는 문제점이 있으며, 이러한 문제점을 해결하고자 하는 것이 본 발명의 과제이다.
따라서 본 발명은 공간큐 정보(가상음원 위치정보)와 각 채널별 바이노럴 필터 계수에 기초하여 좌/우 오디오
<9>
신호를 주파수 영역에서 필터링하고, 그 필터링된 신호를 바이노럴 스테레오 신호로 복호화함으로써, 주파수 영 역에서의 선형 복적분을 통해 고품질의 바이노럴 스테레오 신호를 용이하게 재생할 수 있게 하는, 공간큐 기반 의 바이노럴 스테레오 합성 장치 및 그 방법과, 그를 이용한 바이노럴 스테레오 복호화 장치를 제공하는데 그 목적이 있다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들
<10>
은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
과제 해결수단
본 발명은 상기 문제점을 해결하기 위하여, 공간큐 정보(가상음원 위치정보)와 각 채널별 바이노럴 필터 계수에
<11>
기초하여 좌/우 오디오 신호를 주파수 영역에서 필터링하고, 그 필터링된 신호를 바이노럴 스테레오 신호로 복 호화하는 것을 특징으로 한다.
더욱 구체적으로, 본 발명은, 공간큐 기반의 바이노럴 스테레오 합성 장치에 있어서, 가상음원 위치 기반의 공
<12>
간큐 정보를 합성하여 서브밴드별 각 채널의 파워 이득값을 산출하기 위한 공간큐 정보 합성 수단; 상기 산출된 각 채널의 파워 이득값과 바이노럴 필터 계수에 기초하여, 좌/우 오디오 신호를 주파수 영역에서 필터링하기 위 한 신호 필터링 수단; 및 상기 필터링된 신호를 시간 영역으로 역변환하기 위한 신호 역변환 수단을 포함한다.
또한, 상기 본 발명은, 상기 좌/우 오디오 신호가 시간 영역의 신호이면, 상기 좌/우 오디오 신호를 주파수 영
<13>
역으로 변환하여 상기 신호 필터링 수단으로 전달하기 위한 신호 변환 수단을 더 포함한다.
또한, 상기 본 발명은, 상기 바이노럴 필터 계수를 주파수 영역으로 변환하여 상기 신호 필터링 수단으로 전달
<14>
하기 위한 계수 변환 수단을 더 포함한다.
한편, 본 발명은, 공간큐 기반의 바이노럴 스테레오 합성 방법에 있어서, 가상음원 위치 기반의 공간큐 정보를
<15>
합성하여 서브밴드별 각 채널의 파워 이득값을 산출하는 공간큐 정보 합성 단계; 상기 산출된 각 채널의 파워 이득값과 바이노럴 필터 계수에 기초하여, 좌/우 오디오 신호를 주파수 영역에서 필터링하는 신호 필터링 단계;
및 상기 필터링된 신호를 시간 영역으로 역변환하는 신호 역변환 단계를 포함한다.
또한, 상기 본 발명은, 상기 좌/우 오디오 신호가 시간 영역의 신호이면, 상기 좌/우 오디오 신호를 주파수 영
<16>
역으로 변환하는 신호 변환 단계를 더 포함한다.
또한, 상기 본 발명은, 상기 바이노럴 필터 계수를 주파수 영역으로 변환하는 계수 변환 단계를 더 포함한다.
<17>
한편, 본 발명은, 바이노럴 스테레오 합성을 이용한 바이노럴 스테레오 복호화 장치에 있어서, 좌/우 오디오 신
<18>
호에 제로 블록을 덧붙여서 연결하기 위한 블록 연결 수단; 가상음원 위치 기반의 공간큐 정보에 따른 각 채널 의 파워 이득값과 바이노럴 필터 계수에 기초하여, 상기 제로 블록이 연결된 좌/우 오디오 신호를 주파수 영역 에서 필터링하기 위한 바이노럴 스테레오 합성 수단; 및 상기 필터링된 좌/우 오디오 신호를 서로 다른 서브블 록으로 분리하고, 상기 분리된 서로 다른 서브블록을 이용해 복호화하여 바이노럴 스테레오 신호를 출력하기 위 한 복호화 수단을 포함한다.
효 과
상기와 같은 본 발명은, 공간큐 정보(가상음원 위치정보)와 각 채널별 바이노럴 필터 계수에 기초하여 좌/우 오
<19>
디오 신호를 주파수 영역에서 필터링하고, 그 필터링된 신호를 바이노럴 스테레오 신호로 복호화함으로써, 주파 수 영역에서의 선형 복적분을 통해 복적분 연산과정의 복잡도를 최소화할 수 있으며, 고품질의 바이노럴 스테레 오 신호를 용이하게 재생할 수 있게 하는 효과가 있다.
또한, 본 발명은, 공간큐 정보를 단순한 채널 간 레벨차(CLD: Channel Location Information)가 아닌 가상음원
<20>
위치 기반의 공간큐 정보(VSLI)를 이용함으로써, 더욱 정확한 음상 정위 및 양자화 에러에 강인한 성능을 제공 할 수 있는 효과가 있다.
또한, 본 발명은, HTRF 렌더링 이외에도 크로스 토크(Cross-talk) 제거를 위한 필터나 음장 효과를 위한 실내응
<21>
답신호(Room Impulse Response)를 적용함에 있어서, DFT를 기반으로 렌더링을 수행하고 오버랩 애드(Overlap- add) 방식에 따라 적절한 블록 처리하여 선형 복적분 연산을 주파수 영역에서 단순화시킴으로써, 상당한 응답시 간을 필요로 하는 필터 연산을 별다른 복잡도 증가 없이 블록단위 처리할 수 있는 효과가 있다.
발명의 실시를 위한 구체적인 내용
상술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되어 있는 상세한 설명을 통하여 보다 명확
<22>
해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용 이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다.
도 1 은 본 발명에 따른 공간큐 기반의 바이노럴 스테레오 합성 장치의 일실시예 구성도이다.
<23>
도 1에 도시된 바와 같이, 바이노럴 스테레오 합성 장치(100)는, 신호 변환부(110), 공간큐 정보 합성부(120),
<24>
계수 변환부(130), 신호 필터링부(140) 및 신호 역변환부(150)를 포함한다.
신호 변환부(110)에 입력되는 오디오 신호를 스테레오로 가정하면, 신호 변환부(110)는 입력받은 시간 영역의
<25>
스테레오(좌/우) 오디오 신호( , )를 DFT(Discrete Fourier Transform) 또는 FFT(Fast Fourier Transform)를 이용하여 주파수 영역의 좌/우 오디오 신호( , )로 변환한다. 여기서, 아래 첨자 L 과 R은 각각 좌/우 신호, n은 시간 영역의 인덱스(Index), k는 주파수 영역의 인덱스를 나타낸다.
본 발명에서 시간 영역 및 주파수 영역에서의 신호들은 블록 단위로 처리되는 것으로 설명하기로 한다. 따라서
<26>
시간 영역의 좌/우 오디오 신호( , )는 블록 단위로 표현된 좌/우 신호 블록( , )의 각 블록에서의 샘플로 정의된다. 예를 들어, 좌신호 블록( )은 하기의 [수학식 1]과 같이 표현 가능하다.
수학식 1
<27>
여기서, 는 좌신호 블록, 은 좌 오디오 신호, b는 블록(프레임)에 대한 시간 축 인덱스를
<28>
나타낸다.
이와 같이, 주파수 영역의 좌/우 오디오 신호( , )는 주파수 영역의 좌/우 신호 블록( ,
<29>
)의 원소이다. 여기서, k는 주파수 인덱스, 는 주파수 영역 신호임을 나타낸다.
따라서 블록 단위로 표현할 때, 신호 변환부(110)는 좌/우 신호 블록( , )을 입력받아 주파수 영역
<30>
의 좌/우 신호 블록( , )으로 변환한다. 그리고 신호 변환부(110)는 주파수 영역의 좌/우 신호 블록( , )을 신호 필터링부(140)로 전달한다.
공간큐 정보 합성부(120)는 전달받은 공간큐 정보를 합성하여 서브밴드별 각 채널의 파워 이득값을 산출한다.
<31>
여기서, 공간큐 정보 합성부(120)는 가상음원 위치정보(VSLI: Virtual Source Location Information) 기반의 공간큐 정보를 입력받는다. 스테레오 신호에 대한 VSLI 기반의 공간큐 정보는 임의의 서브밴드(m)에 대하여, 좌 측반면각(LHA: Left Half-plane Angle)(LHA(m)), 좌측보조평면각(LSA: Left Subsequent Angle)(LSA(m)), 우측 반면각(RHA: Right Half-plane Angle)(RHA(m)) 및 우측보조평면각(RSA: Right Subsequent Angle)(RSA(m))을 포 함한다.
구체적으로 살펴보면, 공간큐 정보 합성부(120)는 가상음원 위치정보(VSLI: Virtual Source Location
<32>
Information) 기반의 공간큐 정보(LHA(m), LSA(m), RHA(m), RSA(m))를 하기의 [수학식 2]에 적용하여 각 채널 의 파워 이득값( , , , , 및 )을 서브밴드별로 구한다.
수학식 2
<33>
<34>
<35>
<36>
<37>
<38>
<39>
<40>
여기서, 는 제m 서브밴드의 좌측평면각, 는 제m 서브밴드의 우측평면각, 는 , 는 ,
<41>
는 제m 서브밴드의 제1 중앙채널 파워 이득값, 는 제m 서브밴드의 제2 중앙채널 파워 이득값, 는 제m 서브밴드의 전방좌채널 파워 이득값, 는 제m 서브밴드의 전방우채널 파워 이득값, 는 제m 서브밴드 의 후방좌채널 파워 이득값, 는 제m 서브밴드의 후방우채널 파워 이득값을 나타낸다.
그리고 공간큐 정보 합성부(120)는 사용자로부터 입력받은 상호작용 변수 또는 제어 변수(interaction/control
<42>
parameter)에 따라 각 채널의 파워 이득값들을 조절하여 출력할 수 있다. 예를 들어, 공간큐 정보 합성부(120) 는 사용자가 전방좌채널(Lf-channel)에 대하여 제어 변수에 해당하는 임의의 각도( ) 위치에 음상 정위를 하
고자 한다면, 패닝 법칙(Panning Law)을 이용하여 제어 변수에 해당하는 임의의 각도( )만큼 이동시킬 수 있 도록, 전방좌채널 파워 이득값( )을 조절할 수 있다. 또한, 공간큐 정보 합성부(120)는 채널별 파워 이득값 을 조절하기 위하여, 입력받은 상호작용 변수(interaction parameter)에 따라 각 채널의 파워 이득값을 조절할 수 있다. 이는 사용자가 원하는 채널 신호에 대하여 주의 깊게 들어 볼 수 있는 기능을 제공하기 위함이다. 그 리고 공간큐 정보 합성부(120)는 산출되거나 조절된 서브밴드별 각 채널의 파워 이득값을 신호 필터링부(140)로 전달한다.
계수 변환부(130)는 HRTF 좌/우 계수 블록을 주파수 영역의 HRTF 좌/우 계수 블록으로 변환하여 신호 필터링부
<43>
(140)로 전달한다. 또한, 계수 변환부(130)는 렌더링하기 위한 필터 계수들을 주파수 영역의 필터 계수 블록으 로 변환하여 신호 필터링부(140)로 전달할 수 있다. 이러한 변환 과정은 일예로 미리 수행될 수 있으며, 변환된 HRTF 계수 블록 및 렌더링을 위한 필터 계수 블록들은 테이블에 저장되어 신호 필터링부(140)에서 이용될 수 있 다.
한편, 신호 필터링부(140)는 신호 변환부(110)로부터 전달받은 주파수 영역의 좌/우 신호 블록( ,
<44>
)을 서브밴드별로 분할한다. 이때, 분할 방식은 하기의 [수학식 3] 및 [수학식 4]과 같이 정리될 수 있다. 또한, 신호 필터링부(140)는 계수 변환부(130)에서 변화된 주파수 영역의 좌/우 HRTF 계수 블록을 하기의 [수학식 3]와 [수학식 4]과 같이 서브밴드별로 분할한다.
수학식 3
<45>
여기서, m은 서브밴드의 수를 나타내며, 는 하기의 [수학식 4]과 같이 정의하기로 한다.
<46>
수학식 4
<47>
여기서 는 m번째 서브밴드의 시작 경계정보를 나타낸다.
<48>
그리고 신호 필터링부(140)는 HRTF 렌더링하기 위하여, 서브밴드별로 분할된 주파수 영역의 좌/우 신호 블록
<49>
( , )을 서브밴드별 각 채널의 파워 이득값( , , , , , ) 및 각 채널에 대한 주파수 영역의 좌/우 HRTF 계수 블록( , )에 기초하여 필터링한다. 다시 말하면, 신호 필터링부(140)는 각 채널에 대한 가상음원이 음상 정위되도록, 각 채널에 대한 주파수 영역의 좌/우 HRTF 계수 블록을 서브밴드별 각 채널의 파워 이득값에 맞게 가공하고, 가공된 좌/우 HRTF 계수 블록에 따라 주파수 영역의 좌/우 신호 블록을 필터링하여 렌더링 신호 블록( )을 출력한다. 이때, 신호 필터링부(140)는 서브 밴드로 나누어진 블록 단위로 필터링을 수행하며, 모든 서브밴드에 대한 처리를 완료하고 다음 블록에 대하여 필터링을 수행하여 렌더링 신호 블록( )을 출력한다.
그리고 신호 역변환부(150)는 신호 필터링부(140)에서 필터링된 렌더링 신호 블록( )을 IDFT(Inverse-DFT)
<50>
또는 IFFT(Inverse-FFT)를 이용하여 시간 영역의 좌/우 신호( / )로 변환한다. 여기서, 아래 첨자 L 과 R은 각각 좌/우 신호, n은 시간 영역의 인덱스를 나타낸다.
도 2a 는 본 발명에 따른 도 1의 계수 변환부의 일실시예 상세구성도이다.
<51>
도 2a에 도시된 바와 같이, 계수 변환부(130)는, 블록 연결부(210), 블록 변환부(220) 및 블록 덧셈부(230)를
<52>
포함한다. 여기서, 상기 블록 덧셈부(230)는 부가요소이다.
블록 연결부(210)는 좌/우 HRTF 계수 블록( , )에 각각 제로(zero) 블록을 덧붙여서 블록을 연결한다. 또
<53>
한, 블록 연결부(210)는 렌더링하기 위한 임펄스응답 신호가 있으면, 임펄스응답 계수 블록( )에 각각 제로 블록을 덧붙여서 블록을 연결한다. 이는 블록 변환부(220)에서 이산 푸리에 변환을 효율적으로 계산하기 위함이 다.
블록 변환부(220)는 제로 블록이 덧붙여진 좌/우 HRTF 계수 블록을 주파수 영역의 좌/우 HRTF 계수 블록
<54>
( , )으로 변환한다. 또한, 블록 변환부(220)는 제로 블록이 덧붙여진 임펄스응답 계수 블록을 주파수 영역의 임펄스응답 계수 블록( )으로 변환한다. 이때, 상기 블록 변환부(220)는 변환된 주파수 영 역의 임펄스응답 계수 블록( )을 바로 신호 필터링부(140)로 전달하거나, 블록 덧셈부(230)로 전달하여 이후의 블록 덧셈 과정이 수행되도록 한다.
블록 덧셈부(230)는 렌더링하기 위한 임펄스응답 신호가 있으면, 블록 변환부(220)에서 변환된 주파수 영역의
<55>
좌/우 HRTF 계수 블록에 주파수 영역의 임펄스응답 계수 블록을 블록 덧셈연산하여 신호 필터링부(140)로 전달 한다.
결론적으로, 계수 변환부(130)는 하기의 [수학식 5]과 같이, 시간 영역의 좌/우 HRTF 계수 블록에 제로 블록을
<56>
덧붙이고, 이를 이산 푸리에 변환 방식에 따라 주파수 영역의 좌/우 HRTF 계수 블록으로 변환하여 저장할 수 있 다. 이러한 계수 변환부(130)에서의 수행 과정은 하기의 [수학식 5]에 나타나 있다.
수학식 5
<57>
여기서, 는 각 채널에 대한 주파수 영역의 좌 HRTF 계수, 는 각 채널에 대한 주파수
<58>
영역의 우 HRTF 계수, 아래 첨자(channel)는 채널의 인덱스를 나타낸다. 또한, N은 이산 푸리에 변환의 블록 크 기를 나타내며 ( 는 양의 정수)로 표현이 가능해야 하며, 은 응답시간을 나타내며 N/2 이하의 값 ( )을 가져야 한다.
블록 변환부(220)는 일반적인 5채널에 대하여, 5채널에 대한 HRTF 계수를 총 10번의 이산 푸리에 변환을 수행하
<59>
여 주파수 영역으로 변환한다. 이는 5채널에 대한 HRTF 계수는 좌/우로 나누어져 있고, 5개의 HRTF 계수를 포함 하기 때문이다.
도 2b는 본 발명에 따른 도 2a의 계수 변환부에서의 계수 변환 과정에 대한 일실시예 설명도이다.
<60>
블록 연결부(210)는 좌 HRTF 계수( )에 제로 블록을 덧붙여 연결한다(201). 그리고 블록 변환부(220)는 제로
<61>
블록이 연결된 좌 HRTF 계수( )를 주파수 영역의 좌 HRTF 계수( )로 변환한다(202).
또한, 블록 연결부(210)는 우 HRTF 계수( )에 제로 블록을 덧붙여 연결한다(203). 그리고 블록 변환부(220)는
<62>
제로 블록이 연결된 우 HRTF 계수( )를 주파수 영역의 우 HRTF 계수( )로 변환한다(204).
이후, "202" 및 "204" 과정에서 변환된 주파수 영역의 좌/우 HRTF 계수( , )는 바로 신호 필터
<63>
링부(140)로 전달되거나, 블록 덧셈부(230)로 전달된다.
한편, 좌/우 HRTF 계수 이외의 임의의 임펄스응답(예를 들어, 잔향 응답 또는 크로스토크(crosstalk) 제거를 위
<64>
한 응답)을 적용할 경우, 계수 변환부(130)는 임펄스응답 계수 블록( )을 상기의 [수학식 5]과 같이 주파수 영역의 임펄스응답 계수 블록( )으로 변환하여 적용할 수 있다.
즉, 렌더링하기 위한 임펄스응답 계수 블록이 있으면, 블록 연결부(210)는 임의의 임펄스응답 계수 블록( )
<65>
에 제로 블록을 덧붙여 연결한다(205). 그리고 블록 변환부(220)는 제로 블록이 연결된 임펄스응답 계수 블록 ( )을 주파수 영역의 임펄스응답 계수 블록( )으로 변환한다(206).
그리고 블록 덧셈부(230)는 적용하는 방식에 따라 임의의 HRTF 계수 블록, 또는 전체 HRTF 계수 블록에 주파수
<66>
영역의 임펄스응답 계수 블록( )을 블록 뎃셈연산하여 새로운 주파수 영역의 좌/우 HRTF 계수 블록을 산 출하고, 그 산출된 새로운 주파수 영역의 좌/우 HRTF 계수 블록을 신호 필터링부(140)로 전달한다. 좀더 구체적 으로 살펴보면, 블록 덧셈부(230)는 주파수 영역의 좌 HRTF 계수( )와 주파수 영역의 임펄스응답 계수 블록( )을 블록 덧셈연산하고(207), 주파수 영역의 우 HRTF 계수 블록( )과 주파수 영역의 임펄스 응답 계수 블록( )을 더하여(208), 새로운 주파수 영역의 좌/우 HRTF 계수 블록( , )을 신 호 필터링부(140)로 출력한다. 새로운 주파수 영역의 좌 HRTF 계수 블록( )은 하기의 [수학식 6]에 나타 나 있다.
수학식 6
<67> ,
여기서, 는 주파수 영역의 임펄스응답 계수 블록, 는 주파수 영역의 좌 HRTF 계수 블록을 나
<68>
타낸다.
도 3 은 본 발명에 따른 도 1의 신호 필터링부의 일실시예 상세구성도이다.
<69>
도 3에 도시된 바와 같이, 신호 필터링부(140)는 좌신호 블록 필터링부(310)와 우신호 블록 필터링부(320)를 포
<70>
함한다. 여기서, 좌신호 블록 필터링부(310)는 다수의 상수 곱셈부(311), 다수의 벡터 덧셈부(312, 314) 및 다 수의 벡터 곱셈부(313)를 포함한다. 또한, 우신호 블록 필터링부(320)는 다수의 상수 곱셈부(321), 다수의 벡터 덧셈부(322, 324) 및 다수의 벡터 곱셈부(323)를 포함한다.
좌신호 블록 필터링부(310)를 살펴보면, 상수 곱셈부(311)는 서브밴드별 각 채널(중앙, 전방좌측, 후방좌측, 전
<71>
방우측, 후방우측, 중앙)에 대한 주파수 영역의 좌 HRTF 계수 블록( , , , , , )과, 각 채널(중앙, 전방좌측, 후방좌측, 전방우측, 후방우측, 중앙)의 파워 이득값( , , , , , )과의 곱셈연산을 수행한다. 여기서, 상수 곱셈연산이란 블록 벡터와 상수값과의 곱셈연산을 말한다.
그리고 벡터 덧셈부(312)는 상수 곱셈부(311)에서 곱셈연산된 좌 HRTF 계수 블록을 좌측 채널(중앙, 전방좌측
<72>
및 후방좌측) 및 우측 채널(전방우측, 후방우측 및 중앙)별로 벡터 덧셈연산을 수행하여 가공한다. 여기서, 벡 터 덧셈연산이란 벡터와 벡터 간의 샘플별 덧셈연산을 말한다.
이어서, 벡터 곱셈부(313)는 벡터 덧셈부(312)에서 가공된 좌 HRTF 계수 블록과 좌신호 블록( )과의 벡
<73>
터 곱셈연산 및 가공된 좌 HRTF 계수 블록과 우신호 블록( )의 벡터 곱셈연산을 수행한다. 여기서, 벡터
곱셈연산이란 벡터와 벡터 간의 샘플별 곱셈연산을 말한다.
그리고 벡터 덧셈부(314)는 벡터 곱셈부(313)에서 좌 HRTF 계수 블록과 벡터 곱셈연산된 좌/우 신호 블록을 벡
<74>
터 덧셈연산하여 렌더링 좌신호 블록( )을 출력한다.
우신호 블록 필터링부(320)를 살펴보면, 상수 곱셈부(321)는 서브밴드별 각 채널(중앙, 전방우측, 후방우측, 전
<75>
방좌측, 후방좌측, 중앙)에 대한 주파수 영역의 우 HRTF 계수 블록( , , , , , )과, 각 채널(중앙, 전방우측, 후방우측, 전방좌측, 후방좌측, 중앙)의 파워 이득값( , , , , , )과의 상수 곱셈연산을 수행한다.
그리고 벡터 덧셈부(322)는 상수 곱셈부(321)에서 곱셈연산된 우 HRTF 계수 블록을 우측 채널(중앙, 전방우측
<76>
및 후방우측) 및 좌측 채널(전방좌측, 후방좌측 및 중앙)별로 벡터 덧셈연산을 수행하여 가공한다.
이어서, 벡터 곱셈부(323)는 벡터 덧셈부(322)에서 가공된 우 HRTF 계수 블록과 우신호 블록( )과의 벡
<77>
터 곱셈연산 및 가공된 우 HRTF 계수 블록과 좌신호 블록( )의 벡터 곱셈연산을 수행한다.
그리고 벡터 덧셈부(324)는 벡터 곱셈부(313)에서 우 HRTF 계수 블록과 벡터 곱셈연산된 좌/우 신호 블록을 벡
<78>
터 덧셈연산하여 렌더링 우신호 블록( )을 출력한다.
도 4 는 본 발명에 따른 도 1의 바이노럴 스테레오 합성 장치를 이용한 바이노럴 스테레오 복호화 장치의 일실
<79>
시예 구성도이다.
도 4에 도시된 바와 같이, 바이노럴 스테레오 복호화 장치(400)는 블록 연결부(410), 바이노럴 스테레오 합성
<80>
장치(100) 및 복호화부(420)를 포함한다. 여기서, 복호화부(420)는 블록 분리부(421), 제1 지연부(422), 제2 지 연부(423), 블록 덧셈부(424) 및 블록 곱셈부(425)를 포함한다. 입/출력 블록은 모두 시간 영역의 블록이라 간 주한다.
블록 연결부(410)는 오버랩된 신호 블록을 입력받고, 입력된 신호 블록에 제로 블록을 덧붙여서 블록을 연결한
<81>
다. 여기서, 는 현재 신호 블록, 는 이전 신호 블록을 나타낸다. 즉, 블록 연결부(410)는 현재 신호 블록( )에 제로 블록을 덧붙여서 이산 푸리에 변환하기 위한 블록 포맷으로 변환한다. 이는 도 2a에 도시된 블록 연결부(210)와 동일하다. 그러나 블록 연결부(410)는 제로 블록의 크기로 현재 신호 블록( ) 의 샘플 수만큼 덧붙인다. 이는 바이노럴 스테레오 합성 장치(100)가 기본적으로 필터링 수행 방법을 50% 오버 랩 애드(Overlap-add) 방식으로 주파수 영역 및 시간 영역에서 처리하기 위함이다.
바이노럴 스테레오 합성 장치(100)는 입력 신호 블록으로부터 가상음원 위치 기반의 공간큐 정보와 HRTF 계수에
<82>
기초한 필터링을 통하여 렌더링 신호 블록( )을 출력하며, 이는 하기의 [수학식 7]과 같이 서브블록 벡터로 표현될 수 있다.
수학식 7
<83>
여기서, 는 전반부 서브블록 벡터, 는 후반부 서브블록 벡터를 나타낸다.
<84>
그리고 복호화부(420)는 바이노럴 스테레오 합성 장치(100)로부터 출력된 렌더링 신호 블록( )을 바이노럴
<85>
스테레오 신호( )로 복호화하고, 윈도우 함수가 적용된 바이노럴 스테레오 신호( )를 오버랩하여 출력 한다.
구체적으로 살펴보면, 블록 분리부(421)는 렌더링 신호 블록( )을 동일한 크기의 서브블록으로 순차적으로
<86>
분할하여 전반부 서브블록 벡터( )와 후반부 서브블록 벡터( )로 분리한다.
그리고 제1 지연부(422)는 블록 분리부(421)에서 분리된 후반부 서브블록 벡터( )를 한 번 지연시킨다.
<87>
이어서, 제2 지연부(423)는 한 번 지연된 후반부 서브블록 벡터( )를 다시 지연시켜 두 번의 블록 지 연된 후반부 서브블록 벡터( )를 출력한다.
그리고 블록 뎃셈부(424)는 블록 분리부(421)로부터 출력된 전반부 서브블록 벡터( )와 제2 지연부(423)
<88>
로부터 출력된 두 번의 블록 지연된 후반부 서브블록 벡터( )의 블록 덧셈연산을 수행하여 바이노럴 스테레오 신호( )를 출력한다.
그리고 블록 곱셈부(425)는 바이노럴 스테레오 신호( )와 윈도우 함수 신호( )의 블록 곱셈연산을 수
<89>
행하여 윈도우 함수가 적용된 바이노럴 스테레오 신호( )를 구하고, 그 윈도우 함수가 적용된 바이노럴 스 테레오 신호( )를 오버랩하여 출력한다.
도 5 는 본 발명에 따른 공간큐 기반의 바이노럴 스테레오 합성 방법에 대한 일실시예 흐름도이다.
<90>
먼저, 신호 변환부(110)는 입력받은 시간 영역의 좌/우 오디오 신호( , )를 DFT 또는 FFT를 이용하
<91>
여 주파수 영역의 좌/우 오디오 신호( , )로 변환한다(502).
그리고 공간큐 정보 합성부(120)는 전송받은 공간큐 정보를 합성하여 서브밴드별 각 채널의 파워 이득값을 산출
<92>
한다(504). 여기서, 공간큐 정보 합성부(120)는 가상음원 위치정보 기반의 공간큐 정보를 입력받는다.
그리고 계수 변환부(130)는 HRTF 좌/우 계수 블록을 주파수 영역의 HRTF 좌/우 계수 블록으로 변환하여 신호 필
<93>
터링부(140)로 전달한다(506). 또한, 계수 변환부(130)는 렌더링하기 위한 필터 계수들을 주파수 영역의 필터 계수 블록으로 변환하여 신호 필터링부(140)로 전달할 수 있다.
그리고 신호 필터링부(140)는 HRTF 렌더링하기 위하여, 서브밴드별로 분할된 주파수 영역의 좌/우 신호 블록
<94>
( , )을 서브밴드별 각 채널의 파워 이득값( , , , , , ) 및 각 채널에 대한 주파수 영역의 좌/우 HRTF 계수 블록( , )에 기초하여 필터링한다(508). 다시 말 하면, 신호 필터링부(140)는 각 채널에 대한 가상음원이 음상 정위되도록, 각 채널에 대한 주파수 영역의 좌/우 HRTF 계수 블록을 서브밴드별 각 채널의 파워 이득값에 맞게 가공하고, 가공된 좌/우 HRTF 계수 블록에 따라 주 파수 영역의 좌/우 신호 블록을 필터링하여 렌더링 신호 블록( )을 출력한다.
이어서, 신호 역변환부(150)는 신호 필터링부(140)에서 필터링된 렌더링 신호 블록( )을 IDFT(Inverse-
<95>
DFT) 또는 IFFT(Inverse-FFT)를 이용하여 시간 영역의 좌/우 신호( / )로 변환한다(510).
한편, 전술한 바와 같은 본 발명의 방법은 컴퓨터 프로그램으로 작성이 가능하다. 그리고 상기 프로그램을 구성
<96>
하는 코드 및 코드 세그먼트는 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 상기 작성된 프로그램은 컴퓨터가 읽을 수 있는 기록매체(정보저장매체)에 저장되고, 컴퓨터에 의하여 판독되고 실행 됨으로써 본 발명의 방법을 구현한다. 그리고 상기 기록매체는 컴퓨터가 판독할 수 있는 모든 형태의 기록매체 를 포함한다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술
<97>
적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도
면에 의해 한정되는 것이 아니다.
도면의 간단한 설명
도 1 은 본 발명에 따른 공간큐 기반의 바이노럴 스테레오 합성 장치의 일실시예 구성도,
<98>
도 2a 는 본 발명에 따른 도 1의 계수 변환부의 일실시예 상세구성도,
<99>
도 2b 는 본 발명에 따른 도 2a의 계수 변환부에서의 계수 변환 과정에 대한 일실시예 설명도,
<100>
도 3 은 본 발명에 따른 도 1의 신호 필터링부의 일실시예 상세구성도,
<101>
도 4 는 본 발명에 따른 도 1의 바이노럴 스테레오 합성 장치를 이용한 바이노럴 스테레오 복호화 장치의 일실
<102>
시예 구성도,
도 5 는 본 발명에 따른 공간큐 기반의 바이노럴 스테레오 합성 방법에 대한 일실시예 흐름도이다.
<103>
* 도면의 주요 부분에 대한 부호의 설명
<104>
100 : 바이노럴 스테레오 합성 장치 110 : 신호 변환부
<105>
120 : 공간큐 정보 합성부 130 : 계수 변환부
<106>
140 : 신호 필터링부 150 : 신호 역변환부
<107>
도면 도면1
도면2a
도면2b
도면3
도면4
도면5
