http://dx.doi.org/10.7840/kics.2015.40.5.924
음성 검출 기반의 저연산 이득 제어 알고리즘
김 상 균, 조 우 형*, 정 민 아**, 권 장 우°, 이 상 민°°
A Gain Control Algorithm of Low Computational Complexity based on Voice Activity Detection
Sang-Kuyn Kim, Woo-Hyeong Cho*, Min-A Jeong**, Jang-Woo Kwon°, Sangmin Lee°°
요 약
본 논문에서는 잡음 환경에서 적은 연산량으로 소형 음향기기의 음질 향상을 위한 새로운 저연산 이득 제어 알 고리즘을 제안한다. 대표적인 소형 음향기기인 보청기의 이득 제어 알고리즘은 입력 신호를 잡음 제거 한 후 이 신호의 파워를 기준으로 광역동범위압축 (wide dynamic range compression, WDRC)을 하기 때문에 불필요한 신 호까지 증폭된다. 제안된 이득 제어 알고리즘은 음성 검출기 (voice activity detection, VAD)의 결과를 이용하여 음성의 존재 유/무에 따라 적응적으로 이득을 제어한다. 성능 평가를 위해 제안된 알고리즘은 VAD를 적용하지 않은 알고리즘과 정상 및 비정상 잡음환경에서 다양한 조건을 부과하여 비교하였으며, 실험결과 제안된 알고리즘 이 전체 성능 및 잡음 구간에서 향상된 결과를 보였다.
Key Words : Low Computational Complexity, Noise Suppression, Gain Control, Voice Activity Detection
ABSTRACT
In this paper, we propose a novel approach of low computational complexity to improve the speech quality of the small acoustic equipment in noisy environment. The conventional gain control algorithm suppresses the noise of input signal, and then the part of wide dynamic range compression (WDRC) amplifies the undesired signal. The proposed algorithm controls the gain of hearing aids according to speech present probability by using the output of a voice activity detection (VAD). The performance of the proposed scheme is evaluated under various noise conditions by using objective measurement and yields superior results compared with the conventional algorithm.
※ 본 연구는 미래창조과학부 및 정보통신산업진흥원의 IT융합 고급인력과정 지원사업 (NIPA-2014-H0401-1 4-1009)의 지원과 2010년 도 정부(교육부)의 재원으로 한국연구재단의 지원을 받아 수행된 기초연구사업(2010-0020163)의 지원으로 수행되었습니다.
First Author : Inha University Division of Electronic Engineering, [email protected], 학생회원
° Corresponding Author : Inha University Division of Computer Engneering and Information, [email protected], 정회원
°° Corresponding Author : Inha University Division of Electronic Engineering, [email protected], 정회원
* Inha University Division of Electronic Engineering, [email protected]
** Mokpo National University Department of Computer Engineering, [email protected], 정회원 논문번호：KICS2015-04-090, Received April 2, 2015; Revised May 14, 2015; Accepted May 14, 2015
Ⅰ. 서 론
현대 기술의 발달로 시간이 지남에 따라 기존의 전 자기기들이 점점 소형화 되어가고 있다. 음향기기도 또한 점차 동일하거나 더 나은 성능을 유지하면서 크
기는 작아지고 있다. 대표적인 소형 음향기기 중 하나 가 보청기이며, 점차 착용자의 귓속으로 들어가 외부 에서 보이지 않게 소형화돼가는 추세이다. 크기가 작 아지면서 우수한 성능을 유지하기 위해 해결해야할 문제 중 하나가 전력 소모를 줄이는 것이다. 전력 소
모를 줄이기 위해서는 불필요한 계산을 줄이면서 기존 의 성능을 유지하거나 더 나은 성능을 보여야한다. 이 를 위해 기존의 알고리즘에 대한 충분한 이해와 분석 을 통해 문제점을 파악하고 해결할 방법을 제시한다.
보청기는 사용자가 착용하여 소리를 증폭시켜주는 전자음향 기기이다. 마이크로부터 입력된 신호는 잡음 제거 (noise suppression, NS), 음향 피드백 제거 (acoustic feedback cancelation, AFC), 광역동범위압 축 (wide dynamic range compression, WDRC) 등의 다양한 신호처리를 거치며 착용자의 청력 손실에 따 라 주파수 대역별로 증폭하여 리시버 (receiver)를 통 해 출력된다[1,2]. 보청기 착용자는 리시버에서 출력된 신호를 듣게 되며 실제 소리와의 차이, 배경 잡음, 음 향 피드백 등의 원치 않는 불편함에 노출돼 있다. 특 히 보청기를 착용하기 전에 비해 상대적으로 주변의 다양한 잡음이 크게 들리는 문제는 사용자에게 피로 감과 불편함을 느끼게 하여 보청기 착용을 멀리하는 원인 중의 하나이다. 때문에 소리의 품질을 높이고 사 용자의 어음 인지력을 높이기 위한 잡음 제거 알고리 즘은 보청기에 필수적 기술이다[3,4].
보청기에서 또 다른 주요 기술은 난청인의 줄어든 가청영역으로 증폭 신호를 압축하는 WDRC 알고리 즘이다. 난청인의 청력 특성은 충분히 큰소리는 정상 인과 비슷하게 듣지만 작은 소리는 듣지 못하는 경향 이 있다. 따라서 보청기의 이득은 입력 신호의 파워가 작으면 많게 부과하고 크면 적게 부과해 줘야한다. 하 지만 잡음 제거 알고리즘이 WDRC 알고리즘보다 먼 저 수행되기 때문에 줄어든 잡음 전력이 증폭된다. 이 는 보청기 착용자에게 원치 않는 소리까지 들려주게 되어 불편함과 어음 인지력을 떨어뜨리는 결과를 초 래한다[5].
본 논문에서는 음성 검출기 (voice activity detection, VAD)를 적용하여 잡음 제거의 출력 신호 에 음성 활동하는 구간에서만 WDRC 알고리즘을 적 용하고 잡음만 존재하는 구간에서는 잡음을 억제한 신호를 증폭하지 않는 새로운 적응 이득 제어 알고리 즘을 제안한다. 먼저 입력된 신호는 VAD를 이용하여 음성이 활동을 판별하고 잡음 제거 알고리즘에 일괄 적으로 처리를 거친 후 VAD 결과에 따라 선택적으로 WDRC를 수행한다. 이러한 VAD 기술은 음성인식 알고리즘에서 전처리로 많이 쓰이며 해양 (information communication technology, ICT) 분야 에서도 사용가능한 기술이다[6]. 제안된 적응 이득 제 어 알고리즘은 기존의 일관적인 이득 제어 알고리즘 과 비교하였으며 음성 구간에서만 WDRC를 수행함
으로써 전력소모를 줄였을 뿐만 아니라 향상된 성능 을 보였다.
본 논문의 II 장에서는 기존의 이득제어 알고리즘 에 대해 소개하고 III 장에서는 VAD 알고리즘을 이용 한 제안된 적응 이득 제어 알고리즘에 대해 논한다.
IV 장에서는 제안된 방법의 우수성을 기존의 알고리 즘과 성능 비교를 통해 보여주며, 마지막으로 V 장에 서 결론을 맺는다.
Ⅱ. 기존의 이득 제어 알고리즘
보청기에는 다양한 신호처리 기술이 적용돼 있다.
이중에서 리시버를 통해 출력되는 신호의 이득 값에 크게 영향을 주는 알고리즘은 잡음 제거 알고리즘과 WDRC 알고리즘 그리고 음향 피드백 제거 알고리즘 이다. 하지만 음향 피드백은 발생 빈도가 배경 잡음에 비해 상대적으로 적다. 따라서 이번 장에서는 보청기 에서 사용되는 잡음 제거 알고리즘과 WDRC 알고리 즘에 대한 설명과 전체적인 흐름을 소개한다. 그림 1 은 보청기 대표적인 보청기 알고리즘에 대한 블록도를 보여준다. 보이는 것처럼 잡음이 섞인 입력신호는 잡 음 제거 알고리즘를 거친 후 WDRC를 수행하게 된다.
일반적으로 시중에 판매되는 보청기에 사용되는 알 고리즘은 아직까지 표준이 없고 실제 프로그램 코드 가 공개되지 않는다. 따라서 본 논문에서는 성능 비교 데이터를 수집한 통계적 모델 기반의 잡음 제거 알고 리즘과 WDRC에 대한 기본적인 구조를 설명한다.
그림 1. 기존의 보청기 알고리즘 블록도
Fig. 1. Conventional block diagram of hearing aids 2.1 잡음 제거 알고리즘
마이크에 입력된 신호는 배경잡음 이 항상 존 재하는 상황에서 원하는 신호인 음성 신호 가 더 해진 라 볼 수 있다. 여기서 는 이산 시간을 나 타낸다. 입력 신호를 이산 퓨리에 변환 (discrete Fourier transform, DFT)을 취하면 아래와 같이 주파 수 영역의 신호로 변환 된다.
(1)
여기서 , 그리고 은 번째 프레 임에서 번째 주파수 채널의 입력 신호, 음성 신호 그 리고 잡음 신호의 DFT 계수이다. 잡음 제거를 위한 이 득 함수의 파라미터인 사전 신호 대 잡음비 와 사후 신호 대 잡음비 를 구하면 아래와 같다[7].
(2)
(3)
여기서 와 은 음성과 잡음 신호의 분산이다. 사후 신호 대 잡음비는 음성 부재 구간에서 갱신되는 신호로부터 직접 추정이 가능하지만 사전 신호 대 잡음비는 깨끗한 음성 신호가 필요하므로 직 접적으로 구하는데 한계가 있다. 따라서 decision directed (DD) 기법을 이용하여 아래와 같이 간접적 으로 추정한다[8].
(4)
여기서 는 스무딩 파라미터로 일반적으로 0.99를 사 용하며, 은 한 프레임 전에서 추정된 잡음이 제거된 음성 신호의 스펙트럼 성분이며 Ephraim과 Malah가 제안한 최소 평균제곱오차 (minimum mean square error, MMSE)를 이용하여 다음과 같이 구한다[8].
(5)
위의 MMSE 기반의 음성 신호 추정식을 잡음 제거를 위한 이득을 이용한 식으로 표현하면 아래와 같다.
(6)
여기서 이득 는 아래와 같이 구할 수 있다[8].
∙
(7)여기서 와 은 0차, 1차 변형된 베셀 (modified Bessel) 함수를 나타내며, 은 다음과 같다.
(8)
2.2 Wide Dynamic Range Compression 난청인의 좁아진 가청대역을 보상해 주기위한 기술 인 WDRC는 잡음 제거를 거친 신호 의 크기 에 따라 이득을 조절해 준다. 추정된 음성 신호
의 크기가 작으면 많은 이득을 주고 크기가 크 면 적은 이득을 부과한다. 선형 증폭을 사용하여 아래 와 같이 이득을 조절하여 출력값 을 구한다.
∙
∙ ≤
(9)
여기서 와 는 보청기 사용자에 따라 변하는 값으 로 사용자의 청력이 나쁠수록 값은 커지고 청력 범 위가 좁을수록 값은 커진다.
WDRC 알고리즘은 잡음 제거 알고리즘이나 피드 백 제거 알고리즘과 달리 보청기 사용자에 따라 파라 미터 및 알고리즘을 맞춰주기 때문에 본 논문에서는 식 (13)을 이용하고 과 는 2, 1.3 그리고 과
는 30 dB, 70 dB를 사용한다.
Ⅲ. 제안된 이득 제어 알고리즘
II 장에서는 기존의 대표적인 보청기 알고리즘인 잡음 제거와 WDRC에 대해 알아보고 전체적인 흐름 을 보았다. 잡음 제거 알고리즘은 입력 신호의 잡음 성분을 줄이기 위해 이득을 조절하며, 이렇게 잡음이 억제된 신호가 WDRC의 입력으로 사용된다. WDRC 는 입력 신호가 작으면 증폭을 많이 해주기 때문에 잡 음 제거 알고리즘에 의해 억제된 잡음 신호들이 증폭 되는 상반된 처리를 한다. 이러한 모순된 신호처리는 최종 출력신호의 음질을 나쁘게 할 뿐만 아니라 일관 적으로 WDRC를 수행하게 되어 전력 소모 또한 높이 는 결과를 초래한다. 따라서 이번 장에는 전력소모를 줄이면서 음질 또한 개선할 수 있는 효과적인 적응 이 득제어 알고리즘을 소개한다.
제안된 알고리즘은 잡음 제거 알고리즘을 수행하기 전에 음성 검출기를 통해 음성의 활동 유/무를 판단한
그림 2. 음성 검출기를 이용한 제안된 알고리즘의 순서도 Fig. 2. Flowchart of proposed algorithm using the VAD for hearing aids
다. 본 논문에서 사용한 음성 검출기는 통계적 모델 기반의 음성 검출 방법을 사용한다. 음성의 활동 여부 에 따른 존재와 부재를 가설 와 으로 표현하면 아래와 같이 쓸 수 있다[9].
: (10)
: . (11)
음성과 잡음 신호가 서로 독립이고 복소 가우시안 분포를 따른다고 가정하면, 위의 가설을 조건부 확률로 적용한 확률밀도함수는 다음과 같이 표현할 수 있다[7].
(12)
∙
(13)위의 두 식을 이용하여 우도비를 구하면 아래와 같 이 표현할 수 있다.
≡
(14)음성 활동을 판별하는 결정식은 위에서 구한 우도 비를 기하 평균 취하여 아래와 같이 문턱값 와 비교 하여 음성 활동 구간을 판단한다[9].
(15)
여기서 은 전체 주파수 채널의 개수이다.
그림 2는 제안된 알고리즘의 전체 흐름을 나타낸 다. 제안된 알고리즘은 그림 1의 A 분기점에서 입력 을 얻었으며, 출력값은 B 분기점의 입력으로 사용된 다. 그림 2에서도 확인할 수 있듯이 제안된 알고리즘 은 음성 검출기에서 음성이 활동한다고 판단한 신호 만을 대상으로 WDRC을 수행하며 그렇지 않은 신호 는 잡음 제거만 수행하여 출력된다.
Ⅳ. 실험 결과 비교 및 분석
본 논문에서는 제안된 적응 이득 제어 알고리즘의 객관적인 성능을 평가하기 위해 ITU-T P.862 PESQ 테스트와 배경잡음 왜곡 정도 (BAK) 그리고 전체 음 질 (OVRL)을 사용하였다[10]. 실험에 사용된 데이터는 한국인 남성, 여성 화자 각각 4 명씩 8 명이 12 개의 문장을 발음한 총 96 개의 음성 파일을 8 kHz로 샘플 링 하였다. 다양한 잡음 환경을 만들기 위해 위의 깨 끗한 음성 신호에 babble, street, white 잡음을 이용하 여 신호 대 잡음비 (signal-to-noise ratio, SNR)를 각 각 5, 10, 15 dB 부과여 테스트 파일로 사용했다. 각 각의 문장에 대해 PESQ, BAK 그리고 OVRL 수치를 구하였으며 표 2는 각각의 조건에 따른 평가 수치를 평균하여 구한 것이다.
표 2를 보면 PESQ의 경우 street 잡음을 10, 15 dB 에서 약 0.02의 향상을 보였으며 나머지의 경우에서 는 미미한 성능 향상을 보였다. 이는 기존의 알고리즘 의 경우 입력 신호의 음성 활동에 관계없이 모든 신호 에 대해 WDRC를 수행 했던 반면 제안된 알고리즘은 음성이 존재하는 구간만 WDRC를 수행했기 때문에 음성의 왜곡 정도를 평가하는 PESQ는 성능이 거의 동일하게 나온 것을 확인할 수 있다. 배경 잡음의 왜
Conventional method Proposed algorithm
Noise SNR
(dB) PESQ BAK OVRL PESQ BAK OVRL
Babble
5 2.043 1.684 2.322 2.044 1.703 2.346
10 2.349 1.939 2.724 2.348 1.962 2.747
15 2.687 2.208 3.141 2.671 2.232 3.152
Street
5 2.298 1.892 2.750 2.308 1.899 2.772
10 2.613 2.138 3.130 2.631 2.151 3.157
15 2.912 2.362 3.471 2.931 2.380 3.495
White
5 1.987 1.795 2.108 1.981 1.800 2.157
10 2.300 2.020 2.491 2.290 2.030 2.532
15 2.621 2.245 2.868 2.615 2.264 2.908
표 1. 다양한 잡음 환경에서 기존의 알고리즘과 제안된 알고리즘의 PESQ, BAK 그리고 OVL 수치 비교 Table 1. PESQ, BAK and OVL scores of the conventional method and proposed algorithm
곡 정도를 보여주는 BAK 수치를 보면 전체적으로 제 안된 알고리즘의 성능이 높게 나온 것을 확인 할 수 있다. 이는 음성이 활동하지 않는 잡음 구간에서는 제 안된 알고리즘이 WDRC를 수행하지 않기 때문에 좋 은 성능을 보여준다. 끝으로 전체 성능을 보여주는 OVRL의 경우 PESQ는 거의 비슷하거나 제안된 알고 리즘이 약간 높은 성능을 보여준 것에 반해 잡음의 왜 곡 정도를 평가하는 BAK의 성능이 높게 나왔기 때문 에 제안된 알고리즘이 기존의 알고리즘보다 전체 잡 음 조건에서 우수한 성능을 보인다.
제안된 알고리즘의 음성 검출기는 통계적 모델을 기반한 잡음 제거 알고리즘의 파라미터로부터 유도된 값을 이용하여 음성의 활동을 판단한다. 따라서 기존 의 알고리즘과 비교하였을 때 적은 계산량의 증가로 향상된 음질을 얻을 수 있으며, 선택적으로 WDRC를 수행함으로써 전력소모 또한 줄일 수 있다.
Ⅴ. 결 론
본 논문에서는 다양한 잡음 환경에서 보청기의 음 질 향상을 위해 음성 검출기를 이용하여 추정된 음성 신호를 선택적으로 WDR 처리하는 적응 이득 제어 알고리즘을 제안하였다. 각 주파수 채널별로 우도비를 구하여 음성의 활동 여부를 판단하였으며 이를 통해 잡음제거 알고리즘의 출력을 WDRC를 수행할 것인 지에 대한 판단 기준으로 사용하였다. 제안된 알고리 즘의 성능 평가를 위해 기존의 알고리즘과 객관적 음 질 평가 지표인 PESQ, BAK 그리고 OVRL를 사용하 여 비교하였다. 표 1에서 확인 한 것처럼 제안된 알고 리즘이 기존의 알고리즘보다 우수한 성능을 보였다.
따라서 본 논문에서 제안한 알고리즘이 기존 방법의 문제였던 잡음 제거와 WDRC 알고리즘의 서로 상반 된 이득 제어를 해결함으로써 계산량을 줄이면서 음 질을 향상 시킬 수 있는 것을 확인할 수 있었다.
References
[1] B. Edwards, “The future of hearing aid technology,” Trends in Amplification, vol. 11, no. 1, pp. 31-46, Mar. 2007.
[2] H. M. Yoon and H. W. Lee, “A new adaptive algorithm for the acoustic echo canceller,” J.
Commun. Networks (JCN), vol. 26, no. 6, pp.
77-81, Jun. 2001.
[3] C. M. Lee, S. H. Bae, J. H. Kim, and N. S.
Kim, “Spectro-temporal filtering based on soft decision for stereophonic acoustic echo suppression,” J. Commun. Networks (JCN), vol. 39C, no. 12, pp. 1346–1351, Nov. 2014.
[4] S. M. Kuo and D. R. Morgan, “Noise reduction by using eigenfilter in cyclic prefix system based on SNR,” J. Commun. Networks (JCN), vol. 39B, no. 10, pp. 700–707, Oct.
2014.
[5] J. G. Kim, “A multichannel compression strategy for a digital hearing Aid,” in Proc.
ICASSP-97, Munich, Germany, pp. 411-415, 1997.
[6] S. B. Moon, Y. B. Chae, and S. H. Jun,
“Optimal feature parameters extraction for
speech recognition of ship's wheel orders,” J.
the Korean Soc. Marine Environment &
Safety, vol. 13, no. 2, pp. 161-167, 2007.
[7] J. Sohn, N. S. Kim, and W. Sung, “A statistical model-based voice activity detection,” IEEE Signal Processing Lett., vol.
6, no. 1, pp. 1-3, Jan. 1999.
[8] Y. Ephraim and D. Malah, “Speech enhancement using a minimum mean-square error short-time spectral amplitude estimator,”
IEEE Trans. Acoustics, Speech and Signal Processing, vol. ASSP-32, no. 6, pp.
1190-1121, Dec. 1984.
[9] Y. S. Park and S. Lee, “Voice activity detection using global speech absence probability based on teager energy for speech enhancement,” IEICE Trans. Inf. and Syst., vol. E95-D, no. 10, pp. 2568-2571, Oct. 2012.
[10] Y. Hu and P. C. Loizou, “Evaluation of objective quality measures for speech enhancement,” IEEE Trans. Audio Speech Lang. Process., vol. 16, no. 1, pp. 229–238, Jan. 2008.
김 상 균 (Sang-Kyun Kim)
2008년 2월 : 인하대학교 전자 공학과 학사
2011년 10월 : 인하대학교 전자 공학부 석사
2013년 3월~현재 : 인하대학교 전자공학부 박사과정
<관심분야> Speech Signal Processing, Acoustic Signal Processing
조 우 형 (Woo-Hyeong Cho)
2015년 2월 : 경기과학기술대학 교 전기제어공학과 학사 2015년 3월~현재 : 인하대학교
전자공학부 석사과정
<관심분야> Bio-Signal Processing, Human Interface
정 민 아 (Min-A Jeong)
1992년 2월 : 전남대학교 이학사 1994년 2월 : 전남대학교 이학
석사
2002년 2월 : 전남대학교 이학 박사
2002년 4월~2003년 2월 : 광주 과학기술원정보통신공학과 Post-Doc
2003년 4월~2005년 2월 : 전남대학교 전자통신기술 연구소 Post-Doc
2011년 9월~2013년 2월 : Cleveland Clinic Research 2005년 3월~현재 : 목포대학교 컴퓨터공학과 부교수
<관심분야> 데이터베이스/데이터마이닝, 생체인식시 스템, 무선통신응용분야, 임베디드시스템
권 장 우 (Jang-Woo Kwon)
1990년 2월 : 인하대학교 전자 공학과 공학사
1992년 2월 : 인하대학교 전자 공학과 공학석사
1996년 8월 : 인하대학교 전자 공학과 공학박사
1996년~1998년 : 특허청 사무관 1998년~2009년 : 동명대학교 컴퓨터공학과 부교수 2006년~2012년 : 정보통신산업진흥원 인재양성단장 2012년~현재 : 인하대학교 컴퓨터공학과 교수
<관심분야> HCI, 신호처리, 지능형 시스템
이 상 민 (Sangmin Lee)
1987년 2월 : 인하대학교 전자 공학과 졸업 (학사)
1989년 2월 : 인하대학교 대학 원 전자공학과 졸업 (석사) 2000년 2월 : 인하대학교 대학
원 전자공학졸업 (박사) 1987년~1994년 : LG 이노텍 선
임연구원
1995년~2002년 : 삼성전자 종합기술원 책임연구원 2002년~2004년 : 한양대학교 의과대학 의공학교실
연구교수
2005년~2006년 9월 : 전북대학교 생체정보공학부 조 교수
2006년 9월~현재 : 인하대학교 전자공학과 교수
<관심분야> Bio-Signal Processing, Psyco-Acoustics, Sports Engineering, Brain-Machine Interface
