이 논문에서는 음소의 클래스 정보를 이용하여 인식기에 인가되는 특 징벡터의 변별력을 개선함과 동시에 인식률을 향상 시킬 수 있는 특징벡 터의 선형 변환 방법을 제안한다. 제안하는 방법은 인식기의 클래스 정 보에 기반한 상대 엔트로피를 이용하여 클래스 내부의 거리는 가깝게 하
- 38 -
고, 클래스 상호간의 거리는 멀게 하는 특징벡터의 선형 변환 방법으로, 이 방법은 상대 엔트로피가 클수록 클래스 상호간의 유사도가 작아지므 로, 클래스에 대한 분류가 용이해진다는 점에 착안한 것이다. 그리고 특 징벡터의 변별력을 개선하는 변환 행렬은 클래스 상호간의 상대 엔트로 피에 대한 평균인 식 (4.3)의 divergence를 이용하여 목적함수를 정의 한 다음, 이 목적함수를 최대화하여 구하는데, 그 과정은 다음과 같다.
원시 특징벡터의 집합 와 특징벡터의 클래스 정보
그리고 변환 행렬 가 주어지고, 선형 변환된 특징
벡터의 집합이 라 하고, 의 클래스 정보가 의
클래스 정보와 동일하다고 하자. 또한 임의의 클래스 와 임의의 특징벡 터 의 조건부 확률밀도와 임의의 클래스 와 임의의 특징벡터 의 조건부 확률밀도가 각각 식(4.4)와 식 (4.5)와 같이 가우시안 분포를 가진다고 하자. 이때 divergence에 기반한 목적함수 는 식 (4.6)과 같다.
- 39 -
여기서 은 특징벡터의 차원을, 은 클래스의 개수를, 는 가 속 한 클래스의 색인을 구하는 함수를, 는 원시 특징벡터에 대한 클래스
의 공분산 행렬을, 는 원시 특징벡터에 대한 클래스 의 평균을, 는 선형 변환된 특징벡터에 대한 클래스 의 공분산 행렬을, 는 선형 변 환된 특징벡터에 대한 클래스 의 평균을 나타낸다.
이 논문에서는 natural gradient ascent방법을 사용하여 식 (4.6)의 목적함수를 변환 행렬 대하여 최대화하는데, 최적화 과정에서 요구되 는 변환 행렬 에 대한 목적함수의 변화량 는 식 (4.7)과 같이 근 사화하였다.
여기서 는 랜덤 변수의 선형 변환에 대한 확률 밀도함수의 변
- 40 -
환 이론에 의해, 와 의 관계가 식 (4.8)을 만족하므로, 식 (4.9)와 같이 전개된다.
그리고 식 (4.7)과 식 (4.9)를 완전히 전개하기 위해서는 클래스 Jacobian 행렬 의 행렬 값을 미분하는 수식인 의 계산이 필요하 다.
이 논문에서는 식 (4.9)의 를 전개하기 위해 선형 변환된 특징벡 터 를 식 (4.10)과 같이 원시 특징벡터 와 변환 행렬 의 곱으로 정의하였다. 그리고 가 서로 독립적인 요소로 이루 어져 있는 벡터이고, 가 대각 공분산 행렬(diagonal covariance matrix)을 가지는 가우시안 밀도라고 가정하여, 의 누적 분포 와 Jacobian 행렬 의 행렬식 를 식 (4.11)과 식 (4.12)로 정의
- 41 -
하였다. 위의 가정과 정의로부터 는 식 (4.13)의 체인 법칙과 식 (4.14)를 식 (4.12)에 적용해서 식 (4.15)와 같이 유도하였다.
- 42 -
식 (4.13)의 는 변환 행렬 의 행 열의 요소를 나타내고, 식 (4.10) – (4.15)의 은 특징벡터의 차원을 나타내며, 식 (4.14)는 에 대 한 식 (4.11)의 의 변화량을 의미한다.
목적함수 의 에 대한 변화량 는 식 (4.15)를 식 (4.7)과 식 (4.9)에 대입하여 구했으며, 식 (4.16)과 같다. 그리고 변환 행렬 의 재추정 식은 식 (4.17)과 같고 선형 변환된 특징벡터의 공분산 행렬 와 평균 의 재추정 식은 식 (4.18)과 식 (4.19)와 같다.
- 43 -
식 (4.17)-(4.19)의 재추정 식을 natural gradient ascent방법으로 반 복 수행하면, 목적함수 가 최대값을 가지는 , 그리고 에 도 달한다.
- 44 -
식 (4.17) – (4.19)의 는 학습률을 나타내고, 은 총 클래스의 개수를 나타낸다.
제 5 장 실험 및 고찰
이 장에서는 제안한 특징벡터의 변별적 변환방법을 검증하기 위해 수 행한 음성 데이터의 클러스터링 실험, 그리고 인식 실험의 실험 환경과 실험 결과에 대하여 소개한다. 첫 번째 절에서는 실험에 사용한 음성 코 퍼스에 관하여 서술하고, 두 번째 절에서는 특징벡터의 변별적 변환과 클러스터링 실험에 관하여 서술한 다음, 마지막 절에서 음성 인식 실험 에 관하여 논한다.