• 검색 결과가 없습니다.

발명의 설명 기 술 분 야

N/A
N/A
Protected

Academic year: 2022

Share "발명의 설명 기 술 분 야"

Copied!
13
0
0

로드 중.... (전체 텍스트 보기)

전체 글

(1)

(19) 대한민국특허청(KR) (12) 공개특허공보(A)

(11) 공개번호 10-2018-0065762 (43) 공개일자 2018년06월18일 (51) 국제특허분류(Int. Cl.)

G06N 3/02 (2006.01) G06N 3/10 (2006.01) G10L 25/30 (2013.01)

(52) CPC특허분류

G06N 3/02 (2013.01) G06N 3/10 (2013.01)

(21) 출원번호 10-2016-0167007 (22) 출원일자 2016년12월08일 심사청구일자 2018년02월02일

(71) 출원인

한국전자통신연구원

대전광역시 유성구 가정로 218 (가정동) (72) 발명자

정훈

대전광역시 유성구 상대남로 26 박전규

대전광역시 유성구 대덕대로541번길 68, 103동 205호 (도룡동, 현대아파트)

(뒷면에 계속) (74) 대리인

특허법인지명 전체 청구항 수 : 총 10 항

(54) 발명의 명칭 매니폴드 제약 조건에 기반한 심층 신경망 압축 방법 및 그 장치

(57) 요 약

본 발명의 일면에 따른 심층 신경망 압축 방법은, 상기 심층 신경망의 은닉층 또는 출력층의 행렬을 입력받는 단 계; 상기 은닉층 또는 출력층의 비선형 구조를 표현하는 행렬을 연산하는 단계; 및 상기 비선형 구조를 표현하는 행렬에 의한 제약 조건을 이용하여 상기 은닉층 또는 출력층의 행렬을 분해하는 단계를 포함하는 것을 특징으로 한다.

대 표 도

- 도3

(2)

(52) CPC특허분류

G10L 25/30 (2013.01) (72) 발명자

이성주

대전광역시 유성구 가정로 63, 103동 1402호(신성 동, 럭키하나아파트)

이윤근

대전광역시 서구 청사서로 11, 103동 1406호 (월평 동, 무지개아파트)

이 발명을 지원한 국가연구개발사업 과제고유번호 1711035241 부처명 미래창조과학부

연구관리전문기관 정보통신기술진흥센터 연구사업명 SW컴퓨팅산업원천기술개발

연구과제명 언어학습을 위한 자유발화형 음성대화처리 원천기술 개발 기 여 율 1/1

주관기관 한국전자통신연구원 연구기간 2016.03.01 ~ 2017.02.28

(3)

명 세 서 청구범위

청구항 1

하나이상의 프로세서에 의해 수행되는 심층 신경망 압축 방법에 있어서, 상기 심층 신경망의 은닉층 또는 출력층의 행렬을 입력받는 단계;

상기 은닉층 또는 출력층의 비선형 구조를 표현하는 행렬을 연산하는 단계; 및

상기 비선형 구조를 표현하는 행렬에 의한 제약 조건을 이용하여 상기 은닉층 또는 출력층의 행렬을 분해하는 단계;

를 포함하는 심층 신경망 압축 방법.

청구항 2

제1항에 있어서, 상기 연산하는 단계는

상기 비선형 구조를 매니폴드 구조로 표현하여 연산하는 것 인 심층 신경망 압축 방법.

청구항 3

제2항에 있어서, 상기 연산하는 단계는

상기 매니폴드 구조를 표현하는 행렬은 라플라시안 행렬(Laplacian Matrix)을 이용하여 구하는 것 인 심층 신경망 압축 방법.

청구항 4

제1항에 있어서, 상기 분해하는 단계는

상기 은닉층 또는 출력층을 하기 수식을 만족하는 행렬들로 분해하는 것 인 심층 신경망 압축 방법.

[수식]

( : 은닉층 또는 출력층 행렬, U, V: 은닉층 또는 출력층 행렬을 분해한 행렬, : 라그랑쥬 승수(Lagrange Multiplier), B: 심층 신경망의 비선형 구조를 나타내는 라플라시안 행렬)

청구항 5

제4항에 있어서, 상기 수식을 만족하는 행렬들을 구하는 것은

인 C를 계산하는 단계;

(4)

C를 촐레스키 분해(Cholesky Decomposition) 하여 로 분해하는 단계;

상기 에 의해 을 계산하는 단계;

상기 를 로 분해하는 단계; 및

상기 를 이용하여 를 구하는 단계;

를 포함하여 행렬들을 구하는 것인 심층 신경망 압축 방법.

청구항 6

하나이상의 프로세서를 포함하는 심층 신경망 압축 장치에 있어서, 상기 프로세서는, 상기 심층 신경망의 은닉층 또는 출력층의 행렬을 입력받는 입력부;

상기 은닉층 또는 출력층의 비선형 구조를 표현하는 행렬을 연산하는 연산부; 및

상기 비선형 구조를 표현하는 행렬에 의한 제약 조건을 이용하여 상기 은닉층 또는 출력층의 행렬을 분해하는 분해부;를 포함하여 구현하는 것

인 심층 신경망 압축 장치.

청구항 7

제6항에 있어서, 상기 연산부는

상기 비선형 구조를 매니폴드 구조로 표현하여 연산하는 것 인 심층 신경망 압축 장치.

청구항 8

제7항에 있어서, 상기 연산부는

상기 매니폴드 구조를 표현하는 행렬은 라플라시안 행렬을 이용하여 구하는 것 인 심층 신경망 압축 장치.

청구항 9

제6항에 있어서, 상기 분해부는

상기 은닉층 또는 출력층을 하기 수식을 만족하는 행렬들로 분해하는 것 인 심층 신경망 압축 장치.

[수식]

( : 은닉층 또는 출력층 행렬, U, V: 은닉층 또는 출력층 행렬을 분해한 행렬, : 라그랑쥬 승수(Lagrange Multiplier), B: 심층 신경망의 비선형 구조를 나타내는 라플라시안 행렬)

(5)

청구항 10

제9항에 있어서, 상기 분해부는

인 C를 계산하는 단계;

C를 촐레스키 분해(Cholesky Decomposition) 하여 로 분해하는 단계;

상기 에 의해 을 계산하는 단계;

상기 를 로 분해하는 단계; 및

상기 를 이용하여 를 구하는 단계;

를 포함하여 상기 수식을 만족하는 행렬 U 및 V를 구하는 것 인 심층 신경망 압축 장치.

발명의 설명 기 술 분 야

본 발명은 심층 신경망 압축에 관한 것으로서, 보다 구체적으로는 시스템 자원이 제한된 내장형 단말기에서 심 [0001]

층 신경망 기반의 음향 모델을 보다 효율적으로 계산하기 위해 심층 신경망을 압축하는 방법 및 그 장치에 관한 것이다.

배 경 기 술

일반적으로 음성 인식 시스템은 수학식 1과 같이 주어진 특징 파라미터(Parameter) X에 대해 최대 우도(Maximum [0003]

Likelihood)를 출력하는 단어 Word를 구하는 문제이다.

수학식 1

[0004]

이때, 세 개의 확률 모델 는 각각 음향 모델, 발음 모델, 언어 모델

[0005]

을 나타낸다.

언어 모델 P( ) 는 단어 연결간에 대한 확률 정보를 포함하고 있고 발음 모델 P(M| )는 단어 [0006]

가 어떤 발음 기호로 구성되었는지에 대한 정보를 표현한다. 음향 모델 P(X|M) 는 발음 기호에 대해 실제 특징 벡터 X 를 관측할 확률을 모델링한다.

이 3가지 확률 모델 중, 음향 모델 P(X|M)는 심층 신경망을 사용한다.

[0007]

심층 신경망은 복수개의 은닉층(Hidden Layer)과 최종 출력층으로 구성되는데, 심층 신경망에서 가장 큰 연산량 [0008]

을 차지하는 것은 은닉층의 웨이트 매트릭스(Weight Matrix)인 의 계산이다.

일반적인 고성능 컴퓨터 시스템에서는 이러한 복잡한 행렬 계산에서 연산량의 문제가 없으나, 스마트 폰 등 연 [0009]

산 자원이 한정된 환경에서는 행렬 계산의 연산량이 문제가 된다.

(6)

종래에는 심층 신경망의 연산 복잡도를 줄이기 위해 보편적으로 TSVD(Truncated Singular Value [0010]

Decomposition) 기반의 행렬 분해 방식을 사용하였다.

이는 수학식 2와 같이 M×M 의 은닉층 행렬 혹은 M×N 의 출력층 행렬인 W 를 M×K, K×M 혹은 M×K, K×N 행렬 [0011]

U, V로 근사화 하는 방식이다.

수학식 2

[0012]

이때 Rank(UV)=K≪Rank(W) 가 된다.

[0013]

이렇게 TSVD 기반으로 W를 UV로 분해하는 것은 결국 수학식 3과 같이 W와 UV간의 프로베니우스 놈(Frobenius [0014]

Norm) 또는 유클리드 거리(Euclidian Distance)를 최소로 하는 랭크 K의 행렬 U와 V를 구하는 것이 된다.

수학식 3

[0015]

하지만 심층 신경망의 각 은닉층은 비선형 특성을 모델링하고 있는데 반해 유클리드 거리 조건을 만족하는 해를 [0016]

구하면 이러한 비선형 특성이 변경되는 문제가 발생한다.

이러한 기하학적인 구조의 변이는 음성 인식 시스템의 인식 성능에 영향을 미치므로 이러한 은닉층의 비선형 구 [0017]

조를 반영할 수 있는 심층 신경망의 근사화가 필요하다.

발명의 내용 해결하려는 과제

본 발명은 전술한 바와 같은 기술적 배경에서 안출된 것으로서, 음성 인식을 위한 심층 신경망의 비선형 구조를 [0019]

유지하면서 연산량을 줄일 수 있는 심층 신경망 압축 방법 및 그 장치를 제공하는 것을 그 목적으로 한다.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로 [0020]

부터 당업자에게 명확하게 이해될 수 있을 것이다.

과제의 해결 수단

전술한 목적을 달성하기 위한 본 발명의 일면에 따른 심층 신경망 압축 방법은, 상기 심층 신경망의 은닉층 또 [0022]

는 출력층의 행렬을 입력받는 단계; 상기 은닉층 또는 출력층의 비선형 구조를 표현하는 행렬을 연산하는 단계;

및 상기 비선형 구조를 표현하는 행렬에 의한 제약 조건을 이용하여 상기 은닉층 또는 출력층의 행렬을 분해하 는 단계를 포함하는 것을 특징으로 한다.

본 발명의 다른 일면에 따른 심층 신경망 압축 장치는, 상기 심층 신경망의 은닉층 또는 출력층의 행렬을 입력 [0023]

받는 입력부; 상기 은닉층 또는 출력층의 비선형 구조를 표현하는 행렬을 연산하는 연산부; 및 상기 비선형 구 조를 표현하는 행렬에 의한 제약 조건을 이용하여 상기 은닉층 또는 출력층의 행렬을 분해하는 분해부;를 포함 하여 구현하는 것을 특징으로 한다.

발명의 효과

본 발명에 따르면, 심층 신경망의 비선형 구조를 유지하며 심층 신경망의 압축을 수행함으로써 계산의 복잡도를 [0025]

(7)

줄여 연산량을 줄이면서도 오류 확률은 줄일 수 있는 효과가 있다.

도면의 간단한 설명

도 1은 종래기술에 따른 심층 신경망의 기하학적 구조 변이를 도시한 도면.

[0027]

도 2는 본 발명의 일실시예에 따른 심층 신경망의 기하학적 구조를 유지하기 위한 라플라시안 행렬의 예시도.

도 3은 본 발명의 일실시예에 따른 매니폴드 제약 조건에 기반한 심층 신경망 압축 방법의 흐름도.

도 4는 본 발명의 일실시예에 따른 매니폴드 제약 조건에 기반한 심층 신경망 압축 장치의 구조도.

도 5는 본 발명의 일실시예에 따른 매니폴드 제약 조건에 기반한 심층 신경망 압축 방법이 실행되는 컴퓨터 시 스템의 구조도.

발명을 실시하기 위한 구체적인 내용

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 [0028]

예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포 함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.

이하, 본 발명의 바람직한 실시예에 대하여 첨부한 도면을 참조하여 상세히 설명하기로 한다.

[0030]

음성인식을 위한 확률모델 중 음향 모델 는 심층 신경망을 사용하여 구한다.

[0031]

일반적으로 심층 신경망은 은닉층들과 출력층으로 구성되어 있고, 은닉층은 수학식 4와 같이 나타난다.

[0032]

수학식 4

[0033]

입력 신호 에 대해 의 아핀 변환(Affine Transform)을 수행해 를 구하고, 비선형 활성화 함수 [0034]

를 적용함으로써 다음 은닉층 z를 구할 수 있다.

이때, 는 각각 웨이트 매트릭스와 바이어스 벡터(Bias Vector)를 나타낸다. 또한, 비선형 활성화 함수는 [0035]

표 1과 같은 다양한 함수들이 이용된다.

(8)

표 1

[0036]

심층 신경망의 마지막 층인 출력층에서는 수학식 5와 같이 소프트맥스(Softmax) 연산을 통해 각 노드의 출력값 [0037]

을 확률값으로 정규화한다.

수학식 5

[0038]

즉, L번째 출력층의 N개의 모든 노드에 대한 출력 을 구한 후 각 노드 출력값들을 [0039]

으로 정규화 하는 것이다.

따라서 심층 신경망의 모델 파라미터 는 수학식 6과 같이 정의할 수 있다.

[0040]

수학식 6

[0041]

이때 W는 모든 층의 웨이트 매트릭스이고 b는 바이어스 항이고 는 비선형 활성화 함수이므로 결국 심층 신경 [0042]

망의 연산 복잡도는 W와 비선형 함수의 연산량의 합으로 정의될 수 있다.

심층 신경망의 연산량 측면에서 볼 때 비선형 함수의 연산 복잡도는 행렬 W의 연산량에 비하면 낮은 수준이기 [0043]

(9)

때문에, 일반적으로 심층 신경망의 계산량 O(n)은 수학식 7과 같이 은닉층과 출력층의 행렬 연산으로 근사화된 다.

수학식 7

[0044]

이때 L은 은닉층의 수, M은 평균 은닉 노드의 수이고 N은 출력 노드의 수이다.

[0045]

종래에는 심층 신경망에서 각 은닉층의 행렬간의 거리를 유클리디안 거리로 보아 근사화를 하였는데, 그럴 경우 [0046]

도 1과 같이 근사화 전 행렬의 매니폴드(Manifold) 구조가 바뀌게 되는 문제가 발생한다.

도 1에서 각 원 안의 번호는 특정 은닉층 행렬 W의 i번째 칼럼 벡터(Column Vector)를 의미한다. 실선으로 연결 [0047]

된 선은 W에서의 가장 근접한 칼럼 벡터를 나타내며 점선으로 연결된 선은 근사화된 UV에서 가장 근접한 칼럼 벡터를 나타낸다.

즉, 근사화 전 행렬 W에서 1747번째 칼럼 벡터와 가장 근거리에 있는 칼럼 벡터는 1493번째 칼럼 벡터였는데 [0048]

TSVD를 이용하여 근사화 한 UV 벡터에서는 1541번째 칼럼 벡터로 변경되었다. 다시말해 TSVD에 의해 원래 행렬 이 가지고 있던 구조가 바뀌었음을 볼 수 있다.

따라서 본 발명에서는 이렇게 심층 신경망 압축 시에 발생하는 매니폴드(Manifold)의 기하학적인 구조 변이를 [0049]

최소화 하기 위해 원래 행렬의 매니폴드 구조를 심층 신경망 압축 시에 제약조건으로 줌으로써 분해된 행렬 UV 에서도 원래 행렬의 기하학적 구조를 유지하는 것을 목적으로 한다.

심층 신경망의 매니폴드 구조는 라플라시안 행렬(Laplacian matrix)을 사용하여 정의할 수 있다.

[0050]

도 2는 여섯 개의 노드를 가지는 그래프를 라플라시안 행렬로 나타낸 한 예이다.

[0051]

라플라시안 행렬을 사용하여 기하학적인 구조를 유지하기 위해서 본 발명에서는 수학식 8에 나타난 목적함수를 [0052]

사용하여 행렬을 분해한다.

수학식 8

[0053]

TSVD 방식의 근사화인 수학식 3에 비해 를 반영한 제약조건이 추가되었음을 알 수 있다. 는 라그랑쥬 승수 [0054]

(Lagrange Multiplier)를 나타낸다.

이 제약조건에 의해 은닉층 또는 출력층 행렬의 매니폴드 구조를 유지하며 은닉층 또는 출력층 행렬을 근사화한 [0055]

행렬인 U, V를 구할 수 있다.

수학식 8을 닫힌 형식(Closed Form)으로 전개하면 다음과 같이 분해된 행렬 U, V를 구할 수 있다.

[0056]

우선 인 C를 계산한다.

[0057]

계산한 C를 촐레스키 분해(Cholesky Decomposition)를 통해 로 분해한다.

[0058]

계산한 에 의해 을 계산한다.

[0059]

계산한 를 로 분해한다.

[0060]

분해한 E를 이용하여 최종적으로 에 의해 근사화 된 U와 V를 계산한다.

[0061]

(10)

이와 같은 단계에 의해 은닉층 또는 출력층 행렬 W를 U와V의 곱으로 단순화하여 표시할 수 있다.

[0062]

도 3은 본 발명의 일실시예에 따른 매니폴드 제약 조건에 기반한 심층 신경망 압축 방법의 흐름도이다.

[0063]

심층 신경망은 복수의 은닉층과 출력층으로 구성되는데, 심층 신경망 압축을 위해 우선 압축 대상이 되는 은닉 [0064]

층 또는 출력층 행렬을 입력받는다(S310).

음성 인식을 위한 심층 신경망의 은닉층 또는 출력층의 구조는 비선형 구조인 매니폴드 구조를 가지고 있는데, [0065]

이 매니폴드 구조를 유지하기 위해 매니폴드 구조를 나타내는 행렬을 연산한다(S320).

매니폴드 구조는 전술한 바와 같이 라플라시안 행렬을 사용하여 정의할 수 있다.

[0066]

마지막으로 은닉층 또는 출력층 행렬을 매니폴드 구조의 제약조건을 가지고 분해한다(S330).

[0067]

라플라시안 행렬을 사용하여 기하학적인 구조를 유지하기 위해 전술한 수학식 8의 목적함수를 사용하여 행렬을 [0068]

분해한다.

수학식 8을 닫힌 형식으로 전개하면 수학식 8을 만족하는 분해된 행렬 U, V를 구할 수 있다.

[0069]

분해된 행렬 U, V를 이용하면 은닉층 또는 출력층 행렬 W를 직접 연산하는 것에 비해 훨씬 작은 연산량으로 심 [0070]

층 신경망의 연산이 가능하다.

도 4는 본 발명의 일실시예에 따른 매니폴드 제약 조건에 기반한 심층 신경망 압축 장치(400)의 구조도이다.

[0072]

심층 신경망 압축 장치(400)는 입력부(410), 연산부(420) 및 분해부(430)를 포함한다.

[0073]

입력부(410)는 압축 대상이 되는 심층 신경망의 은닉층 또는 출력층 행렬을 입력받는다.

[0074]

연산부(420)는 심층 신경망의 은닉층 또는 출력층의 비선형 구조를 유지하기 위해 비선형 구조를 표현하기 위한 [0075]

행렬을 연산한다.

비선형 구조는 매니폴드 구조일 수 있다.

[0076]

또한, 매니폴드 구조를 표현하는 행렬은 라플라시안 행렬을 사용할 수 있다.

[0077]

따라서 연산부(420)는 은닉층 또는 출력층의 행렬을 이용하여 라플라시안 행렬을 연산한다.

[0078]

마지막으로 분해부(430)는 은닉층 또는 출력층 행렬인 W를 비선형 구조를 유지하며 U, V의 두 행렬로 분해한다 [0079]

분해부(430)는 라플라시안 행렬을 사용하여 매니폴드 구조를 유지하기 위해 전술한 수학식 8의 구조를 사용할 [0080]

수 있다.

분해부(430)는 수학식 8을 닫힌 형식으로 전개하여 수학식 8을 만족하는 분해된 행렬 U, V를 구할 수 있다.

[0081]

이상과 같은 심층 신경망 압축 방법 및 그 장치에 의한 행렬 분해를 사용하는 경우, 종래 TSVD 방법에 의해 분 [0083]

해된 모델을 사용하는 것에 비해 매니폴드 구조를 유지할 수 있으므로 인식 성능이 좋아진다.

표 2는 본 발명의 일실시예에 따른 심층 신경망 압축 방법에 의해 행렬 분해를 사용한 경우의 효과를 나타낸다.

[0084]

표 2

[0085]

(11)

Test는 에러율(error rate)을 의미하기 때문에 낮을수록 좋은 결과를 의미한다.

[0086]

이 효과는 심층 신경망에서 1024X1943으로 구성된 출력층을 1024X64 + 64X1943으로 분해하여 음성 인식 성능과 [0087]

관련된 표준 평가 환경인 TIMIT을 대상으로 평가한 결과이다. TIMIT은 성별, 지역별 각기 다른 영어의 음소와 어휘를 전사한 말뭉치(Corpus)이다.

Alpha( )가 0인 경우 종래 기술인 TSVD로 분해한 방법과 동일하게 되고, Alpha가 0이 아닌 경우 본 발명에 의 [0088]

해 매니폴드 구조를 유지한 분해 방법이다.

Alpha가 0인 경우, 즉, 유클리드 거리를 사용한 경우에 기하학적 구조가 변경된 노드(Broken nodes)는 511개이 [0089]

고 에러율을 22.3%이다.

반면 Alpha가 0이 아닌 경우 기하학적 구조가 변경된 노드는 511개보다 작아지고, 에러율도 낮아진 것을 볼 수 [0090]

있다. Alpha가 0.01인 경우 에러율은 21.9%로 가장 낮은 값을 보여주고, 기하학적 구조가 변경된 노드도 369개 로 크게 줄어드는 효과가 있다.

한편, 본 발명의 실시예에 따른 매니폴드 제약 조건에 기반한 심층 신경망 압축 방법은 컴퓨터 시스템에서 구현 [0092]

되거나, 또는 기록매체에 기록될 수 있다. 도 5에 도시된 바와 같이, 컴퓨터 시스템은 적어도 하나 이상의 프로 세서(521)와, 메모리(523)와, 사용자 입력 장치(526)와, 데이터 통신 버스(522)와, 사용자 출력 장치(527)와, 저장소(528)를 포함할 수 있다. 전술한 각각의 구성 요소는 데이터 통신 버스(522)를 통해 데이터 통신을 한다.

컴퓨터 시스템은 네트워크에 커플링된 네트워크 인터페이스(529)를 더 포함할 수 있다. 상기 프로세서(521)는 [0093]

중앙처리 장치(central processing unit (CPU))이거나, 혹은 메모리(523) 및/또는 저장소(528)에 저장된 명령 어를 처리하는 반도체 장치일 수 있다.

상기 메모리(523) 및 상기 저장소(528)는 다양한 형태의 휘발성 혹은 비휘발성 저장매체를 포함할 수 있다. 예 [0094]

컨대, 상기 메모리(523)는 ROM(524) 및 RAM(525)을 포함할 수 있다.

따라서, 본 발명의 실시예에 따른 매니폴드 제약 조건에 기반한 심층 신경망 압축 방법은 컴퓨터에서 실행 가능 [0095]

한 방법으로 구현될 수 있다. 본 발명의 실시예에 따른 매니폴드 제약 조건에 기반한 심층 신경망 압축 방법이 컴퓨터 장치에서 수행될 때, 컴퓨터로 판독 가능한 명령어들이 본 발명에 따른 인식 방법을 수행할 수 있다.

한편, 상술한 본 발명에 따른 매니폴드 제약 조건에 기반한 심층 신경망 압축 방법은 컴퓨터로 읽을 수 있는 기 [0096]

록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체로는 컴퓨 터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등 이 있을 수 있다. 또한, 컴퓨터로 판독 가능한 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.

이상, 본 발명의 구성에 대하여 첨부 도면을 참조하여 상세히 설명하였으나, 이는 예시에 불과한 것으로서, 본 [0098]

발명이 속하는 기술분야에 통상의 지식을 가진자라면 본 발명의 기술적 사상의 범위 내에서 다양한 변형과 변경 이 가능함은 물론이다. 따라서 본 발명의 보호 범위는 전술한 실시예에 국한되어서는 아니되며 이하의 특허청구 범위의 기재에 의하여 정해져야 할 것이다.

부호의 설명

400: 심층 신경망 압축 장치 410: 입력부 [0100]

420: 연산부 430: 분해부

(12)

도면 도면1

도면2

도면3

(13)

도면4

도면5

참조

관련 문서

그러나 본 발명은 여기서 설명되는 실시예에 한정되는 것이 아니라 서로 다른 형태로 구체화될 수 도 있다.. 오히려, 여기서 소개되는 실시예는 개시된 내용이 철저하고 완전해질

그리고, 자원 정보를 통해 부합되는 사물 명세를 전달하는 대상을 사물 등록소라 하고, 사 물 자원 정보 공유 시스템을 사물 저장소라 하며, 사물 저장소 상에 등록된 사물의

또한, 통상 온(normally on)의 동작 특성을 갖는 소자를 이용하여 캐스코드 스위치 회로가 제조될 수 있다.. 이러한 캐 스코드 스위치 회로는 낮은 제조 비용과 작은

상태에서, 모든 처프 신호에 대해 레인지 FFT(Fast Fourier Transform) 수행하고 그 결과로부터 거리 정보에 대 응하는 제1 비트 주파수들을 검출하는 단계; 상기 장치가, 모든

그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본

층상으로 되어 흐르고 있는 유체에서는, 유체의 층간 및 유체의 층과 여기에 접하는 벽과의 사이에 힘을 점성력이라 한다.. 이 점성력과 유체 내의

따라서, 본 발명의 실시예들 은 도시된 특정 형태로 제한되는 것이 아니라 제조 공정에 따라 생성되는 형태의 변화도 포함하는 것이다.. 예를 들면, 직각으로

으며, 단지 이하의 실시예들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 목적, 구성 및 효과를 용이하게 알려주기 위해 제공되는 것일 뿐으로서