195
Copyright © 2017 The Korean Society of Fisheries and Aquatic Science pISSN:0374-8111, eISSN:2287-8815
서 론
해중에분포하는어족생물은어종에따라어체내부조직, 부 레형상, 어체의형태학적특징등이서로다르기때문에넓은 주파수대역의음향펄스신호에대한시간및주파수응답이서 로다른패턴으로나타낸다. 따라서, 이와같은어종의존적인
시간-주파수 echo 이미지에대한음향학적특징을정량적으로
추출하거나, 또는인공신경망을이용하여이들이미지의특징
패턴을비교, 분석하면어종의음향학적식별이가능하다(Lee
et al., 2016; Lee, 2016). 일반적으로우리나라주변해역에있어
서는다수의어종이혼획되고있는관계로 chirp 어군탐지시스
템을이용하여수록한넓은주파수범위의음향학적정보를바 탕으로대상어종을식별하기위해서는많은어종에대한시간-
주파수 echo 이미지에대한데이터베이스구축이먼저선행되
어야한다(Rihaczek, 1968; Shui et al., 2007; Dong and Cui,
2012; Lee, 2015a). 본연구에서는이와같이구축된이미지패
턴을바탕으로현장에서새롭게탐지되는미지의어종에대한
echo 이미지패턴과기존에구축한데이터베이스에존재하는
여러어종에대한 echo 이미지패턴을서로비교, 분석하면, 그
유사성이가장높은어종을찾아낼수있다는점에주목하였다. 현재, 각종이미지패턴을식별하거나분류하는연구분야에서 는주성분분석(principal component analysis, PCA)을통해학
습용및테스트용이미지에대한고유이미지(eigen image)를
추출하고, 이들로부터구한가중치행렬사이의유사성을평가 하여목적하는이미지를추출해내는기법이널리활용되고있 다(Rizon et al., 2006; Gautam, 2013). 이때, 두이미지사이의 유사성판정은유클리디언거리(Euclidean distance), 또는마 하라노비스거리(Mahalanobis distance)를이용하여수행한다. 즉, 이들값이가장작은이미지를유사이미지로판정하는방 식이다(Gupta and Singh, 2013). 그러나, chirp 어군탐지시스
템을이용하여수록한여러어종에대한시간-주파수 echo 이
미지패턴의경우, chirp echo 펄스신호의상승부에대한고주
활어 개체어의 광대역 음향산란신호에 대한 시간-주파수 이미지의 어파인 변환과 주성분 분석을 이용한 어종식별
이대재*
부경대학교 해양생산시스템관리학부
Identification of Fish Species using Affine Transformation and Principal Component Analysis of Time–Frequency Images of Broadband Acoustic Echoes from Individual Live Fish
Dae-Jae Lee*
Division of Marine Production System Management, Pukyong National University, Busan 48513, Korea
Joint time–frequency images of the broadband echo signals of six fish species were obtained using the smoothed pseudo-Wigner–Ville distribution in controlled environments. Affine transformation and principal component analy- sis were used to obtain eigenimages that provided species-specific acoustic features for each of the six fish species.
The echo images of an unknown fish species, acquired in real time and in a fully automated fashion, were identified by finding the smallest Euclidean or Mahalanobis distance between each combination of weight matrices of the test image of the fish species to be identified and of the eigenimage classes of each of six fish species in the training set.
The experimental results showed that the Mahalanobis classifier performed better than the Euclidean classifier in identifying both single- and mixed-species groups of all species assessed.
Key words: PCA, Affine transformation, Eigen-images, Mahalanobis classifier, Fish species identification
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial Licens (http://creativecommons.org/licenses/by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.
http://dx.doi.org/10.5657/KFAS.2017.0195 Korean J Fish Aquat Sci 50(2) 195-206, April 2017
Received 16 January 2017; Revised 20 February 2017; Accepted 20 February 2017
*Corresponding author: Tel: +82. 51. 629. 5889 Fax: +82. 51. 629. 5885 E-mail address: [email protected]
파수영역과하강부에대한저주파수영역에서는 echo 응답이 매우미약하여신호대잡음비(signal to noise ratio, SNR)가급
속히저하한다. 따라서, 이들이미지영역을어파인변형(affine
transformation)을통해제거한후, 각어종에대한고유 echo 응 답이나타나는영역만을다른이미지영역으로이동시킴으로써
낮은 SNR 영역이어종식별에미치는영향을억제시킬필요가
있다(Sijbers et al., 1996; Alonso-Caneiro et al., 2011; Singla and Goyal, 2012).
본연구에서는먼저어파인변형과주성분분석을통해구축
한 6개어종에대한시간-주파수 echo 이미지패턴의데이터
베이스를바탕으로유클리디언및마하라노비스거리식별기 (distance classifier)를각각구축하였다. 이로부터각어종에대 한이미지패턴의유사성을정량적으로분석하여어종의음향 학적식별을수행하였다. 또한, 2개의어종이혼재하는경우에 대해서도식별용테스트이미지를생성하여본연구에서제안 한기법을적용하여각어종을분리, 식별하였다.
재료 및 방법
어류의 시간-주파수 echo 이미지의 수록과 어파인 (affine) 변환
본연구에서는실험수조에서조피볼락, 말쥐치, 고등어, 불볼 락, 전어, 부세의 6개어종, 총 96 개체어를대상으로어체등 방향(dorsal aspect)의 ±25° 자세각범위내에서약 2.5° 간격으 로각어종당 320개(16마리×20개)의 chirp echo 신호를수록 하였다(Lee et al., 2016; Lee, 2016). 이들 echo 데이터중에 서 80%는학습(train) 데이터로서, 또한, 나머지 20%는테스
트(test) 데이터로서이용하였다. 이때, 각어종의개체어로부
터랜덤하게 256개의 echo 데이터(80%)를추출하여 SPWVD (smoothed pseudo-Wigner-Ville distribution) 기법에의한시 간-주파수이미지를계산하였다. 그후, 이렇게얻어진각어종 에대한 256개의시간-주파수이미지로부터평균시간-주파수
echo 이미지를추출하고, 이것을각어종에대한학습용이미지
로서데이터베이스에등록하였다(Shui et al., 2007; Dong and Cui, 2012; Lee, 2015a). 한편, 각어종에대한나머지의 64개 echo 데이터(20%)도같은방법으로평균시간-주파수 echo 이 미지를작성하고, 이것을테스트용이미지로서등록하였다. 본 연구에서는 Fig. 1에서와같이테스트이미지가실제해상에서 실시간으로수록되는미지의어종에대한 echo 이미지라고가 정한후, 이들이미지를대상으로주성분분석을수행하여어종 의자동식별연구를수행하였다. 이때, 새로운어종의시간-주 파수이미지(테스트이미지)에대한고유이미지는학습용으로 등록된이미지들의주성분분석을통해얻어진고유벡터(가중 치)을이용하여생성하였다. 어종의식별은이렇게생성된미지 의어종에대한고유이미지와학습용데이터베이스에등록된 6개어종에대한고유이미지사이의유클리디언, 또는마하라
노비스거리를산출하여수행하였다. Fig. 1에서와같이이들거 리가가장작은어종조합, 즉유사도가가장높은어종조합을 어종식별의결과로서출력하였다. 그러나이때, 현장에서수집 되는 echo 신호의 SNR이낮아지면, 시간-주파수 echo 이미지 전반에걸쳐잡음신호가나타난다. 또한, 어체의자세변화가 급격하여 echo 신호가돌발적으로변동하면, 시간-주파수 echo 이미지의형상패턴에잡음성의신호가부가적으로나타난다 (Alonso-Caneiro et al., 2011; Singla and Goyal, 2012). 이때
문에이들 echo 이미지를가장공통적으로나타낼수있는각어
종별평균시간-주파수이미지를추출할필요가있다. 따라서, 어종의식별정도를향상시키기위해서는어류 echo 신호에대 한시간-주파수이미지영역중에서잡음의영향이가장작은영 역만을추출한후, 이들이미지를대상으로주성분분석을수행 Fig. 1. Flow chart of affine transformation and principal compo- nent analysis (PCA) algorithm for fish species identification. The test image was projected into the eigen-image space, and the Eu- clidean or Mahalanobis distances of the projected test image to the training images were calculated to identify the test image.
하여고유벡터성분을추출하는것이매우중요하다. 이를위해 본연구에서는각어류에대한시간-주파수 echo 이미지를 (1) 식의어파인변환기법(affine transformation technique)을통해 전단변형(shearing transform)시킨후(Fuh and Maragos, 1991;
Semmlow, 2004; Priscilla and Poorna, 2013), echo 이미지영
역만을크로핑(cropping)하여잡음영역을제거하였다.
[ x ] = [d cosθ -d sinθ ]·[ xy d sinθ d cosθ ynn] + [ xycc] (1)
(1)식에서 (x, y)는시간-주파수이미지가어파인변환된점의
좌표, (xn, yn)는시간-주파수이미지의크기와회전각에의해 결정되는점의좌표, (xc, yc)는시간-주파수이미지의기준좌표
(중심점의좌표)이다. 또한, d는이미지크기를보상하기위한
상수이고, θ는회전각이다.
일반적으로얼굴이나의료영상과같은이미지분류및식별 연구에있어서는미리알고있는이미지데이터베이스를구축 한후, 미지의이미지가입력되면, 데이터베이스에구축되어 있는이미지가운데에서그유사도가가장높은이미지를찾아 내그것을유사한이미지로판정하는기술이널리이용되고있 다. 이때, 이미지사이의유사성은유클리디언, 또는마하라노 비스거리를측정하여판정한다(Gupta and Singh, 2013). 본연
구에서제안한 Fig. 1의어종식별기법은이와같은기법을바탕
으로하고있다. 다만, 6개의각어종에대한개체어로부터수록 되는 75×35 픽셀(pixel)의 RGB 이미지는어파인변환을통해
SNR을개선시킨후, 그분해능을 48×15 픽셀의그레이이미
지로변환시켜어종식별에이용하였다. 이때, 각어종으로부터
수록한광대역 echo 신호에대한시간-주파수이미지는어파인
변환을통해 echo 성분이출현하는영역에대한집중화작업을
수행하였다. 그후, 각어종에대한학습용이미지데이터베이 스와테스트용이미지데이터베이스를각각구축하였다. 실제 에는학습용과테스트용으로등록된이미지에대한가중치행 렬사이의거리를계산한후, 그값이가장작은이미지를유사 이미지로판정하는기법을개발하였다. 일반적인이미지식별 에이용되는유클리디언식별기는가중치행렬에대한데이터 의분포특성을고려하지않은상태에서두가중치행렬데이터 사이의거리합을산출하여두이미지사이의유사성을판정한 다. 이에반해마하라노비스식별기는가중치행렬에대한데이 터의변동성을제거하기위해학습용이미지의주성분분석을 통해얻은고유치를이용하여두가중치행렬데이터사이의거 리를정규화하여얻은거리정보를바탕으로두이미지사이의 유사성을판정한다. 본연구에서는이들두식별기의판정기법 에주목하여 6개어종으로부터얻어진시간-주파수 echo 이미 지에대한데이터베이스를구축하였다. 그후, 1개의어종이단 독으로존재하는경우와 2개의어종이혼재하는경우를가정하 여각각의테스트이미지를준비하고, 유클리디언과마하라노
비스거리식별기에의한어종의식별결과를비교, 분석하였다. 주성분 분석에 의한 어류의 시간-주파수 고유 이미지 (eigen image) 추출
본연구에서는 SPWVD에의한어류의시간-주파수이미지를 실시간으로식별하기위해 PCA와유클리디언, 또는마하라노 비스거리식별기를결합한어종식별시스템을구축하였다. 일
반적으로 PCA는 SPWVD에의해수집되는어류의시간-주파
수영상데이터의차원을감소시킬수있고, 유클리디언, 또는 마하라노비스거리는각어종별시간-주파수이미지의유사성 을평가할수있는매우효과적인방법이다(Prasad et al., 2011;
Abdullah et al., 2012).
광대역소너시스템으로부터수집되는각어종별어류의 echo 신호를시간-주파수분석하면, 시간과주파수영역에대한음향 산란정보를모두포함하는시간-주파수이미지를얻을수있다. 본연구에서는우선다수의상업적인어종을대상으로활어상 태의각어류로부터수집되는시간-주파수이미지를목적하는 시간과주파수구간이포함되도록 i (row)×j (column) 픽셀사
이즈(N = i×j )로이미지커팅하여학습이미지를생성하였다.
다수의어종으로부터수집되는초음파의입사각별어류의시 간-주파수이미지는각어류의이미지행렬을 I1라할때, 이행 렬은
I1 = [ppp1121i1 ppp1222i2 ppp1j2jij ] (2)
이되고, 각이미지의 column 벡터 F1은
F1 = [ p11 p12 … p1j p21 p22… p2j …pi1 pi2… pij]T (3) 이된다. 여기서, [*]T는 [*]의전치행렬이다. 따라서, PCA에의 해학습되어야할어류에대한시간-주파수이미지의총수를 M 이라할때, 이미지데이터집합 S는
S = {F1, F2, F3, … FM} (4)
이된다. 이들시간-주파수이미지에대한평균이미지 Ψ는
1 M
Ψ = M i=1∑Fi (5)
이되고, 각어류의시간-주파수이미지벡터 Fi와그평균이미 지벡터Ψ 사이의차Φi와이것에대한새로운벡터 A는
Φi = Fi-Ψ, i = 1, 2, …, M (6)
A = [Φ1, Φ2, Φ3, … ΦM]N×M (7) 이된다. A의공분산행렬 C는
1 M
C = M ∑ Φi=1 i Φi T = A AT (8)
이되고, 여기서, AT는 A의전치행렬이다. 이공분산행렬의크 기는 N×N이고, 이행렬에대한 N개의고유치 λi와고유벡터 ui는
C ui = λi ui, ui≠0, i = 1, 2, …, M (9) 의해를구함으로서얻어진다. 고유치는평균이미지에대한분 산의정도를나타내고, 이에대응하는고유벡터를종(row)과횡
(column) 방향으로재배열하면, 시간-주파수이미지와닮은형
상의고유이미지를구할수있다. 그러나, N값이큰경우, 고유 치를구하는데매우긴시간이소요되므로, 공분산행렬 A AT와 AT A의관계에대한고찰이필요하다. 이경우, AT A 행렬의크 기는 M×M로감소되고, 그고유치와고유벡터를각각 μi, vi라 하면, 이들두행렬사이에는
AT A vi = μi vi, (A AT) (A vi)= μi(A vi), C(A vi) = μi(A vi) (10)
의관계가성립한다. 공분산행렬 C = A AT에대한고유벡터는
A vi이고, 차원은N에서 M으로감소되는데, 이때, 고유치는 μi( μi= λi)이된다. 즉, A AT를이용하여구한상위 M개의고유치 는 AT A을이용하여구한고유치와같다(Slavkovic and Jevtic, 2012). 따라서, 임의의고유이미지 ui는학습에이용한 M개의 이미지조합, 즉,
ui = ∑M vik Φk , i = 1, 2,…, M (11)
i=1
에의해생성할수있다. 이와같이구한고유이미지는시간-주 파수이미지공간을구성하는벡터중에서학습에사용한이미 지들의공통적인특징을가장잘나타내는기저벡터이다. 즉, 각
이미지벡터와평균이미지벡터의차분벡터(difference vec-
tor)로서공분산행렬의고유벡터에해당된다. 공분산행렬 C의 고유치는평균이미지에대한분산의크기를나타내는데, 이들 중에서고유치가큰고유벡터들로이루어진고유이미지가실 제의이미지와가장유사한이미지가된다(Rizon et al., 2006).
유클리디언 및 마하라노비스 거리 식별기
어종을식별하기위해 chirp 어군탐지시스템으로부터실시간
으로수집되는어류 echo 신호로부터학습에사용할시간-주파
수이미지와같은사이즈의이미지(F )를먼저추출하였다. 그 후, 각이미지와평균이미지와의차벡터를산출하여정규화이
미지(Φ=F -Ψ)를생성하였다. 이렇게구한이미지와 PCA 학
습을통해산출한고유벡터와의내적을구한후, 실시간으로입 력되는어류에대한고유이미지의가중치 ωk는
ωk = ukT (F-Ψ), k = 1, 2, …, M' (12) 에의해구하였다. 본연구에서는고유치가큰 M'개(M' < M)의 성분에대해서만고유벡터로사용하였다 (Latha et al., 2009).
따라서, 고유벡터성분, 즉가중치의집합 ΩT는
ΩT = [ω1, ω2, ω3, … ωM'] (13) 이된다. 즉, 미지의어류에대한어종을식별하기위하여먼저 실시간으로수신되는 echo 신호의시간-주파수이미지의가중 치행렬(weight matrix) Ω를계산하였다. 그후, 학습데이터셋
에포함되어있는 k 번째어종의 echo 신호로부터추출한시간-
주파수이미지의가중치행렬 Ωk와의거리 εk를계산하였다. 이 때, 학습데이터셋에존재하는어종에대한 εk값이가장작은 이미지를입력이미지와가장유사한어종으로서식별하였다.
εk =‖(Ω-Ωk)‖ (14)
본연구에서어종의유사성판정에이용한유클리디언거리 εEk와마하라노비스거리 εMk는각각 (15)식과 (16)식에의해계 산하였다(Arathi and Govardhan, 2014).
εMk =‖(Ω-Ωk)‖= ∑ 1⁄λK i · (wi-wik)2 (15)
i=1
εEk =‖(Ω-Ωk)‖= ∑ (wK i-wik)2 (16)
i=1
한편, 어류시간-주파수의이미지는고유벡터성분(가중치)의 집합 ΩT와고유이미지 ul를이용하여다시생성하였는데, 그 재생이미지 F'는
M'
F' =Ψ + ∑ wi ui (17)
i=1
에의해구하였다(Rizon et al., 2006).
결과 및 고찰
어류의 chirp echo 신호에 대한 어파인 이미지의 특성 본연구에서실험대상으로한 6개어종중에서부세의활어 개체어로부터수록된시간-주파수 echo 이미지의일례는 Fig.
2와같다. Fig. 2는어파인변환기술을이용하여잡음성의 echo
응답이출현하는이미지영역을제거한후, 어류 echo 응답이
나타나는 시간및주파수범위에대한신호성분만을추출한 결과이다.
Fig. 2의 (a)는 320개의시간-주파수이미지중에서무작위로
80% (256개)를추출하여작성한학습용이미지데이터베이스
이고, (b)는그나머지 20% (64개)로서, 어종식별을위한테스
트용으로작성한데이터베이스이다. Fig. 2에서이들학습용과
테스트용이미지데이터베이스는분해능이 75×35 픽셀인원
래의이미지를 65°의반시계방향으로전단변형시켜재배열한
후, echo 응답이집중적으로나타나는 48×15 픽셀의영역만을
크로핑하여구축한것이다.
본연구에서사용한 chirp 어군탐지시스템은 0-0.3 ms의시간
영역과 85-225 kHz의주파수범위에서선형적인송수신응답
특성을갖도록설계된시스템이다. 이때문에각활어개체어에
대한 echo 응답신호가나타나기시작되는초반부의고주파영
역과그응답이종료되는종반부의저주파영역에서는잔향신 호가출현하였다. 따라서, 본연구에서는이들 SNR이낮은잔
향성의 echo 신호성분을 Fig. 2에서와같이어파인변환을통해
완전히제거한후, 어종식별에이용하였다. 특히, Fig. 2는각어
종의활어개체어를 MS222로서마취시킨상태에서 chirp echo
신호를수록하였음에도불구하고같은어종(조피볼락)이라도
개체어의미세한움직임에따라각 echo 이미지패턴은불규칙
하게변동하였다.
평균 및 고유 이미지의 어종 의존적 특성
본연구에서실험에사용한조피볼락, 말쥐치, 고등어, 불볼 락, 전어, 부세의시간-주파수 echo 이미지를분석, 고찰한결과,
echo 응답이강하게출현하는영역의위치와연속성, 범위, 픽
셀값의변동패턴, 응답레벨이급격히약화되는홀(hole)의위
치및윤곽선(contour) 패턴등의어종의존적인특징이어종에
따라서로다른경향을나타내었다. 특히, Fig. 2에나타낸이미 지패턴속에묻혀있는어종의존적인요소는각어종마다서 로다른패턴으로나타났고, 또한, 각개체어상호간에도다양한 변동성이존재하였기때문에어종식별을위해서는모든개체 어를대상으로각어종을대표할수있는평균적인이미지패턴
을추출한후, 그유사성을비교, 분석할필요가있었다(Foote,
1980; Fässler et al., 2009). 따라서, 본연구에서는이와같은어 종의존적인특징의유사성을비교, 분석할목적으로연구대상
으로한 6개어종의각각에대한학습용시간-주파수 echo 이미
지를대상으로각어종에대한평균이미지패턴을추출하였는 데, 그결과는 Fig. 3과같다.
Fig. 3은어종식별시스템의 SNR을개선하기위하여각어종
의모든시간-주파수이미지를어파인변환을수행한후, 각어 종의이미지패턴을평균진폭과표준편차로서정규화시킨학습 용시간-주파수 echo 이미지이다. 즉, Fig. 3의 (a)-(f)는각각조 피볼락, 말쥐치, 고등어, 불볼락, 전어, 부세에대한학습용시 간-주파수 echo 이미지이다. 또한, Fig. 3의정규화시킨학습용
echo 이미지를대상으로평균이미지패턴을구한결과는 Fig.
Fig. 2. Training (a) and test data sets (b) for time-frequency images of large yellow croaker Larimichthys crocea. In order to improve the identification performance, the image shape was transformed by an affine transformation with a resolution of 48×15 pixel. The images were divided into two groups, a training set consisting of 256 images and 64 test images. All images were selected randomly from the full data set.
4와같다.
본연구에서는 Fig. 4에서얻어진 6개어종에대한평균시간-
주파수 echo 이미지와테스트데이터베이스에등록되어있는
식별되어야할각어종에대한시간-주파수 echo 이미지와의차 분이미지를추출하여가중치성분을구하였다. 이를위해먼저 실험에사용한조피볼락, 말쥐치, 고등어, 불볼락, 전어, 부세의 6개어종으로부터얻어진 Fig. 2의 720차원(48×15 픽셀)에대 한시간-주파수이미지데이터에대한주성분분석을수행하였
다. 각어종의수에의해결정되는주성분벡터와고유값을계 산하고, 이로부터얻어진고유이미지를분산이큰순서대로나 열한결과는 Fig. 5와같다.
Fig. 5에나타낸것과같이앞쪽의 (a)에나타낸분산이큰고
유이미지에는 6개어종의시간-주파수 echo 이미지들사이의 공통적인특징(이미지의전체적인윤곽부분)이강하게나타나 있다. 반면, 뒤쪽으로갈수록(b, c, d) 각어종자체의세부적인
특징이나타나있고, 더뒤쪽(e, f)의고유이미지에는거의잡음
성의정보만이나타나있다. 여기서는이들각어종으로부터추
출한가중치성분을 Fig. 5의고유이미지에각각곱한후, 이들
이미지를선형으로결합시켜원래의이미지를다시재구축하였 다. 특히, 본연구에서는학습용데이터베이스에등록되어있
는모든어종의시간-주파수 echo 이미지들로부터가중치성분
을각어종별로추출하였다. 이때, 각어종에대한학습용가중
치행렬은각어종에대한 320개의시간-주파수 echo 이미지중
에서무작위로추출된 256개(80%)에대한평균이미지로부터
Fig. 3. Normalized training images obtained by averaging 256 training images for each of six fish species. (a) black rockfish Sebastes schlegeli, (b) black scraper Thamnaconus modesutus [K], (c) chub mackerel Scomber japonicus, (d) goldeye rockfish Sebastes thompsoni, (e) konoshiro gizzard shad Konosirus punctatus, (f) large yellow croaker Larimichthys crocea. All color images were converted to grayscale images before processing.
Fig. 4. Mean training image for six fish species of Fig. 3.
Fig. 5. Eigen images of normalized training images for six fish species. (a) black rockfish Sebastes schlegeli, (b) black scraper Thamnaco- nus modesutus [K], (c) chub mackerel Scomber japonicus, (d) goldeye rockfish Sebastes thompsoni, (e) konoshiro gizzard shad Konosirus punctatus, (f) large yellow croaker Larimichthys crocea.