A Study on the Establishment of ISAR Image Database Using Convolution Neural Networks Model

1. 서론

2020년 1월 8일 이란의 수도 테헤란 인근 이맘 호메이 니 공항에서 이륙한 우크라이나 항공 소속 보잉 737-800

여객기가 이륙 직후 추락하여 탑승자 176명 전원이 사망 하였다. 당시는 미국이 무인기를 활용하여 이란에 대한 공습을 감행, 이란측 솔레이마니 사령관을 살해하여 양국 간 전운이 감도는 시기였다. 그러나 이란 군이 이 여객기 를 적기로 오인하여 지대공 미사일로 격추했다는 것이 밝혀지면서 이란은 미국에 대한 보복은 고사하고 사고 수습에만 급급하게 되었고, 상황은 이란에게 완전히 불리 하게 전환되었다. 만약 이란 군 방공체계에 항공기 기종 을 식별할 수 있는 능력이 있었다면 이러한 사건은 일어 나지 않았을 것이다. 이처럼 레이다가 외부 도움 없이 자

CNN 모델을 활용한 항공기 ISAR 영상 데이터베이스 구축에 관한 연구

정승호 ･ 하용훈

^†

A Study on the Establishment of ISAR Image Database Using Convolution Neural Networks Model

Seungho Jung ･ Yonghoon Ha ^†

ABSTRACT

NCTR(Non-Cooperative Target Recognition) refers to the function of radar to identify target on its own without support from other systems such as ELINT(ELectronic INTelligence). ISAR(Inverse Synthetic Aperture Radar) image is one of the representative methods of NCTR, but it is difficult to automatically classify the target without an identification database due to the significant changes in the image depending on the target’s maneuver and location. In this study, we discuss how to build an identification database using simulation and deep-learning technique even when actual images are insufficient. To simulate ISAR images changing with various radar operating environment, A model that generates and learns images through the process named ‘Perfect scattering image,’

‘Lost scattering image’ and ‘JEM noise added image’ is proposed. And the learning outcomes of this model show that not only simulation images of similar shapes but also actual ISAR images that were first entered can be classified.

Key words : NCTR, ISAR, Deep-learning, CNN model, Image classification

요 약

비협조적 표적식별(NCTR, Non-Cooperative Target Recognition)은 전자정보 등 다른 체계의 지원 없이 레이다 자체 적으로 표적을 식별하는 기능을 말한다. 이를 구현하기 위한 대표적인 방법 중 하나인 역합성개구레이다(ISAR) 영상은 표적 의 기동 및 위치에 따라 크게 변하기 때문에 기종을 판단할 수 있는 데이터베이스 없이 이를 자동으로 식별하기란 매우 어렵 다. 본 연구에서는 실측 영상이 부족한 상황에서도 ISAR 영상 시뮬레이션 및 딥러닝 기법을 활용한 식별 데이터베이스 구축 방안에 대해 논한다. 다양한 레이다 운용 환경에 따라 변화하는 ISAR 영상을 모사하기 위해 ‘완전 산란체’, ‘결손 산란체’,

‘JEM 잡음’으로 명명한 영상 형성 과정을 거쳐 이를 학습하는 모델을 제안한다. 이 모델의 학습 결과를 통해 유사한 형상의 시뮬레이션 영상은 물론 처음 입력된 실측 ISAR 영상도 식별할 수 있음을 확인하였다.

주요어 : 비협조적 표적식별, 역합성개구레이다 영상, 딥러닝, CNN 모델, 영상 식별

Received: 21 September 2020, Revised: 22 October 2020, Accepted: 24 October 2020

†Corresponding Author: Yonghoon Ha

E-mail: [email protected]

Department of Defense Science, Korea National Defense University

체적으로 표적을 식별하는 기능을 ‘비협조적 표적식별 (NCTR, NonCooperative Target Recognition)’이라고 한다. NCTR 기능을 구현할 수 있는 기법에는 제트엔진 변조(JEM, Jet Engine Modulation), 고해상도 거리 프로 파일(HRRP, High Resolution Range Profile), 역합성개 구레이다 영상(ISAR, Inverse Synthetic Aperture Radar) 등 크게 3가지가 있는데, 이 중 ISAR 영상은 표적의 시 각화된 형상을 통해 기종을 판단할 수 있어 신뢰도 높은 식별 결과를 얻을 수 있다는 장점이 있다(P. Tait, 2005;

D. Blacknell and H. Griffiths, 2013).

국내에서도 항공기에 대한 NCTR 기능 구현의 필요성 을 인식하고 유관 분야에 대한 연구가 진행되고 있으나, 크게 2가지 이유로 이를 국산 레이다 체계에 적용하지 못 하고 있다. 먼저 기초ㆍ응용연구를 통해 확보한 기술을 상용화하는데 필요한 개발 경험이 부족하다는 점과 기종 식별을 위한 실제 데이터베이스가 부재하다는 점으로 인해 실전 활용에 어려움을 겪고 있으며, 한국형전투기 (KF-X)에 탑재될 AESA 레이다에도 NCTR 기능은 개발 위험요인(RISK)으로 인식되고 있다(Lee and Lee, 2016;

Lee, 2016).

본 연구의 주된 목적은 대표적인 NCTR 기법 중 하나 인 ISAR 영상을 기반으로 한 항공기 식별 데이터베이스 구축 방안을 제안하는 것으로, ISAR 영상 시뮬레이션과 딥러닝 기법을 활용하여 실측 자료가 부족한 상황에서도 데이터베이스 마련이 가능함을 보여준다. 이를 위해 2장 에서는 관련 연구와 ISAR 및 딥러닝 기법에 대한 이론적 배경을 소개하고, 3장에서는 제안하는 데이터베이스 구 축 방안과 실험 절차를 제시하며, 4장에서는 실험 결과 분석과 함께 실제 영상을 통한 검증 결과를 논한다.

2. 관련 연구 및 이론적 배경

2.1 관련 연구

ISAR 영상을 활용한 항공기 기종 식별에 대한 연구는 2000년대 초반부터 활발하게 이루어지고 있다. Kim 등 (2005)은 ISAR 영상에서 표적의 회전에도 안정적인 식 별을 위해 Polar-mapping 기법을 활용한 식별 방안을 제 안하였고, Park 등(2011)은 항공기의 기동 특성을 활용하 여 효과적인 ISAR 영상 데이터베이스 구축 방안을 제시 하였다. 이후 Choi 등(2016)을 비롯한 여러 연구에서 다 양한 항공기 ISAR 영상 식별 방안이 연구되었으나, 구분 기로는 N-N(Nearest Neighbor), SVM(Support Vector Machine) 등의 기법을 활용하였다. 하지만 Fig. 1(a)와

같이 식별 대상 항공기 모델을 날개 등 형태가 완전히 다른 F-14, F-18, Rafale, Su-35 등으로 하였는데, 이는 N-N 등 딥러닝 이전의 머신러닝 기법들의 경우 구분해야하는 대상의 특징을 직접 지정하여 그 수치를 기반으로 분류 해야 하므로 분류해야 할 기종 수가 많거나 유사한 형태 의 항공기를 구분하는 데는 어려움이 있다. 본 연구는 Fig. 1(b)와 같이 육안으로 쉽게 구분하기 어려운 비슷한 형태의 항공기 2쌍(전투기인 F-15E, Mig-29와 여객기인 Boeing737, Tu-154)을 딥러닝 기법을 활용하여 자동으 로 특징을 추출하여 식별한다는 점에서 기존 연구와의 차이가 있다.

(a) F-14(left) & Rafale(right) ISAR Images

(b) F-15E(left) & Mig-29(right) ISAR Images

Fig. 1. Previous research ISAR image comparison example

최근에는 Bai 등(2019)이 ISAR 영상 분류에 CNN 기 법을 적용하였는데, SAR 영상을 포함한 다른 영상들과 달리 ISAR 영상은 이동 표적을 대상으로 하여 형태 변화 의 폭이 커 CNN 기법을 적용하기 어렵다는 점을 설명하 였고, 인공위성을 대상으로 ISAR 영상을 성공적으로 분 류한 바 있다. 한편, Wei 등(2020)을 비롯하여 최근에는 ISAR 영상 제작 신호처리 과정에 딥러닝 기법을 적용하 여 고품질의 영상을 확보하는 연구가 진행되고 있다.

2.2 ISAR 영상

ISAR 영상은 표적으로부터 반사된 레이다 신호인 HRRP 신호를 합성하여 나타낸 2차원 영상으로, 표적의 거리 방향 운동과 회전운동으로 인한 도플러 이동 효과를 활용하여 영상을 추출한다. 본 연구에서는 C. Ozdemir (2011)가 소개한 거리-도플러 이미징 기법과 JTF(Joint Time-Frequency) 기반 운동보상 기법을 적용하였으며, 시뮬레이션 영상을 제작하기 위해 항공기 형태에 따라 이를 구성하는 산란점(point scatterer)을 배치하고, 각 산 란점들은 전 방향으로 완벽하게 산란되는 완전 도체(PEC,

Perfectly Electric Conductor)로 가정하였다. Fig. 2의 시 나리오와 같이 레이다 방향으로 접근하는 항공기를 표적 에 대하여 N 개의 산란점으로 구성된 표적의 산란장



^

는 식 (1)과 같다.

Fig. 2. The Scenario for ISAR Image Simulation.



^

 



  





_



^{   }

^ (1)

여기서 ^

_

은 n번째 산란점의 위치 벡터이다. 초기 주 파수(

_

)와 도플러 주파수(

_

)는 항공기의 속도 

_

의 관 계식으로 나타낼 수 있는데, Fig. 2를 통해 이를 

_

과 각 속도 로 식 (2)와 같이 나타낼 수 있다.

_







_

   



_

   

_



_



  



_



(2)

이를 정리하면 식 (3)과 같이 N 개 산란점들로부터 반 사된 전기장의 총합으로 나타낼 수 있으며, 운동보상 기 법을 적용 후 2차원 역푸리에 변환을 하면 ISAR 영상을 얻을 수 있다.



^

  



  





_



^{   }

 











^{  }

^

^

(3)

이처럼 영상의 수직방향()이 되는 

_

는 식 (2)와 같 이 각속도(^)로 정리할 수 있어 Fig. 3과 같이 동일 조건 의 F-15E 모델이라도 각속도가 작을 경우 (a)처럼 영상 이 제대로 형성되지 않을 수 있다.

Fig. 3. Example of F-15E ISAR images by angular velocity

시뮬레이션 영상과 달리 실제 영상에서는 표적의 각속 도와 조사각(LOS, Line Of Sight) 뿐만 아니라 항공기의 속도, 레이다 반사 면적(RCS, Radar Cross Section), 주 변 잡음 등에 영향을 받는다. 국내에서는 Kim and Jeong (2007)이 국방과학연구소에서 제작한 KOMSAR 장비를 활용하여 Fig. 4와 같이 실제 Boeing 737 항공기를 대상 으로 ISAR 영상을 제작한 바 있다. 영상에서는 RCS 및 각도 등에 따라 강한 신호가 반사되는 부분과 손실 및 차 폐되는 부분이 존재하며, 엔진 위치에서 제트엔진 변조현 상(JEM)으로 인한 수직 방향의 줄무늬 잡음이 식별된다.

즉, 시뮬레이션 영상을 실제와 유사하게 형성하기 위해서 는 이러한 조건을 고려해야 할 것이다.

Fig. 4. Actual ISAR image of a B-737(Kim and Jeong, 2007)

2.3 CNN 모델

CNN 모델은 딥러닝 알고리즘 중 이미지 처리에 특화 된 모델로 Fig. 5와 같은 구조로 구성된다(M. Peng et al., 2016). 입력층(input layer)에 입력된 이미지는 각 픽셀 단위의 숫자로 변환되고 합성곱층(convolutional layer) 에서 정사각형 모양의 필터를 거쳐 이미지의 특징이 추 출된 특성맵으로 저장된다. 이 때 필터의 크기와 연산 방 법에 따라 이미지의 특징을 다양하게 추출할 수 있다. 다 음 풀링층(pooling layer)에서는 최대 풀링(max pooling) 등을 통해 이미지의 크기를 축소하여 연산량을 감소시키 고 이미지의 주요 특징을 다음 층으로 전달한다. 이런 과 정을 반복적으로 통과한 후 완전연결층(fully connected layer)에서는 3차원의 값을 1차원으로 전환하여 식별하 고자 하는 객체 이미지가 일치하는지 확인하고, 마지막 출력층(output layer)에서 식별 결과를 출력한다. 본 연구 에서는 일반적인 CNN 모델과 VGG16, VGG19, ResNet50 등 특성 추출 성능이 검증된 주요 CNN 모델의 구조를 적용한다.

Fig. 5. Structure of typical CNN(M. Peng et al., 2016)

VGG16(K. Simonyan and A. Zisserman, 2014)은 Fig. 6과 같이 3x3 필터를 사용하는 합성곱층 13개와 3개 의 완전연결층으로 구성되어 있다. 이전 모델인 AlexNet (2012)과 달리 합성곱층에서 크기가 큰 필터 대신 3x3 크기의 필터를 2~3번 연속 사용하여 파라미터 수를 줄 이면서 더 많은 층을 쌓아 비선형성을 증가시켰고, 이를 통해 식별 성능을 향상시켰다. VGG19는 VGG16의 13 개 합성곱층을 16개로 구성한 모델이다(X. Zhang et al., 2015).

Fig. 6. Structure of VGG16 model

ResNet50은 이전 CNN 모델들이 층수를 증가시키 더라도 정확도가 향상되지 않고 오히려 저하되는 문제 (degradation problem)를 Fig. 7과 같이 기존의 흐름에서

‘x identity’ 층을 추가하는 residual learning을 통해 해결 하였다. 목적함수 H(x)를 학습하는데 입력 x를 제공 받아 H(x) = (x) + x로 학습하므로 오차 (x)만 찾아내도록 개선한 것인데, 그 결과 연산량을 크게 증가시키지 않으면 서 더 많은 층을 구성할 수 있어 이전 모델들보다 향상된 결 과를 얻을 수 있다는 것이 장점이다(K. He et al., 2016).

Fig. 7. Structure of residual learning(K. He et al., 2016)

3. 시뮬레이션 구성

3.1 제안하는 데이터베이스 구성

데이터베이스 구축을 위한 학습 영상을 생성하기 위 해서는 실제 영상과 최대한 유사한 시뮬레이션 영상 제 작이 가장 중요하다. 이를 위해 Fig. 8과 같이 ‘완전 산 란체(Perfect Scattering images set)’, ‘결손 산란체(Lost Scattering images set)’, ‘JEM 잡음 추가(JEM Added images set)’ 등 3단계로 구분하여 시뮬레이션 영상을 제 작하여 학습시킨 후 실제 영상의 입력 및 평가를 통해 데 이터베이스 성능을 검증하는 구조를 제안한다.

Fig. 8. Proposed building Database flow

먼저 ‘완전 산란체’(Perfect scattering images set)는 2 장에서 언급한 Range-Doppler 기법을 이용하여 Table. 1 과 같은 레이다 제원으로 시뮬레이션하였다. 서로 유사한 형태인 F-15E와 Mig-29, 그리고 Boeing 737과 Tu-154 의 도면에 근거하여 완전도체로 가정한 점 산란체(point scatterer) 186개로 표적 모델을 구성하였는데, 앞서 언급 한 것과 같이 ISAR 영상은 표적의 각속도와 LOS에 따라 영상이 달라지므로 0.01rad/s 부터 0.02 간격으로 0.15rad/s 까지의 각속도로, LOS는 0°부터 5° 간격으로 359°까지 의 8 × 72 = 576장을 제작하였다. 또한, 항공기의 거리방 향 속도는 운동보상으로 해소하고 상황에 따라 제거되지 못한 잡음을 고려하여 각 영상에 ‘salt & pepper’ 잡음을 추가, Table 2.과 같이 기종별 576 × 2 = 1152장으로 총 4608장을 제작하였다. 영상은 530×600 픽셀로 구성된다.

Parameters Value / Type Frequency / Waveform 3GHz / SFCW

Bandwidth 384MHz

PRF 20kHz

Pulse / Burst No. 128 / 512 Initial Range(R0) 7.5km Velocity(v

r

) / Accelation(a

r

) 200m/s / 10m/s

²

Table 1. Specifications for ISAR image modeling

Aircraft Name

Point Scatterer model

ISAR Simulation Images

0.01rad/s, 30° 0.05rad/s, 120° 0.11rad/s, 210° 0.15rad/s, 300° Added Noise

F-15E

Mig-29

Boeing 737

Tu-154

Table 2. Examples of ‘Perfect Scattering’ Images set

Aircraft Front Lost Added Noise Rear Lost Added Noise Left Lost Added Noise

F-15E

Mig-29

Boeing 737

Tu-154

Table 3. Examples of ‘Lost Scattering’ Images set

‘결손 산란체’(Lost scattering images set)는 표적의 이동, LOS, RCS 등 다양한 원인으로 일부분이 누락된 ISAR 영상을 모사한다. 점 산란체 모델을 4분면으로 나 누었을 때 전반부(2ㆍ3 사분면)의 산란점을 제거한 부분, 후반부(1ㆍ4 사분면)를 제거한 부분을 ISAR 영상으로 시뮬레이션하였으며, CNN 모델 학습시 적용 가능한 데 이터 증강(data augmentation) 기능 중 ‘대칭’을 고려하여 좌측(3ㆍ4 사분면)만 제거한 부분을 Table. 3과 같이 생 성하였다. 각속도 0.01rad/s부터 0.03 간격으로 0.13rad/s 까지, LOS는 0°부터 10° 간격으로 영상을 생성하였으며 잡음을 추가한 영상까지 기종별 5 × 36 × 3 × 2 = 1080장, 총 4320장을 제작하였다.

‘JEM 잡음 추가(JEM noise added images set)’는 ISAR 영상에서 나타나는 JEM 잡음을 모사한다. JEM 신호는 항공기에 장착된 제트엔진의 회전으로 인해 발생 하는 레이다 신호의 변조 현상으로, JEM 신호 자체만으 로 기종 식별에 활용되기도 하지만 ISAR 영상에서는 잡 음으로 나타난다. 본 연구에서는 S-band 대역에서 검증 된 모델인 Martin & Mulgrew Model(A. French, 2010;

J. Martin and B. Mulgrew, 1992)을 사용하였다. 이 모 델은 Fig. 9와 같이 엔진 원통 내부에 선형 안테나 여러 개가 마차 바퀴살(cartwheel) 형태로 회전하는 것처럼 단 순화하여 변조현상을 설명한다. 시간에 따른 변조된 전기 장은 식 (4)와 같다.

Fig. 9. Martin & Mulgrew`s ‘cartwheel’ Model

^_{ &}

_

   

^{ }

^

^{   }



 (4)

여기서 

_

는 전송 주파수이고, R은 엔진과 레이다와의 거리이며, Φ 는 엔진 각 블레이드가 일으키는 변조 신호 들의 총합으로서 엔진 블레이드의 길이, 수, 회전속도로 정의된다. Mig-29, Tu-154의 경우 정확한 엔진 제원을 확인할 수 없어 여객기와 전투기에 대표적인 엔진을 각 각 선정하여 Table. 4와 같은 제원을 적용하였다. Table. 1 와 동일한 레이다 조건으로 시뮬레이션 했을 때 수집되는 JEM 신호를 이용하여 ISAR 영상에 나타나는 JEM 잡음

Parameters Trent 900 design22 (airliner)

F110-GE-129 (fighter)

RPM 6,000 12,000

1

^st

Blade No. 30 32

Blade pitch angle(ϕ) 26.73° 50°

Blade length 1.75m 0.258m

Table 4. Engine specifications for JEM signal modeling

을 모사한다. 이 과정은 레이다에서 전송된 신호가 ISAR 영상을 나타내는 식 (3)의 전기장 E

^s

(f , t)로 반사됨과 동 시에 JEM 신호를 나타내는 식 (4)의 Ψ

M&M

(f , t) 시스템 을 통과하는 것이라고 볼 수 있다. 이는 Fig. 10과 같이 두 함수의 컨볼루션인 E

^s

* Ψ

M&M

로 나타낼 수 있으며, 이를 2차원 역푸리에 변환하면 Table. 5와 같은 ISAR 영상을 얻을 수 있다. ‘JEM 잡음 추가’ 영상은 완전 산 란체(1개)와 결손 산란체(3개) 모델을 대상으로 각속도 0.03rad/s 및 LOS 10° 간격으로 잡음을 추가한 영상까지 4 × 5 × 36 × 2 = 1440장, 총 5760장을 생성하였다.

Fig. 10. ISAR image simulation process of JEM signals

3.2 CNN 모델 적용

항공기 기종 식별을 위해 Fig 11.과 같이 4개 합성곱 층으로 구성된 일반적인 CNN 모델부터, 마지막 완전연 결층을 제외하고 VGG16, VGG19, ResNet50 구조로 구 성된 모델을 이용하였다..

Fig. 11. Applied typical CNN model structure

생성된 14688장의 ISAR 영상은 Training set, Validation set, Test set 비율을 8:1:1로 서로 중복되지 않도록 기종 별로 분리하였고, 일부 에일리어싱(aliasing)으로 과도한 번짐 현상이 발생한 8장은 학습에 혼란을 줄 수 있어 제 외하였다. 또한, 훈련 데이터에 과대적합(overfitting)되는

문제를 해결하기 위해 데이터를 회전 및 좌우상하로 이 동, 반전시키는 데이터 증강(data augmentation)을 적용 하였다. 데이터를 증강하지 않은 경우에는 학습 세대 (epochs)를 50으로 하였고 데이터 증강시에는 300으로 적용하였다. 연구자가 직접 설정해야하는 하이퍼파라미 터(hyperparameter) 값은 활성화 함수 relu, batch size 50 으로 설정하고 학습률(learning rate)은 10

^-4

, 10

^-5

중 나은

것을 적용하였다.

학습 후에는 시뮬레이션 영상으로만 구성된 Test set 으로 평가하여 유사 형상의 항공기에 대한 분류 정확도 를 확인하고, 최종적으로 Table. 6의 실제 Boeing 737 ISAR 영상 21장으로 그 실용성을 평가하였다. 또한, ‘완 전 산란체’ 영상으로만 구성된 데이터베이스부터 ‘결손 산란체’, ‘JEM 잡음’ 영상을 순차적으로 추가한 데이터 Aircraft Front Lost Added Noise Rear Lost Added Noise Left Lost Added Noise

F-15E

Mig-29

Boeing 737

Tu-154

Table 5. Examples of ‘JEM noise added’ Images set

T1 T2 T3 T4 T5 T6 T7

T8 T9 T10 T11 T12 T13 T14

T15 T16 T17 T18 T19 T20 T21

Table 6. Actual Boeing 737 ISAR images for test

베이스를 각각 평가함으로써 제안한 데이터베이스 구축 방안에 대한 효과를 확인하였다.

실험 환경은 ISAR 이미지 생성에 MATLAB R2019b 버전을 사용하였으며, CNN 모델은 GPU 활용이 가능한 Google colaboratory 환경에서 Python 3.6.9, Tensorflow 2.3.0, Keras 2.4.3 버전으로 수행하였다.

4. 실험 결과

4.1 일반 CNN 모델 적용 결과

4개 합성곱층을 가진 일반 CNN 모델을 적용하여 데 이터베이스를 순차적으로 증가시켜 실험한 결과는 Table.

7과 같다. ‘완전 산란체’ 표적(총 4608장)은 적은 학습 횟 수(epochs)에도 정확도 90% 이상에 도달하는 등 유사 기 종을 거의 정확하게 식별하였다. 실제 Boeing 737 영상 을 테스트했을 때는 21개 중 단 1개만 맞추는 등 저조한 식별 성능을 보였다.

Images set Training acc. Test acc. Actual acc.

Perfect scattering 98.75 % 92.88 % 4.76 % + Lost scattering 98.40 % 88.73 % 23.81 % + JEM noise added 97.25 % 87.29 % 33.33 %

Data augmentation applied

Perfect scattering 89.50 % 78.02 % 9.52 % + Lost scattering 84.50 % 81.70 % 52.38 % + JEM noise added 83.05 % 80.03 %

85.71 % Table 7. Results of typical 4-Conv. layer Model

이어서 ‘결손 산란체’ 영상을 추가(총 8920장)하여 학 습시켰을 때에는 시뮬레이션 영상 식별은 88.73%로 정 확도에는 큰 변화가 없었으며, 실측 ISAR 영상은 21개 중 5개로 정확도는 여전히 낮았다.

JEM 잡음을 추가한 영상을 포함(총 14680장)시킨 결 과, 자체 식별 성능은 87.29%로 동등하였으나, 실측 영상 은 21개 중 7개를 식별하는 등 성능이 다소 향상되었다.

각 단계의 영상 그룹에 데이터 증강을 적용한 경우, 정 형화되지 않은 영상을 학습하면서 정확도가 80% 수준으 로 저하된 반면, 다양한 상황에서의 영상 특징을 추출하 여 실측 영상에 대한 식별률은 증가하였다. 또한, ‘결손 산란체’, ‘JEM 잡음’ 영상을 추가함에 따라 실측 영상 식 별률이 점진적으로 증가하여 85%까지 향상된 것을 확인 하였는데, Fig. 12는 3번째 합성곱층 중 일부 채널의 활 성화(activation)한 결과로 실측 영상과 시뮬레이션 영상 의 JEM 잡음을 유사하게 특성맵으로 분해하는 것을 볼

수 있다. 이는 항공기 엔진 부근에서 나타나는 JEM 잡음 신호를 기종별 특성으로 학습하게 되고 이로 인해 실측 영상에 대한 식별 정확도가 상승한 것으로 판단된다.

Fig. 12. Examples of 3rd Conv. layer activation results for

actual(left) and Simulation(right) Images

4.2 VGG16, VGG19, ResNet50 모델 적용 결과 Table. 8은 각 모델별 정확도를 평가한 결과이며, Table.

9는 실측 Boeing 737 ISAR 영상에 대한 식별 결과로 Boeing 737로 정확히 식별한 결과는 ‘O’로 표시하고 오인 식별한 경우에는 그 기종을 표기하였다. VGG16, VGG19 모델을 적용한 경우 시뮬레이션 영상의 식별 정확도는 90%

이상으로 향상되었으나, 실제 영상은 50% 수준으로 큰 향상은 보이지 못하였다. 주로 유사한 형상의 Tu-154 항 공기로 혼동하는 것을 확인하였다.

ResNet50의 경우 시뮬레이션 영상에 대한 정확도는 90% 내외로 VGG16 및 VGG19에 동등한 수준이었으나, 실제 영상 21장 중 1장을 제외하고 정확히 Boeing 737로 식별하였는데, 이는 ResNet50이 residual learning을 통 해 훈련 데이터의 특정 feature에 과적합되는 문제를 해 결한 결과라 할 수 있다.

데이터 증강을 거친 경우, 시뮬레이션 영상에 대한 정확 도는 80% 수준으로 다소 저하되었으나, 실측 ISAR 영상 에 대한 식별 정확도는 향상되었으며, 일반 CNN, VGG19, ResNet50은 데이터 증강시 80% 이상의 식별률을 나타 내었다.

한편, 상기 모델들이 시물레이션 영상 식별시 공통적 으로 오류를 범한 영상은 Fig. 14와 같이 대부분 각속도 0.01rad/s일 때로 ISAR 영상이 명확히 형성되지 않은 경 우에는 식별이 제한된다는 것을 확인하였다.

Error F-15E for Mig-29 Error Boeing 737 for F-15E

Fig. 14. Examples of classification failure

Model. CNN CNN

Data Aug. VGG16 VGG16

Data Aug. VGG19 VGG19

Data Aug. ResNet50 ResNet50 Data Aug.

Training Acc.(%) 97.25 83.05 96.15 94.23 95.65 89.84 98.05 93.70

Training Loss 0.0682 0.3928 0.1005 0.2715 0.1157 0.2333 0.0750 0.1628

Validation Acc.(%) 92.93 82.42 92.70 88.60 91.40 87.00 89.20 88.90

Validation Loss 0.1966 0.3956 0.1860 0.2659 0.1969 0.2488 0.3879 0.1929

Test Acc.(%)

87.29 80.03 91.97 86.67 91.29 88.16 90.82 89.86

Table 8. Simulation ISAR image classification test results for each models

Model. T1 T2 T3 T4 T5 T6 T7 T8 T9 T10 T11

CNN

O O O O

X

(Tu-154) X

(F-15E)

O

X

(Tu-154) X (Tu-154)

X (Tu-154)

X (Mig-29) CNN

Data Aug.

O O O O O O O O O O O

VGG16

O

X

(Tu-154)

O

X

(Tu-154)

O O

X

(Tu-154)

O O O O

VGG16

Data Aug.

O O O O O O O O O O O

VGG19 X

(Tu-154) X (Tu-154)

X

(Tu-154)

O

X

(Tu-154)

O O

X

(Tu-154) X

(Tu-154)

O O

VGG19

Data Aug.

O O O O O O O O O O O

ResNet50

O O O O O O O O O O O

ResNet50

Data Aug.

O O O O O O O O O O O

Model. T12 T13 T14 T15 T16 T17 T18 T19 T20 T21 Total

CNN

O

X

(Tu-154) X (Tu-154)

X (Tu-154)

X (Tu-154)

X

(Tu-154)

O

X

(Tu-154) X (F-15E)

X

(F-15E) 33.33%

CNN

Data Aug.

O O O O O

X

(Tu-154)

O

X

(Tu-154) X

(Mig-29)

O 85.71%

VGG16

O

X

(F-15E) X

(Tu-154)

O

X

(Tu-154)

O

X

(Mig-29) X (Mig-29)

X

(Mig-29)

O

57.14%

VGG16

Data Aug.

O O

X

(Tu-154)

O O

X

(Tu-154) X (Tu-154)

X (Tu-154)

X

(Tu-154)

O

76.19%

VGG19 X

(F-15E)

O

X

(F-15E) X

(Tu-154)

O O O O O O

57.14%

VGG19

Data Aug.

O O O O O O

X

(Tu-154) X (Tu-154)

X

(Tu-154)

O 85.71%

ResNet50

O O O O O O O O

X

(Tu-154)

O 95.24%

ResNet50

Data Aug.

O O O O O O O O O O 100%

Table 9. Classification test results by each models for auctual Boeing 737 ISAR images

5. 결론

본 연구에서는 딥러닝 기법을 적용하여 NCTR의 주요 기법인 ISAR 영상을 통해 항공기 기종을 식별하는 데이 터베이스 구축 방안을 제시하였다. 시뮬레이션 영상을 활 용한 학습으로 기종을 식별할 수 있어 방대한 양의 실측 데이터를 시뮬레이션 영상으로 대체할 수 있다는 가능성 을 확인하였으며, 구축된 모델에 실측 데이터를 지속 학 습시킬 경우 더욱 향상된 식별 성능을 확보할 수 있을 것 이다.

이번 연구를 수행함에 있어 다양한 기종의 많은 실측 ISAR 영상을 확보하는 것이 제한되었다. 만약 더 많은 실측 데이터를 확보한다면 모델 성능의 향상은 물론 더 면밀한 검증이 가능할 것이다. 또한, 항공기 RCS를 더욱 정밀하게 모사하는 방안에 관해 추가적인 연구가 수행된 다면 더욱 신뢰도 높은 모델을 제시할 수 있을 것이다. 최근 CNN 모델을 비롯하여 강화학습, 적대적신경망 (GAN) 등 새로운 기법에 다양한 모델들이 개발되고 인 공지능 관련 기술은 급속도로 발전하고 있다. NCTR 분 야에서도 JEM 신호 분석을 위한 엔진 스풀레이트 및 주 파수 추정, HRRP 데이터베이스 구성 등 여러 분야에 딥 러닝 기법 적용이 가능하므로 향후에도 NCTR 기술에 인 공지능 기술을 접목 시키는 다양한 연구가 지속되어야 할 것이다.

References

1. Tait, P., Introduction to radar target recognition, IET Radar, Sonar and Navigation Series 18, London, 2005.

2. Blacknell, D. and Griffiths, H., Radar automatic

target recognition and non-cooperative target recognition, IET Radar, Sonar and Navigation Series

33, London, pp. 48-74, 2013.

3. Lee, D. J., “A Study on the Requirements of KF-X Mounted Equipment”, Air Review, ROK Joint Forces Military University, 2016.

(이동준, “KF-X 탑재장비 요구조건 연구”, 공군 평 론, 합동군사대학교, 2016.)

4. Lee, C. J. and Lee, M. G., “A Study on performance verification Case and application method of AESA radar”, Korea National Defense University, 2016.

(이춘주, 이문걸, “AESA 레이다 성능검증 사례 및

적용방안 연구”, 국방대학교에서 수행한 연구용역 최 종보고 자료, 2016)

5. Kim, K. T., Seo, D. K. and Kim, H. T., “Efficient classification of ISAR images”, IEEE Transactions

on Antennas and Propagation, Vol. 53, No. 5, pp.

1611-1621, 2005.

6. Park, S. H., Joo, M. G. and Kim, K. T., “Construction of ISAR training database for automatic target recognition”, Journal of Electromagnetic Waves

and Applications, Vol. 25, pp. 1493-1503, 2011.

7. Choi, I. O., Kim, K. T., Jung, J. H. and Park, S.

H., “Efficient recognition of ISAR Images usings 1D central moments”, Journal of KIIT, Vol. 14, No. 1, pp. 61-68, 2016.

8. Bai, X., Zhou, X., Zhang, F., Wang, L. Xue, R. and Zhou, F., “Robust Pol-ISAR Target Recognition Based on ST-MC-DCNN”, IEEE Transactions on

Geoscience and Remote Sensing, Vol. 57, No. 12,

pp. 9912-9927, 2019.

9. Wei, S., Liang, J., Wang, M., Zeng X., Shi, J. and Zhang, X., “CIST: An Improved ISAR Imaging Method Using Convolution Neural Network”,

Remote Sens. 2020, 12(16), 2641, 2020.

10. Ozdrmir C., Inverse synthetic aperture radar imaging

with matlab algorithm, John Wiley & Sons, Inc.,

New York, 2012.

11. Kim, K. T. and Jeong, H. R., “ISAR imaging of a real aircraft using KOMSAR”, The Journal of Korean

Institute of Electromagnetic Engineering and Science,

vol. 18, pp. 717-722, Jul. 2007.

12. Peng, M., Wang, C., Chen, T. and Liu, G.,

“NIRFaceNet: A convolutional neural network for near-infrared Face Identification”, Information, Vol.

7(4), 61, 2016.

13. Simonyan, K. and Zisserman, A., “Very deep convolutional networks for large-scale image recognition”, arXiv preprint arXiv:1409.1556, 2014 14. Zhang, X., Zou, J., He, K. and Sun, J. “Accelerating

very deep convolutional networks for classification and detection.” arXiv preprint arXiv:1505.06798, 2015.

15. He, K., Zhang, X., Ren, S. and Sun, J., “Deep residual learning for image recognition”, arXiv

preprint arXiv:1512.03385, 2015

16. French, A., “Target recognition techniques for multifunction phased array radar”, Ph.D Thesis, University College London, pp. 29-52, 2010.

17. Martin, J. and Mulgrew, B., “Analysis of the effect of blade pitch on the return signal from rotating aircraft blades”, IEEE International Radar Conference

1992, pp. 446, 1992.

정 승 호 (ORCID : https://orcid.org/0000-0002-7675-9967 / [email protected]) 2008 공군사관학교 무기기초과학 학사

2019~ 현재 국방대학교 국방과학학과 석사과정

관심분야 : 레이다 신호처리, NCTR, ISAR 등

하 용 훈 (ORCID : https://orcid.org/0000-0002-2516-9510 / [email protected]) 1994 해군사관학교 해양학 학사

1997 서울대학교 해양학 학사 2000 미국 해군대학원 공학음향학 석사 2009 서울대학교 조선해양공학 박사

2019~ 현재 국방대학교 국방과학학과 무기체계전공 교수

관심분야 : 표적탐지 및 추적, 수중음향 및 대잠관련 M&S, 신호처리 등