선택적 sparse coding 기반 측면주사 소나 영상의 고속 초해상도 복원 알고리즘
A selective sparse coding based fast super-resolution method for a side-scan sonar image
박재현,
1
양철종,1
구본화,1
이승호,2
김성일,2
고한석1†
(Jaihyun Park,
1
Cheoljong Yang,1
Bonwha Ku,1
Seungho Lee,2
Seongil Kim,2
and Hanseok Ko1†
)1
고려대학교,2
국방과학 연구소(Received November 23, 2017; accepted January 30, 2018)
초 록: 측면주사 소나 영상 획득의 효율성을 향상시키고자 저해상도의 수중 영상을 복원 기법을 이용하여 고화질 영상으로 개선시키는 연구가 시도되고 있다. 측면주사 소나 영상은 광학 영상과 같은 2차원 신호를 사용한다는 측면에 서 기존 광학 영상 복원에 적용된 기법의 응용을 고려할 수 있다. 광학 영상에 대한 가장 대표적인 복원 방법 중 하나는 스파스 코딩이며, 수중 영상의 희소성을 분석하여 스파스 코딩 기법을 수중 영상에 적용할 수 있음을 증명하는 연구가 진행되었다. 스파스 코딩은 입력 신호에 대하여 사전과 스파스 계수의 선형 결합으로 복원 신호를 얻는 방식이다. 하지 만 스파스 계수의 값을 정확히 추정하기 위해서는 많은 연산량을 필요로 한다. 본 연구에서는 스파스 코딩 기반의 수중 영상 초해상도 복원을 수행하되, 수중 영상 내 객체 영역에 한해서 선택적으로 복원 기법을 적용하는 방법을 제안함으 로써 전체 연산 시간을 단축시킨다. 이를 위하여 수중 영상에서 경계를 검출하고 그 분포에 따라 객체 영역과 비객체 영역을 구분하는 방법을 제안하고, 이를 스파스 코딩 기반의 초해상도 복원 기법과 접목시킨다. 실험을 통해 제안하는 방 법이 기존 방식과 동일 수준의 PSNR(Peak Signal-to-Noise Ratio) 수치를 유지하며, 영상 복원에 필요한 시간은 32 % 만큼 단축시킴을 확인함으로써 제안 방법의 유효성을 증명하였다.
핵심용어: 측면주사 소나, 초해상도 복원, 스파스 코딩, 객체 검출, 이진 분류
ABSTRACT: Efforts have been made to reconstruct low-resolution underwater images to high-resolution ones by using the image SR (Super-Resolution) method, all to improve efficiency when acquiring side-scan sonar images. As side-scan sonar images are similar with the optical images with respect to exploiting 2-dimensional signals, conventional image restoration methods for optical images can be considered as a solution. One of the most typical super-resolution methods for optical image is a sparse coding and there are studies for verifying applicability of sparse coding method for underwater images by analyzing sparsity of underwater images. Sparse coding is a method that obtains recovered signal from input signal by linear combination of dictionary and sparse coefficients. However, it requires huge computational load to accurately estimate sparse coefficients. In this study, a sparse coding based underwater image super-resolution method is applied while a selective reconstruction method for object region is suggested to reduce the processing time. For this method, this paper proposes an edge detection and object and non object region classification method for underwater images and combine it with sparse coding based image super-resolution method. Effectiveness of the proposed method is verified by reducing the processing time for image reconstruction over 32 % while preserving same level of PSNR (Peak Signal-to-Noise Ratio) compared with conventional method.
Keywords: Side-scan sonar, Super-resolution, Sparse coding, Object detection, Binary classification PACS numbers: 43.30.Vh, 43.60.Lq
†Corresponding author: Hanseok Ko
(hsko@korea.ac.kr) Engineering Building Room 419, Department of Electronics and Computer Engineering, Korea University Anam Campus, 145 Anam- ro, Seongbuk-gu, Seoul 02841, Republic of Korea
(Tel: 82-2-3290-3239, Fax: 82-2-3291-2450)
“이 논문은 2017년도 수중음향학 학술발표대회에서 발표하였던 논문임.”
I. 서 론
측면주사 소나는 해저면의 넓은 범위를 영상화할 수 있는 효과적인 장비이다. 주요 응용 분야는 국방 및 민간 영역 크게 두 가지로 나뉠 수 있다. 국방 분야 의 경우 측면주사 소나는 고도화된 수중 시각화를 위한 원천 기술로 간주되며, 체적 산란체, 기만기 및 기뢰 식별을 위해서도 사용된다. 민간 영역에서는 조선소 안벽 수심 측량 및 해저면 지형 확인 분야는 물론 지질 조사, 전력선 보수, 어초 및 광물 탐사 등에 도 측면주사 소나가 활용되고 있다.
측면주사 소나 이용에 있어 가장 큰 이슈는 촬영 범위와 해상도 사이의 트레이드오프이다. 저주파 소 나는 넓은 영역 촬영에 적합하지만, 고화질 영상을 얻을 수 없다는 단점이 있다. 반대로 고주파 소나는 고해상도의 영상 획득이 가능하지만, 촬영 가능 범 위는 협소하다. 따라서 광범위 촬영이 가능한 저주 파 소나 영상을 고해상도로 복원시키는 연구에 대한 필요성이 존재한다. 측면주사 소나 영상은 2차원 신 호를 이용한다는 점에서 광학 영상과 유사하다. 따 라서 대표적인 광학 영상 복원 기법인 스파스 코딩 이 수중 영상 문제에 적용될 수 있으며
[1,2]
수중영상 의 희소성을 분석함으로써 측면주사 소나 영상 복원 에 스파스 코딩 기법 적용이 타당함을 증명한 연구 결과가 있다.스파스 코딩은 입력 신호 로부터 사전 행렬 와 스파스 계수 의 선형결합을 이용해 복원 신호 를 얻는 방식이다. 이 방식은 다양한 분야에 활용이 가 능하며, 광학 영상의 초해상도 복원에 있어 그 효과 는 Yang et al.
[3]
에 의해 검증되었다. 하지만 이 방식은 각각의 입력 패치 에 대한 최적의 를 추정하기 위 해 많은 연산량을 요구한다. 실제로 스파스 코딩의 처리시간은 기본적인 초해상도 복원 기법인 bi-cubic 보간법[4]
에 비해 대략 2,000배 이상이 된다. 240 × 240 픽셀 크기의 영상을 스파스 코딩 기법으로 복원하려 면 약 1분이 소요되는데, 5분간 저주파 소나를 이용 해 획득한 영상의 크기가 대략 1,000 × 60,000 픽셀임 을 감안하면(주파수: 150 kHz, 센서~해저면 거리: 100 m), 측면주사 소나 화질 개선 시스템에 스파스 코딩 기법을 사용하는 것은 현실적이지 못하다.복원 영상의 품질을 평가하는 가장 중요한 인자 중의 하나는 선예도 (sharpness)이며
[5]
이는 Fig. 1을 통해 확인할 수 있다. 하지만 측면주사 소나 영상의 대부분의 영역은 에지 성분이 부족한 평평한 모래 지형으로 이루어져있다. Fig. 2에서 볼 수 있듯 비록 성능평가지표 PSNR(Peak Signal-to-Noise Ratio)는 스 파스 코딩 기법이 bi-cubic보다 나을지라도 객체의 부재로 인해 시각적 품질의 차이는 거의 없다고 볼 수 있다. 따라서 이와 같은 영역에 대해서는 많은 연 산량을 요하는 스파스 코딩 기법을 적용할 필요성이 떨어지며, bi-cubic 보간법으로 복원을 수행하기에 충분하다.본 논문에서는 스파스 코딩 기반의 영상 초해상도 복원 기법을 수중영상에 적용하는 방법에 대해 다룬 다. 처리 시간 단축을 위해 객체 및 비객체 영역 식별 기법이 사용되었고, 이 식별 결과를 이용해 스파스 코딩 기반의 초해상도 복원 기법이 객체 영역에만 선택적으로 적용되었다.
본 연구의 주요한 기여는 다음과 같이 요약될 수 있다: 1) 측면주사 소나 영상의 초해상도 복원 과정 에 객체 및 비객체 패치 식별 기법을 추가하였다. 2) 식별 결과를 이용해 선택적으로 스파스 코딩 기법을 입력 영상에 적용하였는데, 이는 복원 영상의 시각 적 품질을 유지한 채 처리 시간을 단축시킨다. 3) 측
Fig. 1. Example for image quality comparison between sharp and blurred images.
(a)
(b)
Fig. 2. Restoration results for flat region. (a) bi-cubic
interpolation method (PSNR: 30.52 dB), (b) sparse
coding method (PSNR: 31.10 dB).
면주사 소나 영상에 대한 제안하는 방식들의 효과를 실험적으로 증명하였다.
본 논문의 II장에서는 관련된 연구를 소개하고, III 장은 제안하는 방식들에 대한 세부 내용을 다룬다.
IV장에서는 제안 방식들의 실험 결과를 보여주며, V 장은 본 논문의 결론에 대해 기술한다.
II. 관련 연구
열화된 관측 영상 패치를 , 이로부터 복원된 영상 패치를 라고 할 때, 는 ≈ 에 의해 얻어질 수 있 으며, 여기서 는 학습된 사전 그리고 는 스파스 계 수를 의미한다. 는 훈련 영상들로부터 얻은 패치 를 통해 얻어지며, Eq. (1)과 같이 표현된다.
arg
∥ ∥
∥∥
≤ , (1)여기서 는 0이 아닌 값을 갖는 의 원소들의 개수를 제한하는 임계치에 해당한다. Eq. (1)을 통해 얻은 와 관측값 가 주어지면 최적의 는 Eq. (2)을 통해 얻 어지며, 여기서 는 상수이다.
arg
∥ ∥
∥∥
. (2)처리 시간 단축 및 복원 성능 향상을 위해 Dong et al.
[6]
은 사전 훈련에 PCA(Principal Component Analysis)
[7]
기법 을, 스파스 계수 최적화에 FISTA(Fast Iterative Shrinkage Thresholding Algorithm)[8]
알고리즘을 적용했다. 또한 Dong은 적응적 도메인 선택 기법을 제안하였는데, 이 방식은 -means clustering[9]
을 이용해 개로 나뉜 하위 훈련 데이터들로부터 각각 하위 사전들을 얻은 뒤 특징 유사성 비교를 통해 입력 패치에 가장 적합 한 하위 사전으로 복원을 수행하는 방식이다. 그리 고 이 저자는 Eq. (3)과 같이 자기회기(Auto Regressive, AR) 모델, 비국부적 유사성, 두 개의 제약 조건을 목 적함수에 추가하였다. 여기서 는 다운 샘플링 연산 자, 는 blurring 연산자, 는 단위행렬을 의미하며, 행 렬 는 AR 모델의 파라미터들을 포함하고, 는 비 국부적 유사성에 대한 가중치 행렬에 해당한다. arg
∥ ∥
∥ ∥
∥ ∥
. (3)이 방식은 이전의 초해상도 복원 방식들보다 우수 한 성능을 보여줬다. 또한 측면주사 소나 영상 내 존 재하는 패턴의 종류가 광학 영상의 패턴에 비해 제 한적인 점을 감안할 때, 클러스터링된 하위 사전들 중 가장 적합한 것으로 영상 패치를 복원하는 이 방 식은 측면주사 소나 영상의 초해상도 복원에 적합한 해결책이라고 할 수 있다. 따라서 본 연구는 Dong의 초해상도 복원 기법을 기반으로 한다.
III. 제안 방법
3.1 영역 의존적 소나 영상의 초해상도 복원 제안 방식은 측면주사 소나 시스템에 대한 초해상 도 복원 알고리즘의 실질적인 활용을 목표로 한다.
이 장에서는 영상 복원 각 단계의 구체적 방법이 소 개된다. Fig. 3과 같이 제안 방식은 전체 소나 영상에 대한 윈도윙을 통해 각 영역의 객체 포함 유무를 객 체 식별 기법을 이용해 구분한다. 본 논문에서 윈도 우는 패치와 같은 개념으로 사용되며, 크기는 240 × 240 픽셀이고, 윈도우들에는 서로 중복되는 영역이 없다. 비객체 패치의 경우 모든 픽셀들이 bi-cubic 보 간법만을 이용해 복원되며, 객체 패치의 경우 패치 내 배경 영역들은 비객체 패치와 같은 방식으로 복 원되지만, 객체가 포함된 픽셀들에 한해서 스파스 코딩 기법이 적용된다. 이 과정에 사용되는 사전은 객체들이 포함된 측면주사 소나 영상들로 학습된 것 이다.
Fig. 3. Process of proposed method.
3.2 객체 및 비객체 패치 식별
제안하는 패치 식별 기법은 Fig. 4와 같이 3단계로 구성된다.
첫 번째로 Sobel 에지 검출기
[10]
를 이용해 임계치 를 구한다. 이 값은 입력 영상에 대한 gradient 세기의 평균값에 의해 유도되며, 스케일 파라미터 에 의해 조정된다. 수식으로는 Eq. (4)와 같이 표현되며, 여기 서
와
는 , 축 gradient를, 과 은 입력 영상 의 , 축 크기를 의미한다. 이후 임계치 는 Sobel 연 산자를 통해 이진 영상을 얻는데 사용된다.
. (4)Fig. 4 중앙 상단의 영상에서 볼 수 있듯 객체의 윤 곽선들은 여러 곳이 끊어져있다. 따라서 두 번째 과 정에서 2단계의 모폴로지 연산을 이용해 이진 영상 내 객체 윤곽선을 팽창시킨 후 그 사이를 채운
다.
[11-12]
1단계에서는 과 ⊤
, 두 종류의 마스크를 이용하며, 2단계에서는 이웃 픽셀들을 연결 하는
형태의 마스크가 사용된다. 만약 객체 및 비객체 패치 식별만을 목적으로 한다면, Sobel 연 산자만으로도 식별을 수행하기에 충분하다. 하지만 객체가 존재한다고 분류된 패치 내에서 객체에 해당 하는 픽셀에만 한정적으로 스파스 코딩 기법을 적용 하려고 하므로 검출된 객체의 윤곽선 내부는 이를 위해 채워져야 한다.마지막 과정으로 객체로 인식된 픽셀 수/전체 픽 셀 수 값으로 규준화된 에너지를 얻고, 이 특징값은
입력 영상의 클래스를 분류하는데 사용된다.
첫 단계의 적응적 임계치를 이용한 에지 검출 방 식 때문에 만약 눈에 띄는 객체가 입력 영상에 없다 면, 낮은 임계치가 얻어지고, 이로 인해 Fig. 4 중앙 하 단의 영상처럼 수많은 에지들이 배경에서 검출된다.
그러므로 객체가 없는 패치는 높은 특징값을 갖고, 객체가 있는 패치는 작은 값을 얻게 된다. 이 두 클래 스를 구분하기 위한 결정 경계는 머신러닝 기법을 통해 얻을 수 있으며, 본 연구에서는 선형 SVM(Support Vector Machine)을 식별기로 사용하였다.
[13]
3.3 다중 스케일의 객체 및 비객체 패치 식별 본 단락에서는 다양한 스케일의 영상에 대응하기 위해 영상 피라미드를 활용하는 방식에 대해 설명한 다. 이러한 방식은 광학 영상에서 크기 변화에 강인 한 객체 검출기를 만들기 위해 사용되는 대표적인 방식이다.
[14]
제안하는 방식은 Fig. 5에 묘사되어있 다. 주어진 원본 영상은 특정 scale factor에 의한 다운 샘플링 및 blurring되고, 이 열화된 입력 영상은 bi-cubic 보간법을 통해 다중 스케일의 영상 피라미드로 변형 된다. 다음으로 3.2장에서와 마찬가지로 에지 검출, 모폴로지 연산, 규준화 에너지 획득 과정이 영상 피 라미드의 각 레이어에 적용되며, 최종적으로 이렇게 얻어진 다차원의 특징 벡터를 SVM 식별기를 이용해 객체 패치 또는 비객체 패치로 분류한다.3.4 스파스 코딩 기반의 초해상도 복원 본 연구의 기반이 되는 복원 방식의 경우,
[6]
출력 패치 와 스파스 계수 뿐 아니라 다운 샘플링 및 blurring 연산자 , AR 모델 , 그리고 비국부적 유Fig. 4. Process of object and non object patch classi-
fication method. Fig. 5. Process of multi-scale object non object patch
classification method.
사성 도 복원 알고리즘 내에서 반복적으로 업데이 트된다. 이와 달리 본 논문에서는 앞에서 얻은 이진 영상을 라벨로 삼아 오직 객체가 존재하는 픽셀에 해당하는 행렬들의 원소들만을 업데이트한다. 예를 들어 행렬 는 다음과 같은 조건으로 얻어진다.
if ∈
(5)Eq. (5)에서 은 3.2장에서 얻은 이진 영상이며,
는
번째 하위 데이터셋의 AR 모델을,
는 패치
내
의 이웃한 픽셀들로 구성된 벡터를 의미한다. 이 선택적 갱신 기법을 적용하면 복원 영상의 시각적 품질을 유지한 채 처리 시간 단축이 가능하다.IV. 실험 결과
이 장에서는 객체 및 비객체 패치 식별 및 영상 초 해상도 복원 기법들에 대한 성능 검증 내용을 다룬 다. 구체적으로 식별 문제의 경우 단일 스케일과 다 중 스케일 각각에 대한 실험을 수행하였다. 이 실험 들은 3.4 GHz(×8) CPU, 64 GB RAM의 PC 플랫폼에서 진행되었으며, 프로그래밍 언어로는 MATLAB R2016a 버전이 사용되었다.
4.1 객체 및 비객체 패치 식별
단일 스케일의 XTF 데이터 포맷의 미가공 데이터 를 사용하였는데, 사용된 소나의 주파수는 455 kHz, 입력 패치의 크기는 240 × 240 픽셀, 객체 패치 개수 는 30개, 비객체는 60개, 임계치 는 0.51로 설정하였 다. 이렇게 만들어진 데이터셋은 3-fold 교차검증을 위해 Fig. 6과 같이 분류되었다.
미가공 데이터 획득의 어려움으로 인해 데이터셋 의 크기와 구성 영상들의 다양성에는 제약이 따른 다. 이 실험은 단일 스케일 영상들을 대상으로 하므 로 패치 식별을 위해 사용되는 특징은 1차원의 규준 화 에너지이다. 즉, 영상 피라미드에서 하나의 레이 어만을 사용한 경우와 동일하다. 그렇기 때문에 처 리가 빠르면서 작은 크기의 데이터셋으로 인한 오버피 팅 문제에 강인한 선형 SVM을 식별기로 사용하였다.
실험 결과 100 %의 평균 검출률과 5.8 %의 평균 오 탐률을 얻었다. 수중 영상에서는 객체가 우리의 주 관심사이며, 이에 해당하는 영상은 가능한 많은 양 이 정교하게 복원되어야하기 때문에 본 연구에서는 오탐률의 최소화보다 검출률의 최대화를 더 중요하 게 여긴다. 따라서 오탐률 사례들로 인해 처리 시간 이 지연되는 문제가 존재하더라도 이 실험 결과는 제안 방식의 실효성을 뒷받침하기에 충분하다.
Fig. 7는 객체와 비객체 패치들로부터 얻은 특징값 의 히스토그램을 나타낸다. 두 히스토그램은 일부의
Fig. 6. Dataset used for patch classification test.
Fig. 7. Histograms of normalized energy for object
and non object patches.
중복 영역을 제외하면 분명하게 이격되어있는 것을 확인할 수 있다. 한편, 검출률이 100 %까지 나올 수 있는 이유는 단일 스케일의 데이터셋으로 훈련 및 테스트를 수행하였으며, 이를 구성하는 영상들의 다 양성 역시 부족하기 때문으로 판단된다.
4.2 다중 스케일의 객체 및 비객체 패치 식별 제안하는 패치 식별 기법의 실효성을 검증하기 위 해 여러 웹 사이트로부터 수집한 다중 스케일 데이 터셋에 대한 실험을 수행한다. 데이터셋 내 영상들 은 스케일뿐 아니라 데이터 획득에 사용된 센서 사 양, 데이터 취득 환경 등 많은 부분에서 상이하다. 데 이터셋에 대한 구체적인 정보는 다음과 같으며, 언 급되지 않은 부분들은 4.1장 실험 설정과 동일하다.
영상들의 파일 포맷은 JPG이며, 이미지 피라미드에 사용된 스케일 종류는 ×1/4, ×1/2, ×1, ×3/2, ×2이고, 임 계치 는 0.2이다. 값이 낮아진 이유는 다음과 같 다: 미가공 영상들과 비교해 웹에서 획득한 영상들 은 전처리로 인해 잡음 레벨이 낮아져있다. 이는 비 객체 영역에서 에지가 검출될 가능성이 낮다는 뜻으 로, 이를 감안하여 낮은 임계치를 설정하였다.
Scale factor ×4와 ×5에 대한 실험 결과가 각각 Tables 1 과 2에 나와 있다. 4.1장의 결과와 비교해 단일 레이
어의 피라미드를 사용한 경우의 검출률은 두 경우 모두 상당히 감소하였다. Table 1에서는 단일 레이어 가 가장 낮은 오탐률을 기록하였지만, 앞에서 언급 하였듯 오탐률의 최소화보다 검출률의 최대화가 더 중요하기 때문에 3개와 5개 레이어의 피라미드가 더 나은 결과를 얻었다고 볼 수 있다. Table 2에서도 유 사한 경향이 관찰되며, 5개 레이어 피라미드가 가장 우수한 성능을 보였다. 비록 레이어 수 증가에 따라 처리 시간도 늘어나지만, 이는 무시할 수 있는 수준 이다. 4.1 및 4.2장의 결과를 요약하면, 단일 레이어 피 라미드는 단인 스케일 데이터에 대해서는 효과적이 지만, 다중 스케일 데이터 처리에는 다중 레이어 피 라미드가 더 효과적이다.
4.3 스파스 코딩 기반의 초해상도 복원 본 단락에서는 제안하는 선택적 초해상도 복원 방 식을 bi-cubic 보간법
[4]
및 Dong et al.[6]
의 복원 방식과 비교한다. 실험 데이터 관련 설정은 테스트 영상의 수를 제외하고 4.1장과 동일하다. 또한 초해상도 복 원 알고리즘의 파라미터들은 Dong의 설정을 따른 다. 다만 복원에 사용하는 훈련된 하위 사전의 수는 30개로 축소하였다. 이는 패턴이 제한적인 수중영상 에 최적화한 값이다. Fig. 8은 초해상도 복원 실험의 과정을 나타낸다. 원본 영상은 scale factor ×4로 다운 샘플링 및 7 × 7 크기의 가우시안 커널에 의해 blurring 된다. 이후 이 열화 영상은 bi-cubic에 의해 원본 크기 로 업 샘플링된 후 스파스 코딩 알고리즘에 입력된 다. 마지막으로 복원 영상과 원본 영상간의 대조를 통해 성능 평가가 이루어진다. 이 실험에서는 PSNR[15]
와 SSIM(Structural SIMilarity Index)
[16]
이 평가지표로 사 용되었다.객체 및 비객체 테스트셋들에 대한 초해상도 복원 결과가 Tables 3과 4에 나와 있다 (마지막 페이지 참조).
Table 1. Results of patch classification (scale factor: 4).
# of layers in
pyramid 1 2 3 5
Used scales in
pyramid 1 1,
3/2 ½, 1
½, 1, 3/2
1, 3/2,
2
¼, ½, 1, 3/2, 2 Detection rate
(%) 86.67 90 90 91.67 95 95
False positive
rate (%) 1.67 1.67 4.17 4.17 1.67 2.5 Table 2. Results of patch classification (scale factor: 5).
# of layers in
pyramid 1 2 3 5
Used scales in
pyramid 1 1,
3/2 ½, 1
½, 1, 3/2
1, 3/2,
2
¼, ½, 1, 3/2, 2 Detection rate
(%) 91.67 93.33 95 95 93.33 96.67 False positive
rate (%) 2.5 1.67 4.17 3.33 1.67 2.5 Fig. 8. Performance evaluation method for SR (Super-
Resolution).
객체 영상의 경우 제안하는 SSC(Selective Sparse Coding) 방식이 Dong의 SC(Sparse Coding) 방식의 처리시간을 32 %만큼 단축시키는 동시에 PSNR과 SSIM 수치들 은 같은 수준으로 유지하였다. 비객체 영상들의 경 우 제안하는 방식은 두 건의 오검출 사례를 제외하면 bi-cubic과 동일하기 때문에 평균적으로 SC 기법보다 낮은 성능을 보이지만, 그 수치의 차이는 크지 않으며,
이미 Fig. 2에서 확인했듯 시각적인 차이는 미미하다.
세 개의 영상 샘플에 대한 정성적 분석이 Figs. 9~11 에 표현되어있다. 세 경우 모두 제안하는 SSC 방식이 PSNR 수치뿐 아니라 객체 영역에 적용된 초해상도 복원 기법으로 인해 시각적 품질 역시 bi-cubic 기법 보다 뛰어난 것을 확인할 수 있다.
Table 3. Results of SR for object existing images.
Patch classification
Data # 1 2 3 4 5 6 7 8 9
Ground truth Object Object Object Object Object Object Object Object Object Classification result Object Object Object Object Object Object Object Object Object
Bi-cubic interpolation Average
Processing time (s) 0.02 0.03 0.02 0.03 0.03 0.02 0.06 0.02 0.02 0.03
PSNR (dB) 20.1 21.2 19.8 20.5 20 21.8 22.4 18.8 17.8 20.26
SSIM 0.36 0.31 0.46 0.27 0.36 0.46 0.29 0.23 0.31 0.34
Selective Sparse Coding
(SSC) Average
Processing time (s) 42.6 40.8 46.9 39 43.6 38.6 36.9 44.9 48.5 42.42
PSNR (dB) 22 23 22.6 21.9 22.1 25.7 24.2 20 18.9 22.27
SSIM 0.44 0.34 0.55 0.3 0.4 0.61 0.3 0.27 0.37 0.4
SC Average
Processing time (s) 63.8 62 64.1 60.7 62.3 60.3 59.7 63.2 65.2 62.37
PSNR (dB) 21.9 22.9 22.5 21.9 22 25.6 24.2 20 18.8 22.2
SSIM 0.43 0.34 0.55 0.3 0.4 0.61 0.3 0.27 0.37 0.4
Table 4. Results of SR for object non-existing images (NO: Non object).
Patch classification
Data # 1 2 3 4 5 6 7 8 9
Ground truth NO NO NO NO NO NO NO NO NO
Classification result NO NO NO NO NO Object NO NO Object
Bi-cubic interpolation Average
Processing time (s) 0.02 0.02 0.02 0.02 0.02 0.02 0.02 0.02 0.02 0.02
PSNR (dB) 14.7 12.9 18.2 23.5 14.9 18.3 19 17.2 22.2 17.88
SSIM 0.1 0.1 0.15 0.3 0.09 0.3 0.26 0.18 0.29 0.2
Selective Sparse Coding
(SSC) Average
Processing time (s) 0.02 0.02 0.02 0.02 0.02 50.5 0.02 0.02 47.2 10.87
PSNR (dB) 14.7 12.9 18.2 23.5 14.9 19.3 19 17.2 24.1 18.21
SSIM 0.1 0.1 0.15 0.3 0.09 0.42 0.26 0.18 0.33 0.22
SC Average
Processing time (s) 60.6 64 58.2 57.9 59.9 66.6 58.1 57.1 63.3 60.62
PSNR (dB) 14.7 13 18.6 25.6 15 19.2 19.7 17.2 24 18.55
SSIM 0.09 0.09 0.14 0.31 0.09 0.42 0.49 0.18 0.33 0.24
V. 결 론
본 연구는 측면주사 소나 영상에 대한 실용적인 초 해상도 복원 시스템을 제안하였다. 우리의 관심 영역
이자 적용하는 복원 기법에 따른 성능 변화가 두드러 지는 객체 영역에 대해서만 스파스 코딩 기반 초해상 도 복원 기법을 적용하였다. 반면, 낮은 관심도와 함 께 복원 기법에 따른 성능 변화가 미미한 비객체 영역 에 대해서는 bi-cubic 보간법이 적용되었다. 이러한 영역 의존적 초해상도 복원 방식의 구현을 가능하게 하는 것은 우수한 성능이 검증된 객체 및 비객체 패치 식별 기법 덕분이다. 실험을 통해 제안하는 방식의 효과를 증명하였으며, 객체 패치에 대해 제안하는 방 식이 기존 방식 대비 연산 시간을 32 % 낮추는 동시에 동일 수준의 복원 성능을 유지하는 것을 확인하였다.
하지만 여전히 연산 시간 단축에 대한 필요성이 남아있는 상태이다. 따라서 제안하는 알고리즘에서 연산 시간을 가장 많이 차지하는 복원 영상 획득을 위한 반복 연산 과정을 간소화하기 위해 regularizer 및 sparse solver 개선에 대한 연구가 필요하다.
감사의 글
본 논문은 국방과학연구소의 연구과제인 “압축센 싱소나 신호처리 특화연구실: 수중영상 신호처리 연구”의 연구 결과 중 일부이다(UD160015DD).
References
1. L. Y. Ma, X. L. He, and Z. S. Huang, “Sidescan sonar image super resolution based on sparse representation,”
Applied Mechanics and Materials, 48-49, 1049-1052 (2011).
2. P. T. Vasanth Raj and W. Jino Hans, “Sparse representation based single image dictionary construction for image super resolution,” Australian Journal of Basic and Applied Sciences, 9, 386-390 (2015).
3. J. Yang, J. Wright, T. S. Huang, and Y. Ma, “Image super-resolution via sparse representation,” IEEE Tran- sactions on Image Processing, 19, 2861-2873 (2010).
4. R. Keys, “Cubic convolution interpolation for digital image processing,” IEEE Transactions on Acoustics, Speech, and Signal Processing, 29, 1153–1160 (1981).
5. X. Li, “Blind image quality assessment,” IEEE International Conference on Image Processing, 1, 449- 452 (2002).
6. W. Dong, L. Zhang, G. Shi, and X. Wu, “Image deblurring and super-resolution by adaptive sparse
Fig. 9. Results of SR (raw data case 1).
Fig. 10. Results of SR (raw data case 2).
Fig. 11. Results of SR (pre-processed web data).
domain selection and adaptive regularization,” IEEE Transactions on Image Processing, 20, 1838-1857 (2011).
7. I. Jolliffe, “Principal component analysis,” in Handbook of International Encyclopedia of Statistical Science, edited by M. Lovric (Springer-Verlag, Berlin, 2011).
8. A. Beck and M. Teboulle, “A fast iterative shrinkage thresholding algorithm for linear inverse problems,”
SIAM J. Imaging Sci., 2, 183-202 (2009).
9. J. A. Hartigan and M. A. Wong, “Algorithm AS 136: a k-means clustering algorithm,” J. Royal Statistical Society. Series C (Applied Statistics), 28, 100-108 (1979).
10. H. Xiang, B. Yan, Q. Cai, and G. Zou, “An edge detection algorithm based-on Sobel operator for images captured by binocular microscope,” IEEE Int.
Conf. on Electrical and Control Engineering, 16-18 (2011).
11. R. V. D. Boomgard and R. V. Balen, “Methods for fast morphological image transforms using bitmapped images,” Computer Vision, Graphics, and Image Pro- cessing: Graphical Models and Image Processing, 54, 254-258 (1992).
12. P. Soille, Morphological Image Analysis: Principles and Applications (Springer-Verlag, Berlin, 1999). pp.
173-174.
13. C. Cortes and V. N. Vapnik, “Support vector networks,”
Machine Learning, 20, 273–297 (1995).
14. P. Dollar, R. Appel, S. Belongie. and P. Perona “Fast feature pyramids for object detection,” IEEE Trans.
Pattern Anal. Mach. Intell., 36, 1532-1545 (2014).
15. Q. Huynh-Thu and M. Ghanbari, “Scope of validity of PSNR in image/video quality assessment,” Electronics Letters, 44, 800 (2008).
16. Z. Wang, A. C. Bovik, H. R. Sheikh, and E. P. Simoncelli,
“Image quality assessment: from error visibility to structural similarity,” IEEE Transactions on Image Processing, 13, 600–612 (2004).
저자 약력
