6. 개인 정보가 노출된 목표 객체의 블로킹 알고리즘

개인 정보가 노출된 목표 객체의 블로킹 알고리즘

장석우

안양대학교 소프트웨어학과

A Blocking Algorithm of a Target Object with Exposed Privacy

Information

Seok-Woo Jang

Department of Software, Anyang University

요 약 초고속의 유무선 인터넷은 다양한 형태의 미디어 데이터를 손쉽게 획득할 수 있는 유용한 창구이다. 이에 반해, 일반인들이 개인 정보가 노출된 대상 객체를 포함하고 있는 미디어 데이터까지도 인터넷을 통해 용이하게 획득할 수 있으므 로 사회적으로 문제가 되고 있다. 본 논문에서는 입력되는 여러 가지 종류의 영상으로부터 개인 정보가 노출된 대상 객체를 학습 알고리즘을 이용해 강인하게 검출하고, 검출된 대상 객체 영역을 효과적으로 블로킹하는 방법을 제안한다. 본 논문에서 제안된 방법에서는 먼저 뉴럴 네크워크 기반의 학습 알고리즘을 사용해 영상으로부터 개인 정보를 포함하고 있는 대상 객체 만을 검출한다. 그런 다음, 격자형 모자이크를 생성해 이전 단계에서 검출된 대상 객체 영역 위에 오버랩함으로써 개인 정보 를 포함하고 있는 객체 영역을 효과적으로 블로킹한다. 실험 결과에서는 제안된 알고리즘이 입력되는 다양한 영상으로부터 개인 정보가 노출된 대상 영역을 강인하게 검출하고, 검출된 영역을 모자이크 처리를 통해 효과적으로 블로킹한다는 것을 보여준다. 본 논문에서 제시된 객체 블로킹 방법은 객체 보안, 물체 추적, 영상 블로킹 등과 같은 컴퓨터 비전과 관련된 여러 응용 분야에서 유용하게 활용될 것으로 예상된다.

Abstract The wired and wireless Internet is a useful window to easily acquire various types of media data. On the other hand, the public can easily get the media data including the object to which the personal information is exposed, which is a social problem. In this paper, we propose a method to robustly detect a target object that has exposed personal information using a learning algorithm and effectively block the detected target object area. In the proposed method, only the target object containing the personal information is detected using a neural network-based learning algorithm. Then, a grid-like mosaic is created and overlapped on the target object area detected in the previous step, thereby effectively blocking the object area containing the personal information. Experimental results show that the proposed algorithm robustly detects the object area in which personal information is exposed and effectively blocks the detected area through mosaic processing. The object blocking method presented in this paper is expected to be useful in many applications related to computer vision.

Keywords : Image Sequence, Color Model, Feature Extraction, Target Object, Blocking

*Corresponding Author : Seok-Woo Jang(Anyang Univ.) Tel: +82-31-467-0842 email: swjang@anyang.ac.kr

Received March 21, 2019 Revised April 4, 2019 Accepted April 5, 2019 Published April 30, 2019

1. 서론

성능이 좋은 스마트 디바이스의 보급, 초고속의 유무 선 네트워크 기술의 발전, 소형화되고 우수한 화질을 제

공하는 디스플레이 등의 발달로 인해 사람들은 언제 어 디서나 인터넷을 통해서 사진, 애니메이션, 음악 파일, UCC, 동영상과 같은 다양한 종류의 미디어 콘텐츠를 매 우 용이하게 획득할 수 있게 되었다[1]. 그리고 이와 같

이 획득된 미디어 콘텐츠는 빅 데이터 처리, 영상 보안, 인공지능, 미디어 콘텐츠 색인 및 검색, 사물인터넷 등과 같은 관련된 다양한 응용 분야에서 유용하게 활용되고 있다[2].

이에 반해, 사람의 얼굴, 주민등록번호, 전화번호, 자 동차 번호판, 주소 등과 같은 사적인 개인 정보가 노출된 객체들을 포함하고 있는 미디어 콘텐츠 또한 인터넷을 통해 쉽게 획득되고 자유롭게 유통될 수가 있어서 사회 적으로 문제가 되고 있는 실정이다. 특히, 빠른 속도로 퍼져나가는 미디어 콘텐츠를 통해서 본인의 개인 정보가 노출된 당사자들이 느끼는 정신적인 피해는 매우 심각한 실정이다.

따라서 입력되는 컬러 영상 콘텐츠로부터 노출된 개 인 정보를 포함하고 있는 대상 객체를 강인하게 검출하 고, 검출된 대상 객체를 모자이크 처리와 같이 효과적으 로 블로킹(blocking)하여 노출된 중요한 개인 정보를 효 과적으로 숨기게 하는 연구가 절실히 필요하다[3].

컬러 영상으로부터 대상 객체를 검출하고, 검출된 객 체를 블로킹하는 기존의 연구는 관련된 참고문헌에서 일 부 찾아볼 수 있다. [4]에서는 온라인 학습과 기하학적인 특징 관계를 사용해 얼굴의 구성요소인 눈, 코, 입을 추 출하였으며, 이를 바탕으로 사람의 노출된 얼굴 영역을 검출하였다. 이 방법은 별도의 학습 단계가 필요 없이 제 안된 알고리즘이 진행되는 동안 학습 과정이 점점 더 많 이 진행된다는 장점을 가지고 있다.

[5]에서는 YCbCr 공간에서 색상 특징을 분석하여 입 력되는 영상으로부터 사람의 피부 색상 분포를 나타내는 영역들을 검출하였다. 그런 다음, 검출된 피부 색상 영역 이 가지는 기하학적인 특징들을 활용하여 검출된 영역이 노출된 인체의 중요 영역을 포함하고 있는지를 판단한 다.

[6]에서는 모자이크 영역을 정확하게 추출하기 위해 서 퍼지 군집화 방법을 이용하였다. 이 방법에서는 입력 되는 컬러 영상으로부터 에지를 추출하고, 군집화 특징 을 획득한 다음, 퍼지 군집화 알고리즘을 사용하여 일반 적인 영상의 영역과 모자이크 영역을 확인한다.

[7]에서는 디지털 영상에서 구글 브레인을 이용하여 모자이크를 제거하는 연구를 수행하였다. 다시 말해, 32×32 화소의 컬러 영상을 8×8 화소로 분할하여 모자이 크 영상을 생성하고, 이를 다시 원본 영상으로 복원하였 다. 일반적인 모자이크 방법은 8×8 영역에 화소의 평균

값을 넣어 모자이크 영역의 형태를 예측할 수 있다. 위에 게 언급한 방법들 이외에도 대상 객체의 검출 및 블로킹 과 관련된 방법들이 계속해서 소개되고 있다[8].

그러나 위에서 소개된 방법들은 아직까지 그 완성도 가 그렇게 높지 않으며 여러 가지의 제약사항들이 존재 한다. 더욱이 개인 정보를 포함하고 있는 대상 객체의 검 출 및 블로킹과 관련되어 현재 진행되고 있는 기존의 연 구들은 다른 연구 방법들에 비해서 상대적으로 많지 않 다.

따라서 본 논문에서는 개인 정보를 포함하고 있는 대 상 객체 영역을 검출하고, 검출된 대상 객체를 모자이크 처리를 이용해 효과적으로 블로킹하는 새로운 알고리즘 을 제안한다. 다음의 Fig. 1은 본 논문에서 제안하는 대 상 객체 블로킹 방법의 전체적인 개요도를 보여준다.

Feature learning Color images

Object detection

Mosaic generation Positioning Overlapping Object blocking

Fig. 1. Overall flow of the suggested algorithm

Fig. 1에서 보는 바와 같이 본 논문에서 제안하는 알 고리즘에서는 먼저 뉴럴 네트워크 기반의 학습 알고리즘 을 이용하여 입력되는 여러 가지 컬러 영상으로부터 얼 굴 영역과 같이 사람의 개인 정보를 포함하고 있는 대상 객체의 영역을 강인하게 검출한다. 그런 다음, 격자형 모 자이크를 생성하고, 이를 이미 검출된 대상 객체 영역 위 에 오버랩(overlap)시킴으로써 해당되는 대상 객체 영역 을 외부에 노출시키지 않도록 블로킹을 수행하고자 한 다.

1장에서는 본 연구를 수행하게 된 개요 및 배경에 대

해 설명하였다. 2장에서는 입력되는 컬러 영상으로부터 개인 정보가 노출된 대상 물체를 강인하게 검출하는 방 법에 대해 기술한다. 3장에서는 모자이크를 생성한 다 음, 기 검출된 대상 객체 영역 위에 모자이크를 오버랩하 여 해당 물체를 블로킹하는 방법에 대해 설명한다. 그리 고 4장에서는 제안된 물체 블로킹 알고리즘의 성능을 비 교 평가하기 위한 실험결과를 보여주며, 5장에서는 결론 및 향후의 연구 계획을 기술한다.

2. 목표 영역 추출

본 장에서는 입력되는 여러 가지의 영상으로부터 개 인 정보를 포함하고 있는 대상 객체를 강인하게 검출하 는 방법을 기술한다. 이를 위해 먼저 입력된 영상을 분석 하여 배경(background) 영역은 제거하고 사람의 피부 색 상 영역만을 검출한다.

다시 말해, 식 (1)을 이용하여 RGB 색상 공간으로 구 성되어 있는 영상을 YCbCr 색상 공간의 영상으로 변경 한다. 일반적으로 YCbCr 색상 분포 공간이 다른 색상 공간과 비교했을 때 인간의 피부 색상 영역을 추출하기 가 훨씬 수월하다고 알려져 있다.

      (1)

_     

_     

그런 다음, 식 (2)와 같이 사전에 정의된 타원형 모델 (elliptical model)을 사용해 만든 인간의 피부 색상 분포 모델을 이용하여, 입력되는 컬러 영상으로부터 배경 영 역을 제외하고 피부 색상 분포 화소들만을 강인하게 추 출한다[3].

^





 ^





  (2)











 



    

    











_^′ _







본 논문에서는 CbCr 공간에서 타원형 모델을 정의하 는 대신, 색상이 명도에 가능한 독립적으로 변환된 Cb’Cr’ 공간에서 정의한다. 식 (2)에서 사용되는 파라미

터인 a, b, cx, cy, ecx, ecy, θ는 Cb'Cr' 공간에서 클러스 터링된 피부 색상 분포 영역으로부터 추출되어 사용된다.

다음으로는 추출된 사람의 피부 색상 영역 안에 위치 하고 있는 노이즈를 없애기 위해서 형태학적인 연산 (morphological operation)을 진행한다. 그런 다음, 레이 블링(labeling)을 수행하여 피부 색상 화소들을 영역 단 위로 연결한 피부 영역을 추출한다. 그러면 학습을 이용 해 사람의 얼굴을 검출하기 위한 주요 관심 영역을 추출 한 것이 된다.

Pyramid Conv Affine Relu Conv Affine Relu

...

Conv LOSS_MMOD

Fig. 2. Structure of the suggested CNN model

본 논문에서는 기계 학습(machine learning) 알고리즘 중의 하나인 CNN 기반의 딥러닝 기법을 이용하여, 이전 단계에서 추출된 피부 영역으로부터 사람의 얼굴 영역만 을 강인하게 검출한다[9]. 본 논문에서 사용하는 CNN 기반의 모델 구조는 Fig. 2와 같이 표시된다.

딥러닝 이전의 다른 기계 학습에서 영상을 입력으로 처리하기 위해서는 먼저 영상에서 적절한 특징 맵 (feature map)을 획득한 다음, 획득한 특징 맵을 기계 학 습의 입력으로 사용하여 학습이 진행되었다. 따라서 학 습을 수행할 때 특징 맵을 생성하는 작업이 학습 전체의 성능에 큰 영향을 미치는 경우가 많았다. 따라서 본 논문 에서 사용하는 CNN은 특징 맵을 생성하는 전처리 단계 가 성능에 큰 영향을 미치기 때문에, 전처리 단계에서 가 장 좋은 특징 맵을 추출하는 콘볼루션(convolution) 필 터를 학습하는 모델을 만드는 것이 핵심이다. 또한 실시 간으로 입력되는 영상에서 빠른 속도로 대상 객체를 검 출할 수 있도록 학습 단계에서 영상을 피라미드 구조로 입력하여 학습을 진행한다.

본 논문에서 제안하는 CNN 모델에서 영상 피라미드 는 6단계로 구성되고, 마지막으로 검출할 때에는 피라미 드 단계별로 검출 결과를 합산하여 최종 결과물을 도출 한다. 영상 피라미드에서 레벨 0은 원본 영상을 나타내 고, 레벨이 올라갈수록 해상도가 1/2n 배로 다운 샘플링

된다.

본 논문에서 사용하는 CNN 모델의 구조에서 어파린 (affine) 레이어는 인공 신경망에서 완전히 연결(fully connected)된 레이어를 의미한다. 여기에서, 어파인은 이전 레이어의 각 뉴런들이 현재 레이어의 각 뉴런들에 연결되어 있음을 나타낸다. 어파인 레이어는 CNN이나 RNN(recurrent neural network)의 가장 상위 출력단에 서 최종적인 예측을 수행하기 이전에 추가되어진다. 일 반적으로, 어파인 레이어는 y=f(Wx+b)의 형태로 표현되 는데, x는 입력 레이어, W는 가중치, b는 바이어스, 그리 고 f는 비선형 활성화 함수를 나타낸다.

대부분의 목표 객체 검출 방법은 영상의 서브 윈도우 에서 이진 분류(classification)를 적용하여 수행된다. 보 통 일반적인 영상의 크기에서 가능한 서브 윈도우의 개 수는 많기 때문에 분류기는 서브 윈도우에서 학습된다.

이 때 전체 서브 윈도우를 학습하면 계산상의 어려움을 피할 수 있으나, 최적의 성능을 보여주지는 못한다.

본 논문에서 사용하는 제안된 CNN 모델의 구조에서 MMOD(max-margin object detection)는 서브 샘플링을 수행하지 않고, 모든 서브 윈도우를 최적화한다. 다시 말 해, 모든 서브 윈도우에 대해 윈도우 스코어링(scoring) 함수인 F(x,y)를 적용하여 객체를 검출한다[10]. 식 (3) 에서 φ는 영상 x의 이동하는 윈도우 위치 r로부터 추출 된 특징 벡터이다. 여기에서 w는 가중치(weight) 벡터로 서 학습을 통해서 오 검출을 감소시키는 역할을 수행한 다.

^  _∈ 

  _∈



∈

〈 〉

(3)

본 논문에서는 식 (3)을 적용하면 검출 점수에 해당하 는 결과를 획득한다. 그리고 피라미드 영상에서 제일 높 은 점수를 갖는 영역들을 합산하여 최종적인 대상 객체 의 검출 위치를 얻게 된다.

3. 모자이크 처리를 통한 블로킹

본 논문에서는 격자형 모자이크를 생성한 다음, 생성 된 모자이크[11]를 이전 단계에서 검출된 목표(target) 객체 영역 위에 오버랩시킴으로써 개인 정보가 노출된

대상 객체를 효과적으로 블로킹한다. 다시 말해, 노출된 개인 정보 영역 위에 격자형 모자이크가 생성되므로 개 인 정보의 노출로 인한 피해를 막을 수 있다. 본 논문에 서는 모자이크를 생성할 때 블록 단위의 모자이크를 생 성한다. 이때에는 검출된 대상 객체 영역의 위치에 맞게 모자이크를 오버랩하는 것이 중요하며, 모자이크가 오버 랩되는 영역과 그 주변의 영역을 부자연스럽지 않게 처 리해 주는 것이 중요한 요소 중의 하나이다.

본 논문에서는 N×N 필터를 사용하여 검출된 대상 객 체의 해당 영역을 평균적인 화소 값으로 대체함으로써 모자이크를 생성한다. 그런데 최근에는 디지털 영상에서 모자이크를 제거하는 기술들이 종종 등장한다. 예를 들 어, 구글의 인공지능 프로젝트 중의 하나인 구글 브레인 을 이용해 디지털 영상에서 모자이크를 제거하는 기술이 발표되었다. 따라서 본 논문에서는 노출된 개인 정보를 강인하게 블로킹하기 위해서 복원이 불가능한 모자이크 처리 기법을 적용하고자 한다.

99 99 99 99 99

102 102 102 102 102 101 102 100 98 99

98 98 98 98 98

101 101 101 101 101

100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100

Fig. 3. Mean-based mosaic block

본 논문에서는 3가지 방식으로 모자이크를 생성할 수 있다. 첫째, 가장 일반적인 방법으로 검출된 대상 객체에 해당하는 영역에 위치한 화소들의 평균 값을 식 (4)와 같이 구한 다음, 이 평균 값을 모자이크에 해당하는 블록 에 Fig. 3과 같이 입력한다.

_{ }





  





  



     (4)

_{ }





  





  



    

_{ }





  





  



    

위의 식 (4)에서 n은 모자이크를 형성하는 블록의 가 로의 크기 또는 세로의 크기를 나타낸다. r(x,y), g(x,y),

그리고 b(x,y)는 영상 (x, y) 위치에 있는 화소의 r, g, b 색상 값을 나타낸다. 그리고 rmean, gmean, 그리고 bmean은 해당 블록 안에 포함된 화소들의 평균 r, 평균 g, 평균 b 색상 값을 나타낸다.

둘째, 모자이브 영역별로 개인 정보 영역 내에 포함되 어 있는 화소 값들을 임의로 선택하여 모자이크를 생성 한다. 이 방법을 사용하면 원래의 대상 객체의 형태를 예 측하기 어렵다. 그리고 세 번째의 모자이크 생성 방법보 다 자연스러운 결과를 산출할 수 있다.

셋째, 분할된 모자이크 영역별로 r, g, b 화소 값을 임 의로 적용한다. 이 방법을 사용하여 모자이크를 생성하 면 모자이크를 생성하기 이전의 원래 영상의 색상과 생 성된 모자이크 색상 사이의 상관관계가 낮으므로, 원래 의 대상 객체 영역을 복원하기가 어렵다. 그러나 대상 객 체 주변의 영역들과 비교했을 때 갑자기 모자이크가 위 치한 영역에서 색상이 급격하게 변화하므로 부자연스러 운 결과를 산출한다.

따라서 적용하고자 하는 입력 영상의 특성에 따라 위 에서 언급한 서로 다른 모자이크 기법들을 선택적으로 적용한다면, 노출된 개인 정보를 블로킹하는 작업을 보 다 효과적으로 수행할 수 있을 것이다.

4. 실험결과

본 논문에서 실험을 위해서 사용한 컴퓨터는 인텔 Core(TM) i7-6700 3.4Ghz의 CPU와 16GB의 메인 메모 리, 256GB인 SSD, 그리고 NVIDIA의 GPU GP104가 장착된 갤럭시 Geforce GTX 1080 Ti 그래픽 카드로 구 성되어 있다. 그리고 사용된 컴퓨터에는 윈도우 10 운영 체제(OS)가 이용되었다. 또한, 통합 개발 환경으로는 마 이크로소프트사의 비주얼 스튜디오(MS Visual Studio) 버전 2015를 사용하였으며, OpenCV 오픈 라이브러리 를 이용하여 제안된 방법을 구현하였다.

Fig. 4 (a)는 본 논문에서 사용한 노출된 사람의 얼굴 영역이 포함되어 있는 입력 영상의 한 예를 보여준다.

Fig. 4 (b)는 입력된 영상으로부터 사전에 정의된 타원형 의 피부 색상 분포 모델을 사용해 사람의 피부 화소를 추출한 다음, 모폴로지 연산을 적용하여 후처리한 결과 를 보여준다. 그림 4 (c)는 추출된 피부 영역을 대상으로 본 논문에서 제안한 CNN 기반의 딥러닝 알고리즘을 사

용하여 얼굴을 검출한 결과를 보여준다. Fig. 4 (c)에서 사각형은 검출된 사람의 얼굴 영역을 나타낸다. 그리고 Fig. 4 (d)는 딥러닝 기법을 사용해 검출한 얼굴 영역에 대해 평균 색상을 기반으로 모자이크를 생성하고, 생성 된 모자이크를 오버레이한 결과 영상을 보여준다.

(a) (b)

(c) (d) Fig. 4. Mosaic processing

(a) Input image (b) Mean color mosaic

(c) Random pixel mosaic (d) Random color mosaic

본 논문에서는 제안된 대상 객체 블로킹 알고리즘의 성능을 정확도 측면에서 비교 및 평가하였다. 본 논문에 서는 입력된 컬러 영상에서 정확하게 검출되고 모자이크 처리된 사람의 얼굴 영역들의 개수와, 영상에 존재하는 전체 얼굴 영역 개수와의 비율을 백분율(%)로 나타낸 식 (5)와 같은 정확도 척도를 사용하였다. 식 (5)에서

FACEmosaic는 제안된 알고리즘을 사용하여 정확하게 모

자이크 처리된 얼굴 영역들의 개수를 나타낸다. 그리고

FACEtotal은 입력되는 영상에 존재하는 사람의 얼굴 영

역들의 전체 개수를 나타낸다. 본 논문에서 정확도 척도

Raccuracy는 백분율로 표시된다.

_{ }

_{}

_{}

×  (5)

Fig. 5은 대상 객체 블로킹 알고리즘의 정확도 측면의 성능 비교 결과를 그래프로 나타내고 있다. Fig. 5에서 확인할 수 있듯이 본 논문에서 제안된 방법이 보다 정확 하게 대상 객체를 블로킹한다는 것을 확인할 수 있었다.

Fig. 5. Performance comparison

다시 말해, 사전에 정의된 피부 색상 분포 모델만을 사용하여 검출한 얼굴 영역들에 대해 모자이크 처리를 수행하는 방법은 정의된 피부 색상 모델의 한계로 인해 얼굴 영역 검출이 정확하게 진행되지 않는 경우가 발생 하므로 시스템의 전체적인 정확도가 상대적으로 낮았다.

반면에 제안된 방법은 딥러닝 기법을 사용하여 입력되는 다양한 컬러 영상에서 사람의 얼굴 영역들을 보다 강인 하게 검출하므로 시스템의 전체적인 정확도가 상대적으 로 높았다.

5. 결론

근래에는 인터넷을 통해서 개인 정보가 노출된 대상 객체를 포함한 미디어 콘텐츠가 자유롭게 유통되고 있 다. 따라서 이런 콘텐츠를 강인하게 검출한 다음, 검출된 대상 객체를 효과적으로 블로킹하는 연구가 필요한 실정 이다.

본 논문에서는 입력되는 여러 가지 종류의 영상으로 부터 개인 정보가 노출된 객체를 학습 알고리즘을 사용 해 강인하게 검출하고, 검출된 대상 객체를 효과적으로 블로킹하는 방법을 제안하였다. 제안된 방법에서는 먼저 뉴럴 네크워크 기반의 학습 알고리즘을 이용하여 입력되 는 영상으로부터 개인 정보가 포함된 대상 객체만을 추 출한다. 그런 다음, 격자형 모자이크를 생성하여 추출된 대상 객체 영역 위에 오버랩함으로써 개인 정보를 포함 하고 있는 대상 객체 영역을 효과적으로 블로킹하였다.

실험 결과에서는 제안된 방법이 입력되는 영상으로부터 개인 정보가 노출된 영역을 강인하게 검출하고, 검출된 영역을 모자이크 처리를 통해 보다 효과적으로 블로킹한 다는 것을 보여주었다.

향후에는 본 논문에서 제안된 대상 객체 블로킹 방법 을 보다 다양한 종류의 실내외 환경에서 촬영된 입력 영 상들에 적용하여 제안된 알고리즘의 강인성을 체계적으 로 검증할 계획이다. 그리고 본 논문에서 구현된 블로킹 알고리즘에서 사용한 여러 가지의 파라미터들을 적응적 으로 조율(tuning)하여 시스템의 동작 성능을 보다 안정 화할 계획이다.

References

[1] A. M. Aladwani, “Compatible Quality of Social Media Content: Conceptualization, Measurement, and Affordances,” International Journal of Information Management, vol. 37, no. 6, pp.576-582, Dec. 2017.

DOI: https://doi.org/10.1016/j.ijinfomgt.2017.05.014 [2] S. Zhang, P. McCullagh, H. Zheng, and C. Nugent,

“Situation Awareness Inferred from Posture Transition and Location: Derived from Smartphone and Smart home Sensors,” IEEE Transactions on Human-Machine Systems, Vol. 47, Issue 6, pp.814-821, Apr. 2017.

DOI: https://doi.org/10.1109/THMS.2017.2693238 [3] Y.-D. Lee, S. U. Jan, I. Koo, “Application of Navigating

System based on Bluetooth Smart”, The Journal of The Institute of Internet, Broadcasting and Communication, Vol. 17, No. 1, pp.69-76, Feb. 2017.

DOI: https://doi.org/10.7236/JIIBC.2017.17.1.69 [4] D. Shim, J.-H. Yang, J. Son, S.-H. Han, H. Lee, “Smart

Parking Guidance System based on IoT Car-stoppers”, The Journal of The Institute of Internet, Broadcasting and Communication, Vol. 17, No. 3, pp.137-143, June 2017.

DOI: https://doi.org/10.7236/JIIBC.2017.17.3.137 [5] K. Kim, C. Keum, K.-S. Chung, “An Evaluation of the

Suitability of Data Mining Algorithms for Smart-Home Intelligent-Service Platforms”, Journal of the Society of Korea Industrial and Systems Engineering, Vol. 40, No.

2, pp.68-77, June 2017.

DOI: https://doi.org/10.11627/jkise.2017.40.2.068 [6] W.-H. Chung, Y.-B. Kim, “A Design of Smart Sensor

Framework for Smart Home System Bsed on Layered Architecture”, The Journal of The Institute of Internet, Broadcasting and Communication, Vol. 17, No. 4, pp.49-59, Aug. 2017.

DOI: https://doi.org/10.7236/JIIBC.2017.17.4.49

[7] Y.-H. Jang, S.-S. Yang, S.-C. Park, “Design and Implementation of Standby Power Cutoff System for Smart Home Environment Based on Zigbee-MQTT”, The Journal of The Institute of Internet, Broadcasting and Communication, Vol. 17, No. 4, pp. 129-135, Aug.

2017.

DOI: https://doi.org/10.7236/JIIBC.2017.17.4.129 [8] B.-H. Cho, “Design of Autobike Driver's Driving

Information and e-call Functions Providing Software using Smart Helmet”, The Journal of The Institute of Internet, Broadcasting and Communication, Vol. 17, No.

4, pp. 173-179, Aug. 2017.

DOI: https://doi.org/10.7236/JIIBC.2017.17.4.173 [9] K.-S. Jeong, S. Bae, H. Kim, “Evaluation Criteria for

Suitable Authentication Method for IoT Service Provider in Industry 4.0 Environment”, Journal of the Society of Korea Industrial and Systems Engineering, Vol. 40, No.

3, pp. 116-122, Sep. 2017.

DOI: https://doi.org/10.11627/jkise.2017.40.3.116 [10] J. Do, “Media Education Methodology in Smart Media

Era”, The Journal of The Institute of Internet, Broadcasting and Communication, Vol. 18, No. 5, pp.

245-250, Oct. 2018.

DOI: https://doi.org/10.7236/JIIBC.2018.18.5.245 [11] R.-L. Hsu, M. Abdel-Mottaleb, and A. K. Jain, “Face

Detection in Color Images,” IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 24, No.

5, pp. 696-706, May 2002.

DOI: https://doi.org/10.1109/34.1000242

[12] K.-M. Lee, “Component-based Face Detection and Verification," Pattern Recognition Letters, Vol. 29, pp.

200-214, Feb. 2008.

DOI: https://doi.org/10.1016/j.patrec.2007.09.013 [13] S.-W. Jang, Y.-J. Park, G.-Y. Kim, H.-I. Choi, and

M.-C. Hong, “An Adult Image Identification System Based on Robust Skin Segmentation," Journal of Imaging Science and Technology, Vol. 55. No. 2, pp.

020508-1∼10, Mar. 2011.

DOI: https://doi.org/10.2352/J.ImagingSci.Technol.2011.

55.2.020508

[14] J. Liu, L. Huang, and J. Lin, “An Image Mosaic Block Detection Method Based on Fuzzy C-Means Clustering,”

In Proc. of the IEEE International Conference on Computer Research and Development (ICCRD), Vol. 1, pp. 237-240, Mar. 2011.

DOI: https://doi.org/10.1109/ICCRD.2011.5764011 [15] R. Dahl, M. Norouzi, and J. Shlens, “Pixel Recursive

Super Resolution,” In Proc. of the IEEE International Conference on Computer Vision (ICCV), pp. 5449-5458, Oct. 2017.

DOI: https://doi.org/10.1109/ICCV.2017.581

[16] D. Triantafyllidou, P. Nousi, and A. Tefas, “Fast Deep Convolutional Face Detection in the Wild Exploiting Hard Sample Mining,” Big Data Research, Vol. 11, pp.

65-76, Mar. 2018.

DOI: https://doi.org/10.1016/j.bdr.2017.06.002

[17] M. Mahmud, M. S. Kaiser, A. Hussain, and S Vassanelli, “Applications of Deep Learning and Reinforcement Learning to Biological Data,” IEEE Transactions on Neural Networks and Learning Systems, Vol. 29, No. 6, pp. 2063-2079, Jan. 2018.

DOI: https://doi.org/10.1109/TNNLS.2018.2790388 [18] G. G. Chrysos, E Antonakos, P. Snape, A. Asthana,and

S. Zafeiriou, “A Comprehensive Performance Evaluation of Deformable Face Tracking In-the-Wild,” International Journal of Computer Vision, Vol. 126, No. 2–4, pp 198 –232, Apr. 2018.

DOI: https://doi.org/10.1007/s11263-017-0999-5 [19] S.-F. Sun, S.-H. Han, G. Wang, Y.-C. Xu, and B.-J. Lei,

“Mosaic Defect Detection in Digital Video,” In Proc. of the IEEE Chinese Conference on Pattern Recognition (CCPR), pp. 1-5, October 2010.

DOI: https://doi.org/10.1109/CCPR.2010.5659234

장 석 우(Seok-Woo Jang) [종신회원]

•1995년 2월 : 숭실대학교 전자계산 학과 (공학사)

•1997년 2월 : 숭실대학교 일반대학 원 컴퓨터학과 (공학석사)

•2000년 8월 : 숭실대학교 일반대학 원 컴퓨터학과 (공학박사)

•2009년 3월 ~ 현재 : 안양대학교 소프트웨어학과 교수

<관심분야>

로봇비전, 증강현실, HCI, 비디오 색인 및 검색, 등