미리 촬영된 이미지로부터 제 2 특징점들을 추출하는 단계

(1)

(19) 대한민국특허청(KR) (12) 공개특허공보(A)

(11) 공개번호 10-2017-0097266 (43) 공개일자 2017년08월28일 (51) 국제특허분류(Int. Cl.)

H04N 5/225 (2006.01) G06T 11/60 (2006.01) G06T 7/00 (2017.01) H04N 5/265 (2006.01) H04N 5/272 (2006.01)

(52) CPC특허분류

H04N 5/2257 (2013.01) G06T 11/60 (2013.01)

(21) 출원번호 10-2016-0018597 (22) 출원일자 2016년02월17일 심사청구일자 2017년08월16일

(71) 출원인

한국전자통신연구원

대전광역시 유성구 가정로 218 (가정동) (72) 발명자

이성호

대전시 유성구 노은서로 222 열매마을1단지 103동 1502호

서영호

대전광역시 서구 대덕대로234번길 45 804호 (둔산 동,하이베라스)

(뒷면에 계속) (74) 대리인

특허법인 고려 전체 청구항 수 : 총 20 항

(54) 발명의 명칭 촬영 기능을 갖는 모바일 장치를 이용한 상황 재연 방법 및 시스템 (57) 요 약

본 발명의 실시 예에 따른 촬영 기능을 갖는 모바일 장치를 이용한 상황 재연 방법은 모바일 장치의 디스플레이 에 출력되는 라이브 뷰로부터 제 1 특징점들을 추출하는 단계, 미리 촬영된 이미지로부터 제 2 특징점들을 추출 하는 단계, 제 1 특징점들이 임계 범위 내에서 제 2 특징점들에 맵핑되도록 하는 모바일 장치의 기울기를 계산하 는 단계, 그리고 계산된 결과에 기초한 안내 정보 따라 모바일 장치가 조정된 상태에의 라이브 뷰와 미리 촬영된 이미지를 합성하는 단계를 포함할 수 있다.

대 표 도 - 도2

(2)

(52) CPC특허분류

G06T 7/73 (2017.01) H04N 5/265 (2013.01) H04N 5/272 (2013.01) (72) 발명자

장윤섭

대전시 유성구 지족로 317 반석마을@ 101-1703호

조준면

대전광역시 유성구 엑스포로 448

이 발명을 지원한 국가연구개발사업 과제고유번호 R2015040005 부처명 문화체육관광부

연구관리전문기관 한국콘텐츠진흥원 연구사업명 문화기술 연구개발 지원사업

연구과제명 Location Mapping 기반 스마트 영상 콘텐츠 생성 및 서비스 기술 개발 기 여 율 1/1

주관기관 한국전자통신연구원 연구기간 2015.06.01 ~ 2018.03.31

(3)

명 세 서 청구범위 청구항 1

촬영 기능을 갖는 모바일 장치를 이용한 상황 재연 방법에 있어서:

상기 모바일 장치의 디스플레이에 출력되는 라이브 뷰로부터 제 1 특징점들을 추출하는 단계;

미리 촬영된 이미지로부터 제 2 특징점들을 추출하는 단계;

상기 제 1 특징점들이 임계 범위 내에서 상기 제 2 특징점들에 맵핑되도록 하는 상기 모바일 장치의 기울기를 계산하는 단계; 그리고

상기 계산된 결과에 기초한 안내 정보에 따라 상기 모바일 장치가 조정된 상태에서의 상기 라이브 뷰와 상기 미 리 촬영된 이미지를 합성하는 단계를 포함하는 방법.

청구항 2

제 1 항에 있어서,

상기 계산된 결과에 기초하여 상기 모바일 장치의 기울기를 조정하도록 하는 안내 정보를 제공하는 단계를 더 포함하는 방법.

청구항 3

상기 안내 정보는 상기 모바일 장치의 상기 디스플레이에 출력되거나, 또는 상기 모바일 장치에 구비된 스피커 를 통하여 제공되는 방법.

청구항 4

상기 모바일 장치의 기울기를 계산하는 단계는,

상기 제 1 특징점들로부터 선택된 두 개의 특징점들로 이루어진 직선의 기울기 및 뒤틀림과, 상기 제 2 특징점 들로부터 선택된 두 개의 특징점들로 이루어진 직선의 기울기 및 뒤틀림을 비교함으로써 실행되는 방법.

청구항 5

제 1 항에 있어서, 상기 합성하는 단계는:

상기 미리 촬영된 이미지에 태깅된 태그 정보를 추출하는 단계;

상기 태그 정보에 따라 상기 모바일 장치의 환경을 설정하는 단계;

상기 설정된 환경 하에서, 상기 라이브 뷰를 캡쳐하는 단계; 그리고

상기 캡쳐된 라이브 뷰와 상기 미리 촬영된 이미지를 합성하는 단계를 포함하는 방법.

청구항 6

상기 태그 정보는 이미지 사이즈, 해상도, 비트 깊이, 셔터 속도, 렌즈 조리개, 노출 시간, 초점 거리, 피사체 거리, 촬영 위치, 촬영 방향, 줌 비율에 관한 정보 중 적어도 하나를 포함하는 방법.

(4)

청구항 7

상기 제 1 특징점들 및 상기 제 2 특징점들은 SURF (Speeded Up Robust Features) 알고리즘, SIFT (Scale- Invariant Feature Transform) 알고리즘, FAST (Features from Accelerated Segment Test) 알고리즘, BRIEF (Binary Robust Independent Elementary Features) 알고리즘 중 적어도 하나를 통해 추출되는 방법.

청구항 8

상기 미리 촬영된 이미지는 상기 모바일 장치에 구비된 저장 장치, 웹하드, 또는 클라우드로부터 선택되는 방법.

청구항 9

촬영 기능을 갖는 모바일 장치를 이용한 상황 재연 방법에 있어서:

미리 촬영된 이미지에 태깅된 태그 정보에 따라 상기 모바일 장치의 위치를 조정하도록 하는 제 1 안내 정보를 제공하는 단계;

상기 모바일 장치의 디스플레이에 출력되는 라이브 뷰로부터 제 1 특징점들을 추출하는 단계;

상기 미리 촬영된 이미지로부터 제 2 특징점들을 추출하는 단계;

상기 제 1 특징점들이 임계 범위 내에서 상기 제 2 특징점들에 맵핑되는지 여부를 판단하는 단계;

상기 판단 결과에 따라, 상기 제 1 특징점들이 상기 임계 범위 내에서 상기 제 2 특징점들에 맵핑되도록 하는 상기 모바일 장치의 기울기를 계산하는 단계;

상기 계산된 결과에 기초하여 상기 모바일 장치의 기울기를 조정하도록 하는 제 2 안내 정보를 제공하는 단계;

그리고

상기 제 1 안내 정보 및 상기 제 2 안내 정보에 따라 상기 모바일 장치가 조정된 상태에의 상기 라이브 뷰와 상 기 미리 촬영된 이미지를 합성하는 단계를 포함하는 방법.

청구항 10 제 9 항에 있어서,

상기 제 1 안내 정보를 제공하는 단계는:

상기 미리 촬영된 이미지에 태깅된 GPS 정보를 이용하여 상기 모바일 장치를 이동시키도록 안내하는 단계;

상기 미리 촬영된 이미지에 태깅된 피사체 거리에 관한 정보를 이용하여 상기 모바일 장치를 이동시키도록 안내 하는 단계; 그리고

상기 미리 촬영된 이미지에 태깅된 방향 정보를 이용하여 상기 모바일 장치의 방향을 조정하도록 안내하는 단계 를 포함하는 방법.

상기 모바일 장치의 기울기를 계산하는 단계는,

상기 제 1 특징점들로부터 선택된 두 개의 특징점들로 이루어진 직선의 기울기 및 뒤틀림과, 상기 제 2 특징점 들로부터 선택된 두 개의 특징점들로 이루어진 직선의 기울기 및 뒤틀림을 비교함으로써 실행되는 방법.

상기 제 1 안내 정보 및 상기 제 2 안내 정보는 상기 모바일 장치의 상기 디스플레이에 출력되거나, 또는 상기

(5)

모바일 장치에 구비된 스피커를 통하여 제공되는 방법.

청구항 13 제 9 항에 있어서, 상기 합성하는 단계는:

상기 미리 촬영된 이미지에 태깅된 상기 태그 정보에 따라 상기 모바일 장치의 환경을 설정하는 단계;

상기 설정된 환경 하에서 상기 라이브 뷰를 캡쳐하는 단계; 그리고

상기 캡쳐된 라이브 뷰와 상기 미리 촬영된 이미지를 합성하는 단계를 포함하는 방법.

상기 태그 정보는 이미지 사이즈, 해상도, 비트 깊이, 셔터 속도, 렌즈 조리개, 노출 시간, 초점 거리, 피사체 거리, 촬영 위치, 촬영 방향, 줌 비율에 관한 정보 중 적어도 하나를 포함하는 방법.

청구항 15

디스플레이에 출력되는 라이브 뷰로부터 제 1 특징점들 및 미리 촬영된 이미지로부터 제 2 특징점들을 추출하고, 상기 제 1 특징점들이 임계 범위 내에서 상기 제 2 특징점들에 맵핑되도록 하는 상기 모바일 장치의 기울기를 계산하고, 상기 계산된 결과에 기초한 안내 정보 따라 상기 모바일 장치가 조정된 상태에의 상기 라이 브 뷰와 상기 미리 촬영된 이미지를 합성하도록 구성되는 상황 재연 모듈;

상기 상황 재연 모듈이 로딩되는 메모리; 그리고

상기 메모리에 로딩된 상기 상황 재연 모듈을 구동하는 애플리케이션 프로세서를 포함하는 모바일 장치.

청구항 16

상기 상황 재연 모듈은 상기 미리 촬영된 이미지에 태깅된 태그 정보에 따라 상기 모바일 장치의 위치를 조정하 도록 안내하는 상기 안내 정보를 생성하는 모바일 장치.

청구항 17

제 16 항에 있어서, 상기 모바일 장치는:

상기 모바일 장치의 위치를 측정하는 GPS 모듈;

상기 모바일 장치의 기울기를 계산하는 자이로 센서; 그리고

상기 모바일 장치의 촬영 방향을 측정하는 지자기 센서를 더 포함하는 모바일 장치.

청구항 18

상기 태그 정보는 이미지 사이즈, 해상도, 비트 깊이, 셔터 속도, 렌즈 조리개, 노출 시간, 초점 거리, 피사체 거리, 촬영 위치, 촬영 방향, 줌 비율에 관한 정보 중 적어도 하나를 포함하는 모바일 장치.

청구항 19

상기 상황 재연 모듈은 상기 제 1 특징점들로부터 선택된 두 개의 특징점들로 이루어진 직선의 기울기 및 뒤틀 림과, 상기 제 2 특징점들로부터 선택된 두 개의 특징점들로 이루어진 직선의 기울기 및 뒤틀림을 비교함으로써, 상기 기울기를 계산하는 모바일 장치.

(6)

청구항 20

상기 제 1 특징점들 및 상기 제 2 특징점들은 SURF (Speeded Up Robust Features) 알고리즘, SIFT (Scale- Invariant Feature Transform) 알고리즘, FAST (Features from Accelerated Segment Test) 알고리즘, BRIEF (Binary Robust Independent Elementary Features) 알고리즘 중 적어도 하나를 통해 추출되는 모바일 장치.

발명의 설명 기 술 분 야

본 발명은 상황 재연 방법에 관한 것으로, 좀 더 상세하게는, 촬영 기능을 갖는 모바일 장치를 이용하여 과거의 [0001]

상황을 재연하는 방법에 관한 것이다.

배 경 기 술

자세, 위치, 방향과 같은 촬영 정보 기반의 이미지 맵핑 기술을 이용하는 증강 현실(Augmented Reality) 서비스 [0002]

가 인터넷 포털 업체에 의해 일부 제공되고 있다. 그리고 최근 출시되는 스마트폰 또는 태블릿 PC와 같은 모바 일 장치는 GPS 모듈, 자이로 센서, 지자기 센서와 같은 자세 측정 장치(Attitude Heading Reference System;

AHRS)를 갖추고 있다. 이러한 실정에 따라, 모바일 장치를 이용하여 콘텐츠 기반의 이미지 맵핑에 관한 연구가 활발히 진행되고 있다.

한편, 정지 영상의 촬영 위치, 촬영 방향 등에 관한 정보를 저장할 수 있는 포맷인 EXIF(Exchangeable image [0003]

file format)는 일본 전자산업진흥협회(JEIDA)에서 개발한 표준으로, 현재 버전 2.3(2012.12)까지 표준화된 상 태이다.

따라서, 촬영 당시의 상황을 이미지 파일에 태깅할 수 있는 파일 포맷과, 자세 측정 장치를 구비한 모바일 장치 [0004]

를 이용하여 이미지 맵핑을 좀 더 용이하게 그리고 좀 더 정밀하게 구현할 수 있는 기술의 개발이 절실히 요구 된다.

발명의 내용 해결하려는 과제

본 발명의 기술적 사상은 미리 촬영된 이미지와 모바일 장치에 출력되는 라이브 뷰를 이용하여 과거의 상황을 [0005]

재연하는 방법 및 시스템을 제공한다.

과제의 해결 수단

본 발명의 실시 예에 따른 촬영 기능을 갖는 모바일 장치를 이용한 상황 재연 방법은, 상기 모바일 장치의 디스 [0006]

플레이에 출력되는 라이브 뷰로부터 제 1 특징점들을 추출하는 단계, 미리 촬영된 이미지로부터 제 2 특징점들 을 추출하는 단계, 상기 제 1 특징점들이 임계 범위 내에서 상기 제 2 특징점들에 맵핑되도록 하는 상기 모바일 장치의 기울기를 계산하는 단계, 그리고 상기 계산된 결과에 기초한 안내 정보에 따라 상기 모바일 장치가 조정 된 상태에서의 상기 라이브 뷰와 상기 미리 촬영된 이미지를 합성하는 단계를 포함할 수 있다.

예를 들어, 상기 방법은 상기 계산된 결과에 기초하여 상기 모바일 장치의 기울기를 조정하도록 하는 안내 정보 [0007]

를 제공하는 단계를 더 포함할 수 있다. 그리고, 상기 안내 정보는 상기 모바일 장치의 상기 디스플레이에 출력 되거나, 또는 상기 모바일 장치에 구비된 스피커를 통하여 제공될 수 있다.

예를 들어, 상기 모바일 장치의 기울기를 계산하는 단계는, 상기 제 1 특징점들로부터 선택된 두 개의 특징점들 [0008]

로 이루어진 직선의 기울기 및 뒤틀림과, 상기 제 2 특징점들로부터 선택된 두 개의 특징점들로 이루어진 직선 의 기울기 및 뒤틀림을 비교함으로써 실행될 수 있다.

예를 들어, 상기 합성하는 단계는, 상기 미리 촬영된 이미지에 태깅된 태그 정보를 추출하는 단계, 상기 태그 [0009]

정보에 따라 상기 모바일 장치의 환경을 설정하는 단계, 상기 설정된 환경 하에서, 상기 라이브 뷰를 캡쳐하는 단계, 그리고 상기 캡쳐된 라이브 뷰와 상기 미리 촬영된 이미지를 합성하는 단계를 포함할 수 있다. 그리고, 상기 태그 정보는 이미지 사이즈, 해상도, 비트 깊이, 셔터 속도, 렌즈 조리개, 노출 시간, 초점 거리, 피사체

(7)

거리, 촬영 위치, 촬영 방향, 줌 비율에 관한 정보 중 적어도 하나를 포함할 수 있다.

예를 들어, 상기 제 1 특징점들 및 상기 제 2 특징점들은 SURF (Speeded Up Robust Features) 알고리즘, SIFT [0010]

(Scale-Invariant Feature Transform) 알고리즘, FAST (Features from Accelerated Segment Test) 알고리즘, BRIEF (Binary Robust Independent Elementary Features) 알고리즘 중 적어도 하나를 통해 추출될 수 있다.

예를 들어, 상기 미리 촬영된 이미지는 상기 모바일 장치에 구비된 저장 장치, 웹하드, 또는 클라우드로부터 선 [0011]

택될 수 있다.

본 발명의 실시 예에 따른 촬영 기능을 갖는 모바일 장치를 이용한 상황 재연 방법은, 미리 촬영된 이미지에 태 [0012]

깅된 태그 정보에 따라 모바일 장치의 위치를 조정하도록 하는 제 1 안내 정보를 제공하는 단계, 상기 모바일 장치의 디스플레이에 출력되는 라이브 뷰로부터 제 1 특징점들을 추출하는 단계, 상기 미리 촬영된 이미지로부 터 제 2 특징점들을 추출하는 단계, 상기 제 1 특징점들이 임계 범위 내에서 상기 제 2 특징점들에 맵핑되는지 여부를 판단하는 단계, 상기 판단 결과에 따라, 상기 제 1 특징점들이 임계 범위 내에서 상기 제 2 특징점들에 맵핑되도록 하는 상기 모바일 장치의 기울기를 계산하는 단계, 상기 계산된 결과에 기초하여 상기 모바일 장치 의 기울기를 조정하도록 하는 제 2 안내 정보를 제공하는 단계, 그리고 상기 제 1 안내 정보 및 상기 제 2 안내 정보 따라 상기 모바일 장치가 조정된 상태에의 상기 라이브 뷰와 상기 미리 촬영된 이미지를 합성하는 단계를 포함할 수 있다.

예를 들어, 상기 제 1 안내 정보를 제공하는 단계는, 상기 미리 촬영된 이미지에 태깅된 GPS 정보를 이용하여 [0013]

상기 모바일 장치를 이동시키도록 안내하는 단계, 상기 미리 촬영된 이미지에 태깅된 피사체 거리에 관한 정보 를 이용하여 상기 모바일 장치를 이동시키도록 안내하는 단계, 그리고 상기 미리 촬영된 이미지에 태깅된 방향 정보를 이용하여 모바일 장치의 방향 조정하도록 안내하는 단계를 포함할 수 있다.

예를 들어, 상기 모바일 장치의 기울기를 계산하는 단계는, 상기 제 1 특징점들로부터 선택된 두 개의 특징점들 [0014]

로 이루어진 직선의 기울기 및 뒤틀림과, 상기 제 2 특징점들로부터 선택된 두 개의 특징점들로 이루어진 직선 의 기울기 및 뒤틀림을 비교함으로써 실행될 수 있다.

예를 들어, 상기 제 1 안내 정보 및 상기 제 2 안내 정보는 상기 모바일 장치의 상기 디스플레이에 출력되거나, [0015]

또는 상기 모바일 장치에 구비된 스피커를 통하여 제공될 수 있다.

예를 들어, 상기 합성하는 단계는, 상기 미리 촬영된 이미지에 태깅된 태그 정보에 따라 상기 모바일 장치의 환 [0016]

경을 설정하는 단계, 상기 설정된 환경 하에서 상기 라이브 뷰를 캡쳐하는 단계, 그리고 상기 캡쳐된 라이브 뷰 와 상기 미리 촬영된 이미지를 합성하는 단계를 포함할 수 있다.

예를 들어, 상기 태그 정보는 이미지 사이즈, 해상도, 비트 깊이, 셔터 속도, 렌즈 조리개, 노출 시간, 초점 거 [0017]

리, 피사체 거리, 촬영 위치, 촬영 방향, 줌 비율에 관한 정보 중 적어도 하나를 포함할 수 있다.

본 발명의 실시 예에 따른 모바일 장치는 디스플레이에 출력되는 라이브 뷰로부터 제 1 특징점들 및 미리 촬영 [0018]

된 이미지로부터 제 2 특징점들을 추출하고, 상기 제 1 특징점들이 임계 범위 내에서 상기 제 2 특징점들에 맵 핑되도록 하는 상기 모바일 장치의 기울기를 계산하고, 상기 계산된 결과에 기초한 안내 정보 따라 상기 모바일 장치가 조정된 상태에의 상기 라이브 뷰와 상기 미리 촬영된 이미지를 합성하도록 구성되는 상황 재연 모듈, 상 기 상황 재연 모듈이 로딩되는 메모리, 그리고 상기 메모리에 로딩된 상기 상황 재연 모듈을 구동하는 애플리케 이션 프로세서를 포함할 수 있다.

예를 들어, 상기 상황 재연 모듈은 상기 미리 촬영된 이미지에 태깅된 태그 정보에 따라 상기 모바일 장치의 위 [0019]

치를 조정하도록 안내하는 상기 안내 정보를 생성할 수 있다. 그리고, 상기 모바일 장치는 상기 모바일 장치의 위치를 측정하는 GPS 모듈, 상기 모바일 장치의 기울기를 계산하는 자이로 센서, 그리고 상기 모바일 장치의 촬 영 방향을 측정하는 지자기 센서를 더 포함할 수 있다. 또는 상기 태그 정보는 이미지 사이즈, 해상도, 비트 깊 이, 셔터 속도, 렌즈 조리개, 노출 시간, 초점 거리, 피사체 거리, 촬영 위치, 촬영 방향, 줌 비율에 관한 정보 중 적어도 하나를 포함할 수 있다.

예를 들어, 상기 상황 재연 모듈은 상기 제 1 특징점들로부터 선택된 두 개의 특징점들로 이루어진 직선의 기울 [0020]

기 및 뒤틀림과, 상기 제 2 특징점들로부터 선택된 두 개의 특징점들로 이루어진 직선의 기울기 및 뒤틀림을 비 교함으로써, 상기 기울기를 계산할 수 있다.

예를 들어, 상기 제 1 특징점들 및 상기 제 2 특징점들은 SURF (Speeded Up Robust Features) 알고리즘, SIFT [0021]

(Scale-Invariant Feature Transform) 알고리즘, FAST (Features from Accelerated Segment Test) 알고리즘,

(8)

BRIEF (Binary Robust Independent Elementary Features) 알고리즘 중 적어도 하나를 통해 추출될 수 있다.

발명의 효과

본 발명의 실시 예에 따르면, 미리 촬영된 이미지와 모바일 장치에 출력되는 라이브 뷰를 이용하여 과거의 상황 [0022]

을 재연하는 방법 및 시스템을 제공할 수 있다.

도면의 간단한 설명

도 1은 본 발명의 실시 예에 따른 상황 재연 방법을 개략적으로 보여주는 도면이다.

[0023]

도 2는 본 발명의 실시 예에 따른 상황 재연 방법을 보여주는 순서도이다.

도 3은 라이브 뷰로부터 추출된 제 1 특징점들과 미리 촬영된 이미지로부터 추출된 제 2 특징점들의 대응 관계 를 개략적으로 보여주는 도면이다.

도 4 내지 도 8은 도 2의 S160 단계의 구체적인 예를 보여주는 도면들이다.

도 9는 미리 촬영된 이미지에 태깅된 태그 정보들을 예시적으로 보여주는 도면이다.

도 10은 본 발명의 다른 실시 예에 따른 상황 재연 방법을 보여주는 순서도이다.

도 11은 도 10에 도시된 S210 단계를 좀 더 상세하게 보여주는 순서도이다.

도 12는 도 10에 도시된 S250 단계를 좀 더 상세하게 보여주는 블록도이다.

도 13은 본 발명의 실시 예에 따른 상황 재연 방법을 실행하도록 구성된 상황 재연 모듈을 포함하는 모바일 장 치를 보여주는 블록도이다.

발명을 실시하기 위한 구체적인 내용

앞의 일반적인 설명 및 다음의 상세한 설명 모두 예시적이라는 것이 이해되어야 하며, 청구된 발명의 부가적인 [0024]

설명이 제공되는 것으로 여겨져야 한다. 참조 부호들이 본 발명의 바람직한 실시 예들에 상세히 표시되어 있으 며, 그것의 예들이 참조 도면들에 표시되어 있다. 가능한 어떤 경우에도, 동일한 참조 번호들이 동일한 또는 유 사한 부분을 참조하기 위해서 설명 및 도면들에 사용된다.

한 요소 또는 층이 다른 요소 또는 층에 "연결되는", "결합하는", 또는 "인접하는" 것으로 언급되는 때에는, 다 [0025]

른 요소 또는 층에 직접적으로(directly) 연결되거나, 결합 되거나, 또는 인접하는 것을 의미할 수 있고, 또는 다른 요소 또는 층을 사이에 두고 간접적으로(indirectly) 연결되거나, 결합 되거나, 또는 인접하는 것을 의미 할 수 있다. 본 명세서에서 사용되는 "및/또는"이라는 용어는 나열된 요소들의 하나 또는 그 이상의 가능한 조 합들을 포함할 것이다.

비록 "제 1", "제 2" 등의 용어가 여기서 다양한 요소를 설명하기 위해 사용될 수 있다 하더라도, 이들 요소는 [0026]

이 용어들에 의해 한정되지 않는다. 이 용어들은 단지 다른 것들로부터 하나의 구성요소를 구별하기 위해 사용 될 수 있다. 따라서, 본 명세서에서 사용된 제 1 구성요소, 구간, 층과 같은 용어는 본 발명의 사상을 벗어나지 않는 범위 내에서 제 2 구성요소, 구간, 층 등으로 사용될 수 있다.

본 명세서에서 설명되는 용어는 단지 특정한 실시 예를 설명하기 위한 목적으로 사용되며, 그것에 한정되지 않 [0027]

는다. "하나의"와 같은 용어는 달리 명백하게 지칭하지 않으면 복수의 형태를 포함하는 것으로 이해되어야 한다. "포함하는" 또는 "구성되는"과 같은 용어는 설명된 특징, 단계, 동작, 성분, 및/또는 구성요소의 존재를 명시하며, 추가적인 하나 또는 그 이상의 특징, 단계, 동작, 성분, 구성요소 및/또는 그들의 그룹의 존재를 배 제하지 않는다.

도 1은 본 발명의 실시 예에 따른 상황 재연(situation reproducing) 방법을 개략적으로 보여주는 도면이다. 이 [0028]

하, 본 명세서에서는 모바일 장치(100)의 디스플레이를 통해 보여지는 피사체의 이미지를 라이브 뷰(101)라고 정의한다. 본 발명에 따르면, 미리 촬영된 이미지(102)와 라이브 뷰(101)를 합성하여 미리 촬영된 이미지(102) 가 촬영된 당시의 상황을 재연할 수 있다.

본 발명의 실시 예에 따라 자세를 재연하는 방법을 간략히 설명하면 다음과 같다. 우선, 모바일 장치(100)의 디 [0029]

스플레이에 피사체의 이미지가 보이도록 한다. 모바일 장치(100) 내에 구비된 애플리케이션, 펌웨어, 소프트웨 어 등은 라이브 뷰(101)의 특징점(keypoint)을 추출할 수 있다. 라이브 뷰(101)의 특징점들은 SURF (Speeded

(9)

Up Robust Features), SIFT (Scale-Invariant Feature Transform), FAST (Features from Accelerated Segment Test), BRIEF (Binary Robust Independent Elementary Features) 등과 같은 다양한 알고리즘을 이용하여 추출 될 수 있다. 그리고, 모바일 장치(100) 내에 구비된 애플리케이션, 펌웨어, 소프트웨어 등은 미리 촬영된 이미 지(102)의 특징점들도 추출할 수 있다. 유사하게, 미리 촬영된 이미지(102)의 특징점들도 앞서 설명된 다양한 알고리즘을 이용하여 추출될 수 있다.

만일 라이브 뷰(101)의 특징점들과 미리 촬영된 이미지(102)의 특징점들이 어떤 임계 범위 내에서 맵핑 [0030]

(mapping)되면, 피사체는 모바일 장치(100)에 의해 촬영될 수 있다. 즉, 라이브 뷰(101)의 특징점들과 미리 촬 영된 이미지(102)의 특징점들이 임계 범위 내에서 서로 맵핑되는 상태에서의 라이브 뷰(101)가 모바일 장치 (100)에 의해 캡쳐될 수 있다. 모바일 장치(100) 내에 구비된 애플리케이션, 펌웨어, 소프트웨어 등은 캡쳐된 라이브 뷰(101)와 미리 촬영된 이미지(102)를 합성한다. 즉, 과거에 미리 촬영된 이미지(102)를 현재에 촬영된 라이브 뷰(101)에 합성함으로써, 과거의 촬영 상황, 자세 등을 재연할 수 있다.

만일, 만일 라이브 뷰(101)의 특징점들과 미리 촬영된 이미지(102)의 특징점들이 임계 범위 내에서 맵핑되지 않 [0031]

으면, 두 특징점들이 서로 맵핑되도록 하는 안내 정보가 모바일 장치(100)의 디스플레이에 표시될 수 있다. 예 를 들어, 안내 정보는 모바일 장치(100)의 회전, 모바일 장치(100)의 이동, 모바일 장치(100)의 기울기 조정 등 과 같은 안내 문구를 포함할 수 있다. 그러나, 안내 정보는 반드시 모바일 장치(100)의 디스플레이 상에 문자로 표시되어야 하는 것은 아니며, 모바일 장치(100)의 스피커(미도시)를 통하여 음성으로써 제공될 수도 있다.

모바일 장치(100)의 디스플레이 상에 표시된 안내 정보에 따라 모바일 장치(100)의 사용자는 모바일 장치(100) [0032]

를 움직이거나, 기울이거나, 회전할 수 있다. 이러한 조정에 따라 모바일 장치(100)의 디스플레이 상에 표시되 는 라이브 뷰(101)의 특징점들이 다시 추출될 수 있다. 라이브 뷰(101)로부터 다시 추출된 제 1 특징점들이 미 리 촬영된 이미지(102)로부터 추출된 제 2 특징점들과 임계 범위 내에서 맵핑되면, 라이브 뷰(101)는 캡쳐될 수 있다. 그리고 모바일 장치(100) 내에 구비된 애플리케이션, 펌웨어, 소프트웨어 등은 캡쳐된 라이브 뷰(101)와 미리 촬영된 이미지(102)를 합성한다. 그 결과, 과거에 미리 촬영된 이미지(102)를 현재에 촬영된 라이브 뷰 (101)에 합성함으로써, 과거의 촬영 상황, 자세 등을 재연할 수 있다.

도 2는 본 발명의 실시 예에 따른 상황 재연 방법을 보여주는 순서도이다. 상황 재연 방법은 도 1에 도시된 모 [0033]

바일 장치(100)에 구비된 애플리케이션, 펌웨어, 또는 소프트웨어를 통해 구현될 수 있다.

S110 단계에서, 모바일 장치(100)의 렌즈를 통해 입력되는 라이브 뷰(101)로부터 제 1 특징점들이 추출될 수 있 [0034]

다. 라이브 뷰(101)의 특징점들은, 앞서 설명한 바와 같이, SURF, SIFT, FAST, BRIEF 등과 같은 다양한 알고리 즘을 이용하여 추출될 수 있다. 그러나, 이에 한정되지 않으며, 다양한 특징점들을 추출하는 다른 다양한 알고 리즘이 이용될 수 있다.

S120 단계에서, 미리 촬영된 이미지(102)로부터 제 2 특징점들이 추출될 수 있다. 앞서 S110 단계에서와 마찬가 [0035]

지로, 제 2 특징점들의 추출을 위해 다양한 알고리즘이 사용될 수 있다. 본 도면에서는, S110 단계가 실행된 후 S120 단계가 실행되는 것으로 설명되었으나, 순서는 이에 한정되지 않을 수 있다. 즉, 미리 촬영된 이미지(10 2)로부터 제 2 특징점들이 추출된 후, 라이브 뷰(101)로부터 제 1 특징점들이 추출될 수 있으며, 또는 제 1 특 징점들과 제 2 특징점들이 동시에 추출될 수도 있다.

예를 들어, 미리 촬영된 이미지(102)는 모바일 장치(100)에 저장된 이미지로써, 모바일 장치(100)의 사용자에 [0036]

의해 선택된 이미지일 수 있다. 또는, 미리 촬영된 이미지(102)는 웹-하드 또는 클라우드에 저장된 이미지로써, 모바일 장치(100)의 사용자에 의해 로드된 이미지일 수도 있다.

S130 단계에서, 라이브 뷰(101)로부터 추출된 제 1 특징점들이 미리 촬영된 이미지(102)로부터 추출된 제 2 특 [0037]

징점들에 맵핑 되도록 하는 모바일 장치(100)의 기울기가 계산될 수 있다. 여기서 제 1 특징점들이 제 2 특징점 들에 맵핑된다 함은, 제 1 특징점들이 제 2 특징점들에 비해 기울여지거나 또는 뒤틀림 없이 3차원 상에서 정확 히 일치한다는 것을 의미할 수 있다.

예를 들어, 제 1 특징점들과 제 2 특징점들이 맵핑되도록 하는 모바일 장치(100)의 기울기는 모바일 장치(100) [0038]

에 내장된 자이로스코프 (또는 자이로 센서) 등을 이용하여 측정될 수 있다. 본 단계는 제 1 특징점들과 제 2 특징점들의 대응 관계를 파악하는 단계, 및 제 1 특징점들이 제 2 특징점들에 비하여 기울어진 정도, 뒤틀린 정 도 등을 계산하는 단계를 포함할 수 있다. 모바일 장치에 구비된 애플리케이션, 펌웨어, 소프트웨어 등은 동일 평면상에 배치된 제 1 특징점들을 기울이거나, 뒤틀거나, 줌-인 또는 줌 아웃 하는 등의 동작을 반복적으로 수 행하여, 제 1 특징점들이 제 2 특징점들과 맵핑되도록 하는 모바일 장치(100)의 기울기를 계산할 수 있다. 모바

(10)

일 장치(100)에서 수행되는 이 같은 동작은 도 3 내지 도 8을 통해 좀 더 상세하게 설명하기로 한다.

예를 들어, 본 단계는 제 1 특징점들 및 제 2 특징점들을 비교함으로써 실행될 수 있다. 예를 들어, 제 1 특징 [0039]

점들로부터 선택가능한 두 개의 특징점들로 구성되는 복수의 직선들과, 제 2 특징점들로부터 선택가능한 두 개 의 특징점들로 구성되는 복수의 직선들을 서로 비교하면, 모바일 장치(100)의 디스플레이에 출력되는 라이브 뷰 (101)가 미리 촬영된 이미지(102)에 비해 얼마나 기울어져 있는지 또는 얼마나 뒤틀려 있는지를 계산할 수 있다.

본 단계에서 계산된 결과에 기초한 안내 정보는 모바일 장치(100)의 디스플레이 상에 표시될 수 있다. 예를 들 [0040]

어, 안내 정보는 모바일 장치(100)를 "좌/우로 회전하시오" 또는 "모바일 장치(100)를 앞으로/뒤로 기울이시오"

하는 등의 안내(가이드)를 포함할 수 있다. 그러나, 안내 정보는 이에 한정되지 않는다. 예를 들어, 안내 정보 는 모바일 장치(100)에 구비된 스피커를 통하여 음성으로 사용자에게 제공될 수도 있다. 그리고, 사용자는 안내 정보에 따라 모바일 장치(100)를 움직이거나 기울이거나 하는 등의 동작을 취할 수 있다.

S140 단계에서는, 앞서 S130 단계에서 계산된 결과에 기초한 안내 정보에 따라 모바일 장치(100)가 조정된 상태 [0041]

에서의 라이브 뷰(101)와, 미리 촬영된 이미지(102)가 합성될 수 있다. 안내 정보에 따라 사용자가 모바일 장치 (100)를 움직이거나 기울이거나 하는 등의 동작에 따라 모바일 장치(100)가 조정되면, 라이브 뷰(101)로부터 추 출된 제 1 특징점들과 미리 촬영된 이미지(102)로부터 추출된 제 2 특징점들이 임계 범위 내에서 서로 맵핑될 수 있다. 따라서, 모바일 장치(100)의 기울기가 조정된 상태에서의 라이브 뷰(101)와 미리 촬영된 이미지(102) 를 합성하더라도 자연스러운 이미지를 얻을 수 있으며, 그 결과, 미리 촬영된 이미지(102)가 촬영되었을 당시의 상황을 그대로 재연할 수 있게 된다.

이상 본 도면을 통하여, 모바일 장치(100)를 이용하여 상황 재연 방법이 간략하게 설명되었다. 이와 같은 구성 [0042]

에 의하면, 라이브 뷰(101)로부터 추출된 제 1 특징점들과 미리 촬영된 이미지(102)의 제 2 특징점들을 서로 비 교하여, 두 특징점들이 서로 일치하도록 함으로써 미리 촬영된 이미지(102)가 촬영되었을 당시의 상황을 용이하 게 재연할 수 있는 장점이 있다.

도 3은 라이브 뷰(101)로부터 추출된 제 1 특징점들과 미리 촬영된 이미지(102)로부터 추출된 제 2 특징점들의 [0043]

대응 관계를 개략적으로 보여주는 도면이다. 도 3의 왼쪽에 도시된 특징점들(P1, P2, P3)은 라이브 뷰(101)로부 터 추출된 제 1 특징점들을 나타내며, 도 3의 오른쪽에 도시된 특징점들(Q1, Q2, Q3)은 미리 촬영된 이미지 (102)로부터 추출된 제 2 특징점들을 나타낸다. 특징점 P1과 P2 사이의 거리는 e12이고, 특징점 P2와 P3 사이의 거리는 e23이고, 특징점 P1과 P3 사이의 거리는 e13이다. 그리고, 특징점 Q1과 Q2 사이의 거리는 f12이고, 특징 점 Q2와 Q3 사이의 거리는 f23이고, 특징점 Q1과 Q3 사이의 거리는 f13이다. 도 1에 도시된 피사체의 특징점들 과는 달리, 설명의 간략화를 위해, 라이브 뷰(101)와 미리 촬영된 이미지(102)로부터 추출된 특징점들은 각각 3 개라고 가정한다.

미리 촬영된 이미지(102)가 촬영되었을 당시의 상황을 재연하기 위해서는, 제 1 특징점들과 제 2 특징점들이 서 [0044]

로 임계 범위 내에서 맵핑되어야 한다. 이를 판단하기 위해서는, 우선 라이브 뷰(101)로부터 추출된 제 1 특징 점들과 미리 촬영된 이미지(102)로부터 추출된 제 2 특징점들 사이의 대응 관계를 파악해야 한다. 이러한 대응 관계는 제 1 특징점들(P1 내지 P3)과 제 2 특징점들(Q1 내지 Q3)의 배치, 각각의 특징점들 사이의 거리(e12, e23, e13, k12, k23, k13)를 서로 비교함으로써 파악될 수 있다. 예를 들어, 이러한 대응 관계의 파악은 모바일 장치(100)에 구비된 애플리케이션, 펌웨어, 소프트웨어 등에 의해 실행될 수 있다.

도 4 내지 도 8은 도 2의 S160 단계의 구체적인 예를 보여주는 도면들이다. 이해를 돕기 위해, 모바일 장치 [0045]

(100)는 XY 평면 상에 배치되었으며, 라이브 뷰(101)로부터 추출된 제 1 특징점들은 P1, P2, P3이며, 미리 촬영 된 이미지로부터 추출된 제 2 특징점들은 Q1, Q2, Q3라고 가정한다. 비록 모바일 장치(100)의 디스플레이 상에 특징점들이 표시되는 것으로 도시되었으나, 실제로는 특징점들은 모바일 장치(100)의 디스플레이 상에 표시되지 않을 수 있다. 이는 안내 정보에 따라 모바일 장치(100)가 X축, Y축, Z축을 기준으로 회전될 수 있다는 것을 보 여주기 위한 것이다.

도 4를 참조하면, e12와 f12는 동일하고, e23와 f23는 동일하고, e13와 f13은 동일한 것으로 도시되었다. 이 경 [0046]

우는 라이브 뷰(101)는 미리 촬영된 이미지(102)에 비해 뒤트림이 없고, 기울임도 없으나, 라이브 뷰(101)가 단 지 Z 축을 기준으로 회전된 것으로 이해될 수 있다. 이 경우, 라이브 뷰(101)로부터 추출된 제 1 특징점들이 회 전된 정도가 계산될 수 있다. 예를 들어, 제 1 특징점들이 회전된 정도는 모바일 장치(100)에 구비된 애플리케 이션, 펌웨어, 소프트웨어 등에 의해 실행될 수 있다.

(11)

계산된 회전된 정도는 모바일 장치(100)의 디스플레이 상에 안내 정보(103)로써 표시될 수 있다. 예를 들어, 안 [0047]

내 정보는 "모바일 장치(100)를 반시계 방향으로 얼만큼 회전하시오"와 같은 안내 문구일 수 있다. 그러나, 이 에 한정되지 않으며, 안내 정보(103)는 모바일 장치(100)에 구비된 스피커(미도시)를 통하여 사용자에게 제공될 수도 있다.

사용자에게 제공된 안내 정보(103)에 따라 사용자가 모바일 장치를 회전시키면, 제 1 특징점들이 라이브 뷰 [0048]

(101)로부터 다시 추출될 수 있다. 다시 추출된 제 1 특징점들과 미리 촬영된 이미지(102)로부터 추출된 제 2 특징점들이 임계 범위 내에서 맵핑된다고 판단되면, 라이브 뷰(101)가 캡쳐될 수 있다. 이는 맵핑되는 순간의 피사체가 촬영된다는 것과 같은 의미일 수 있다.

이후, 캡쳐된 라이브 뷰(101)와 미리 촬영된 이미지(102)가 합성되고, 그 결과, 미리 촬영된 이미지(102)가 촬 [0049]

영되었을 당시의 상황이 재연될 수 있다. 예를 들어, 이러한 일련의 동작들은 모바일 장치(100)에 구비된 애플 리케이션, 소프트웨어, 펌웨어 등에 의해 실행될 수 있다.

도 5를 참조하면, X 축 방향으로 특징점들 P2와 P3 사이의 길이(x1)와, X 축 방향으로 특징점들 Q2와 Q3 사이의 [0050]

길이(x2)가 동일한 것으로 도시되었다. 이 경우, e12와 f12는 서로 다르고, e23와 f23는 서로 다르고, e13와 f13은 서로 다르다. 이는 라이브 뷰(101)가 미리 촬영된 이미지(102)에 비해 단지 Z 축을 기준으로 회전된 것으 로 이해될 수 있다. 이 경우, 라이브 뷰(101)로부터 추출된 제 1 특징점들이 회전된 정도가 계산될 수 있다. 예 를 들어, 제 1 특징점들이 회전된 정도는 모바일 장치(100)에 구비된 애플리케이션, 펌웨어, 소프트웨어 등에 의해 실행될 수 있다.

내 정보는 "모바일 장치(100)를 뒤로 젖히시오." 또는 "모바일 장치(100)를 앞으로 기울이시오."와 같은 안내 문구일 수 있다. 그러나, 이에 한정되지 않으며, 안내 정보(103)는 모바일 장치(100)에 구비된 스피커(미도시) 를 통하여 사용자에게 제공될 수도 있다.

사용자에게 제공된 안내 정보(103)에 따라 사용자가 모바일 장치를 뒤로 젖히거나 앞으로 기울이면, 제 1 특징 [0052]

점들이 라이브 뷰(101)로부터 다시 추출될 수 있다. 다시 추출된 제 1 특징점들과 미리 촬영된 이미지(102)로부 터 추출된 제 2 특징점들이 임계 범위 내에서 맵핑된다고 판단되면, 라이브 뷰(101)가 캡쳐될 수 있다. 이는 맵 핑되는 순간의 피사체가 촬영된다는 것과 같은 의미일 수 있다.

도 6을 참조하면, Y 축 방향으로 특징점들 P1과 P2 사이의 길이(y1)와, Y 축 방향으로 특징점들 Q1와 Q2 사이의 [0054]

길이(y2)가 동일한 것으로 도시되었다. 이 경우, e12와 f12는 서로 다르고, e23와 f23는 서로 다르고, e13와 f13은 서로 다르다. 이는 라이브 뷰(101)가 미리 촬영된 이미지(102)에 비해 단지 Y 축을 기준으로 회전된 것으 로 이해될 수 있다. 이 경우, 라이브 뷰(101)로부터 추출된 제 1 특징점들이 회전된 정도가 계산될 수 있다. 예 를 들어, 제 1 특징점들이 회전된 정도는 모바일 장치(100)에 구비된 애플리케이션, 펌웨어, 소프트웨어 등에 의해 실행될 수 있다.

내 정보는 "모바일 장치(100)를 회전문과 같이 반시계 방향으로 회전하시오." 또는 "모바일 장치(100)를 회전문 과 같이 시계 방향으로 회전하시오."와 같은 안내 문구를 포함할 수 있다. 그러나, 이에 한정되지 않으며, 안내 정보(103)는 모바일 장치(100)에 구비된 스피커(미도시)를 통하여 사용자에게 제공될 수도 있다.

사용자에게 제공된 안내 정보(103)에 따라 사용자가 모바일 장치를 회전시키면, 제 1 특징점들이 라이브 뷰 [0056]

(101)로부터 다시 추출될 수 있다. 다시 추출된 제 1 특징점들과 미리 촬영된 이미지(102)로부터 추출된 제 2 특징점들이 임계 범위 내에서 맵핑된다고 판단되면, 라이브 뷰(101)가 캡쳐될 수 있다. 이는 맵핑되는 순간의 피사체가 촬영된다는 것과 같은 의미일 수 있다.

이상 도 4 내지 도 6에서는 라이브 뷰(101)로부터 추출된 특징점들이 단지, X축, Y축, Z축 중 어느 하나만을 중 [0058]

(12)

심으로 회전된 경우가 도시되었으나, 실제로는 모바일 장치(100)를 X축, Y축, Z축을 중심으로 모두 회전해야 하 는 경우가 대부분일 것이다. 이 경우, 제 1 특징점들을 기울이거나, 뒤틀거나, 줌-인 또는 줌 아웃 하는 등의 동작을 반복적으로 수행하여, 제 1 특징점들이 제 2 특징점들과 맵핑되도록 하는 모바일 장치(100)의 기울기가 계산될 것이다.

도 7 및 도 8은 본 발명의 실시 예에 따른 상황 재연 방법이 모바일 장치(100)를 통하여 구현되는 예를 개략적 [0059]

으로 보여주는 도면이다. 비록 도면에는 도시되지 않았으나, 모바일 장치(100) 너머에 피사체(미도시)가 있으며, 모바일 장치(100)의 렌즈를 통하여 입사된 피사체의 이미지는 이미지 처리 과정을 거친 후, 디스플레이 를 통하여 라이브 뷰(101)로써 보여진다고 가정한다.

도 7을 참조하면, 모바일 장치(100)에 구비된 상황 재연 애플리케이션, 펌웨어, 소프트웨어 등이 구동되면, 라 [0060]

이브 뷰(101)로부터 제 1 특징점들이 추출될 수 있다. 그리고, 미리 촬영된 이미지(102)로부터 제 2 특징점들이 추출될 수 있다. 사용자가 재연하고자 하는 상황을 위해 필요한 미리 촬영된 이미지(102)는 모바일 장치(100), 웹하드(미도시), 또는 클라우드(미도시)에 내장되어 사용자에 의해 선택될 수 있다. 비록 도면에는 미리 촬영된 이미지(102)의 특징점들이 모바일 장치(100)의 디스플레이에 표시되는 것으로 도시되었으나, 이는 이해를 돕기 위한 것이며, 제 2 특징점들은 모바일 장치(100)의 디스플레이에 도시되지 않을 수 있다.

제 1 특징점들과 제 2 특징점들이 추출된 후, 제 1 특징점들이 제 2 특징점들에 비해 기울어진 정도, 뒤틀린 정 [0061]

도 등이 계산될 수 있다. 이때 계산된 값에 기초하여 모바일 장치(100)의 디스플레이 상에 안내 정보가 표시될 수 있다. 안내 정보(103)는 모바일 장치(100)를 X 축을 기준으로, Y 축을 기준으로, Z 축을 기준으로 얼마만큼 회전하라는 안내 등을 포함할 수 있다. 예를 들어, 안내 정보(103)는 "모바일 장치(100)를 왼쪽/오른쪽으로 기 울이시오" 또는 "모바일 장치(100)를 앞으로/뒤로 기울이시오" 등과 같은 구체적인 안내(가이드)일 수 있다. 그 러나 이러한 안내 정보(103)는 이에 한정되지 않으며, 모바일 장치(100)에 구비된 스피커(미도시) 등을 통하여 제공될 수도 있다.

모바일 장치(100)의 디스플레이 상에 표시된 안내 정보(103)에 따라 사용자가 모바일 장치(100)를 [0062]

이동시키거나, 회전시키거나, 기울이는 등의 조작을 취하면, 라이브 뷰(101)로부터 제 1 특징점들이 다시 추출 될 수 있다. 만일, 다시 추출된 제 1 특징점들과 제 2 특징점들이 임계 범위 내에서 서로 맵핑되면, 도 8에 도 시된 바와 같이, 라이브 뷰(101)가 캡쳐될 수 있다. 즉, 다시 추출된 제 1 특징점들과 제 2 특징점들이 임계 범 위 내에서 서로 맵핑되는 순간에 피사체가 모바일 장치(100)에 의해 촬영될 수 있다.

이후, 캡쳐된 라이브 뷰(101)와 미리 촬영된 이미지(102)가 합성될 수 있다. 이와 같은 구성에 의하여, 미리 촬 [0063]

영된 이미지(102)가 촬영되었던 장소에 방문하여 모바일 장치(101)에 표시되는 라이브 뷰(101)를 이용함으로써, 촬영 당시의 상황을 용이하게 재연할 수 있다. 비록 도 7 및 도 8에서는 미리 촬영된 이미지(102)가 모바일 장 치(100)의 디스플레이 상에 표시되는 것으로 도시되었으나, 미리 촬영된 이미지(102)는 디스플레이 상에 도시되 지 않을 수도 있다. 즉, 실시 예에 따라서, 모바일 장치(100)의 디스플레이 상에는 라이브 뷰(101), 그리고 제 1 특징점들 및 제 2 특징점들의 비교에 따라 계산된 값에 기초하는 안내 정보(103)만이 표시될 수도 있다.

이상 도 1 내지 도 8에서는, 제 1 특징점들 및 제 2 특징점들의 비교에 기초하는 안내 정보(103)에 따라 모바일 [0064]

장치(100)의 위치, 각도, 기울기 등을 조절하는 실시 예들이 설명되었다. 그러나, 안내 정보뿐만 아니라, 미리 촬영된 이미지(102)에 태깅된 각종 태그 정보들에 기초하여 안내 정보(103)가 제공될 수도 있다. 이러한 실시 예에 대해서는 도 9 내지 도 12를 통하여 상세하게 설명하기로 한다.

도 9는 미리 촬영된 이미지(102)에 태깅된 태그 정보들을 예시적으로 보여주는 도면이다. 미리 촬영된 이미지 [0065]

(102)가 생성될 당시 (즉, 피사체가 촬영될 당시), 미리 촬영된 이미지(102)에는 각종 태그 정보들이 함께 태깅 될 수 있다. 미리 촬영된 이미지(102)에는 촬영 당시의 상황을 나타내는 각종 정보들이 태깅될 수 있다. 태그 정보의 예로써, 이미지의 사이즈 정보, 수평/수직 해상도 정보, 비트 깊이, 셔터 속도, 렌즈 조리개, 노출 시간, 초점 거리, 피사체 거리, 촬영 위치, 촬영 방향, 줌 비율과 같은 정보가 있을 수 있다. 그러나, 이는 예 시적인 것으로서, 촬영 당시의 상황을 나타낼 수 있는 다른 다양한 정보들이 더 태깅될 수 있다.

이러한 태그 정보를 저장할 수 있는 포맷으로써, EXIF (Exchangeable image file format) 등이 있다. 예를 들 [0066]

어, JPEG, TIFF, WAV 등에 EXIF 표준이 사용되고 있다. 그러나, EXIF 표준에 기초하는 이미지 파일만 사용되는 것이 아니며, 촬영 당시의 각종 정보를 태깅할 수 있는 다양한 표준이 사용될 수 있다.

미리 촬영된 이미지(102)에 함께 태깅되는 이미지 사이즈, 수평/수직 해상도, 비트 깊이, 셔터 속도, 렌즈 조리 [0067]

개, 노출 시간, 초점 거리에 관한 정보는 모바일 장치(100)에 구비된 이미지 센서 회로로부터 생성될 수

(13)

있으며, 이들 정보는 미리 촬영된 이미지(102)의 생성시 함께 태깅될 수 있다.

피사체 거리에 관한 정보는, 예를 들어, 모바일 장치(100)에 구비된 적외선 센서를 이용하여 측정될 수 있다.

[0068]

만일 적외선 센서를 이용하여 오토-포커싱(auto-focusing)을 수행하는 카메라 모듈을 갖춘 모바일 장치(100)를 이용하여 피사체를 촬영한다면, 촬영 장소와 피사체 사이의 거리가 측정될 수 있을 것이다. 적외선을 피사체로 발사한 후 반사되어 돌아오는 시간을 측정하여 촛점을 맞추는 오토-포커싱 기능을 이용하면 촬영 장소와 피사체 사이의 거리를 개략적으로 측정할 수 있다. 이러한 피사체 거리에 관한 정보도 미리 촬영된 이미지(102)의 생성 시 함께 태깅될 수 있다.

촬영 위치에 관한 정보는, 예를 들어, 모바일 장치(100)에 구비된 GPS (Global Positioning System) 모듈에 의 [0069]

해 측정될 수 있다. 그러나, 이에 한정되지 않으며, 촬영 위치에 관한 정보는 GLONASS, Compass, Galileo, QZSS와 같은 다양한 내비게이션 표준에 의해 측정될 수 있다. 촬영 위치의 좌표는 위도 및 경도로 구성될 수 있 다. 이러한 촬영 위치에 관한 정보도 미리 촬영된 이미지(102)의 생성시 함께 태깅될 수 있다.

촬영 방향에 관한 정보는, 예를 들어, 모바일 장치(100)에 구비된 지자기 센서(geomagnetic sensor)에 의해 측 [0070]

정될 수 있다. 지자기 센서는 지구의 자기장을 이용하여 촬영 방향을 측정하는 장치로써, 촬영 방향에 관한 정 보는 미리 촬영된 이미지(102)의 생성시 함께 태깅될 수 있다.

도 10은 본 발명의 다른 실시 예에 따른 상황 재연 방법을 보여주는 순서도이다. 상황 재연 방법은 도 1에 도시 [0071]

된 모바일 장치(100)에 구비된 애플리케이션, 펌웨어, 또는 소프트웨어를 통해 구현될 수 있다. 이하 도 1, 9, 및 10을 함께 참조하여 함께 설명하기로 한다.

S210 단계에서, 미리 촬영된 이미지(102)에 태깅된 태그 정보에 기초하여 모바일 장치(100)의 위치를 조정하도 [0072]

록 하는 제 1 안내 정보가 제공될 수 있다. 이러한 제 1 안내 정보는 미리 촬영된 이미지(102)의 태그 정보들 중 촬영 위치에 관한 정보 및 촬영 방향에 관한 정보에 기초하여 제공될 수 있다.

예를 들어, 모바일 장치(100)의 현재의 위치가 GPS 등에 의해 측정될 수 있다면, 미리 촬영된 이미지(102)에 태 [0073]

깅된 촬영 위치에 관한 정보를 이용하여, 사용자에게 어디로 몇 걸음 이동하라는 등의 안내 정보를 제공할 수 있다. 그리고, 미리 촬영된 이미지(102)에 태깅된 촬영 방향에 관한 정보를 이용하여 사용자에게 어느 방향으로 향하라는 등의 안내 정보를 제공할 수 있다. 그 결과, 미리 촬영된 이미지(102)가 촬영되었을 당시의 촬영 위치 및 촬영 방향을 개략적으로 재연할 수 있다.

그러나, GPS와 지자기 센서에 의해 측정된 정보에 기초한 안내 정보는 어느 정도 오차가 있을 수 있다. 이는 [0074]

GPS 기술 자체에 어느 정도 오차가 있기 때문이다. 따라서, 이러한 오차를 보정할 수 있도록 사용자에게 좀 더 세밀하게 안내할 필요가 있다. 이러한 세밀한 안내는 이하 설명되는 특징점 추출 및 비교에 기초하여 실행될 수 있다.

S220 단계에서, 모바일 장치(100)의 렌즈를 통해 입력되는 라이브 뷰(101)로부터 제 1 특징점들이 추출될 수 있 [0075]

다. 라이브 뷰(101)의 특징점들은, 앞서 설명한 바와 같이, SURF, SIFT, FAST, BRIEF 등과 같은 다양한 알고리 즘을 이용하여 추출될 수 있다. 그러나, 이에 한정되지 않으며, 다양한 특징점들을 추출하는 다른 다양한 알고 리즘이 이용될 수 있다.

S230 단계에서, 미리 촬영된 이미지(102)로부터 제 2 특징점들이 추출될 수 있다. 앞서 S220 단계에서와 마찬가 [0076]

지로, 제 2 특징점들의 추출을 위해 다양한 알고리즘이 사용될 수 있다. 본 도면에서는, S220 단계가 실행된 후 S320 단계가 실행되는 것으로 설명되었으나, 순서는 이에 한정되지 않을 수 있다. 즉, 미리 촬영된 이미지(10 2)로부터 제 2 특징점들이 추출된 후, 라이브 뷰(101)로부터 제 1 특징점들이 추출될 수 있으며, 또는 제 1 특 징점들과 제 2 특징점들이 동시에 추출될 수도 있다.

예를 들어, 미리 촬영된 이미지(102)는 모바일 장치(100)에 저장된 이미지로써, 모바일 장치(100)의 사용자에 [0077]

의해 선택된 이미지일 수 있다. 또는, 미리 촬영된 이미지(102)는 웹-하드 또는 클라우드에 저장된 이미지로써, 모바일 장치(100)의 사용자에 의해 로드된 이미지일 수도 있다.

S240 단계에서, 제 1 특징점들과 제 2 특징점들이 임계 범위 내에서 맵핑되는지 여부가 판단될 수 있다. 제 1 [0078]

특징점들과 제 2 특징점들이 정확히 맵핑된다는 것은, 현재 모바일 장치(100)의 디스플레이를 통해 보여지는 라 이브 뷰(101)가, 미리 촬영된 이미지(102)가 촬영되었을 당시의 상황을 그대로 반영한다는 것을 의미한다. 즉, 이는 미리 촬영된 이미지(102)가 촬영되었을 당시의 촬영 장소의 좌표, 촬영 각도, 기울기 등이 현재에 그대로 재연되었다는 것을 의미할 수 있다.

(14)

그러나, 미리 촬영된 이미지(102)가 촬영되었을 당시의 상황을 그대로 재연하는 것은 매우 어려운 일이고 현실 [0079]

적으로 불가능할 수 있다. 따라서, 라이브 뷰(101)로부터 추출된 제 1 특징점들과 미리 촬영된 이미지(102)로부 터 추출된 제 2 특징점들이 서로 어떤 임계 범위 내에서 서로 맵핑되면, 미리 촬영된 이미지(102)가 촬영되었을 당시의 상황이 재연되었다고 간주할 수 있다. 판단 결과에 따라 동작 분기가 발생할 수 있다. 제 1 특징점들과 제 2 특징점들이 서로 임계 범위 내에서 맵핑된다고 판단되면(예), S250 단계가 실행된다. 반면, 그렇지 않으면 (아니오), S260 단계가 실행된다.

S250 단계에서, 라이브 뷰(101)의 이미지와 미리 촬영된 이미지(102)가 합성될 수 있다. 즉, 제 1 특징점들과 [0080]

제 2 특징점들이 어떤 임계 범위 내에서 맵핑된다고 판단되는 순간에, 피사체가 촬영될 수 있다. (이는 라이브 뷰(101)가 캡쳐된다는 것과 동일한 의미이다). 그리고, 모바일 장치(100)의 설정(configuration)(예를 들어, 이 미지 사이즈, 해상도, 셔터 속도, 노출 시간 등)은 미리 촬영된 이미지(102)가 촬영되었을 당시의 설정과 동일 하게 세팅될 수 있다. 이는 캡쳐된 라이브 뷰(101)와 미리 촬영된 이미지(102)가 합성될 때, 이질감 없이 자연 스럽게 합성되도록 하기 위함이다. 예를 들어, 모바일 장치(100)의 카메라 모듈에 관한 이러한 설정 (configuration)은 모바일 장치(100)에 내장된 애플리케이션, 펌웨어, 소프트웨어 등에 의해 자동으로 세팅될 수 있다.

이러한 설정에 기초하여 촬영된 이미지와 미리 촬영된 이미지(102)가 합성될 수 있다. 그 결과, 미리 촬영된 이 [0081]

미지(102)가 촬영되었을 당시의 상황을 그대로 재연할 수 있게 된다. 즉, 현재 피사체를 촬영한 위치, 촬영 방 향, 촬영 각도, 기울기 등은 미리 촬영된 이미지(102)가 촬영되었을 당시의 상황과 거의 동일하다는 의미이다.

S260 단계에서, 제 1 특징점들과 제 2 특징점들이 맵핑되도록 하는 모바일 장치(100)의 각도, 기울기 등이 계산 [0082]

될 수 있다. 예를 들어, 제 1 특징점들과 제 2 특징점들이 맵핑되도록 하는 모바일 장치(100)의 각도, 기울기 등은 모바일 장치(100)에 내장된 자이로스코프 (또는 자이로 센서) 등을 이용하여 측정될 수 있다. 본 단계는 제 1 특징점들과 제 2 특징점들의 대응 관계를 파악하는 단계, 및 제 1 특징점들이 제 2 특징점들에 비하여 기 울어진 정도, 뒤틀린 정도 등을 계산하는 단계를 포함할 수 있다. 모바일 장치에 구비된 애플리케이션, 펌웨어, 소프트웨어 등은 동일 평면상에 배치된 제 1 특징점들을 기울이거나 뒤트는 등의 동작을 반복적으로 수행하여, 제 1 특징점들이 제 2 특징점들과 맵핑되도록 하는 모바일 장치(100)의 위치, 기울기 등을 계산할 수 있다. 모 바일 장치(100)에 의해 수행되는 이 같은 동작은 앞서 도 3 내지 도 8에서 설명된 것과 유사하다.

S270 단계에서, 계산된 위치 및 기울기에 따라 모바일 장치(100)의 기울기를 조정하도록 하는 제 2 안내 정보가 [0083]

제공될 수 있다. 예를 들어, 제 2 안내 정보는 계산된 기울기에 따라 사용자가 모바일 장치(100)를 움직이도록 모바일 장치(100)의 디스플레이 상에 표시될 수 있다. 예를 들어, 제 2 안내 정보는 모바일 장치(100)를 좌/우 로 회전시키거나, 앞으로/뒤로 기울이거나 하는 등의 안내(가이드)를 포함할 수 있다. 그러나, 안내 정보는 이 에 한정되지 않는다. 예를 들어, 제 2 안내 정보는 모바일 장치(100)에 구비된 스피커를 통하여 음성으로 사용 자에게 제공될 수도 있다.

모바일 장치(100)의 사용자에게 제공된 제 2 안내 정보에 따라 사용자가 모바일 장치(100)를 움직이거나 기울이 [0084]

는 등의 행동을 취한 후, 다시 라이브 뷰(101)로부터 제 1 특징점들이 추출될 것이다(S220).

도 11은 도 10에 도시된 S210 단계를 좀 더 상세하게 보여주는 순서도이다.

[0085]

S212 단계에서, 미리 촬영된 이미지(102)에 태깅된 촬영 위치에 관한 정보(예를 들어, GPS 정보)를 이용하여 촬 [0086]

영 장소를 이동시키도록 안내하는 동작이 실행될 수 있다.

S214 단계에서, 미리 촬영된 이미지(102)에 태깅된 피사체 거리에 관한 정보를 이용하여 촬영 장소를 이동시키 [0087]

도록 안내하는 동작이 실행될 수 있다. S212 단계에서 제공된 GPS 정보에는 오차가 있을 수 있기 때문에, 피사 체 거리에 관한 정보에 기초한 안내를 통하여 현재의 촬영 위치와 미리 촬영된 이미지(102)가 촬영되었을 당시 의 촬영 위치 사이의 오차를 더욱 줄일 수 있다.

S216 단계에서, 미리 촬영된 이미지(102)에 태깅된 촬영 방향에 관한 정보를 이용하여 촬영 방향을 조정하도록 [0088]

안내하는 동작이 실행될 수 있다. 예를 들어, 미리 촬영된 이미지(102)에 태깅된 촬영 방향에 관한 정보는 모바 일 장치(100)에 내장된 지자기 센서에 의해 측정될 수 있다.

이상 도 11에서 설명된 동작들은, 특징점들의 비교에 앞서, 미리 촬영된 이미지(102)가 촬영되었을 당시의 상황 [0089]

을 개략적으로 재연할 수 있게 한다. 특징점들의 비교에 기초하여 안내 정보를 제공할 뿐만 아니라, 미리 촬영 된 이미지(102)에 태깅된 태그 정보를 함께 이용하기 때문에, 촬영 당시의 상황을 더욱 정교하게 재연할 수 있

(15)

는 장점이 있다.

도 12는 도 10에 도시된 S250 단계를 좀 더 상세하게 보여주는 블록도이다.

[0090]

S252 단계에서, 미리 촬영된 이미지(102)에 태깅된 태그 정보와 현재의 모바일 장치(100)의 설정 [0091]

(configuration)이 일치하도록 모바일 장치(100)가 세팅될 수 있다. 다만, 반드시 도 9에 도시된 각종 태그 정 보들이 전부 일치하도록 세팅되어야 하는 것은 아니며, 해상도, 셔터 속도, 렌즈 조리개, 노출 시간, 초점 거리 등 주요한 태그 정보들이 일치하도록 설정될 수 있다. 이는 캡쳐된 라이브 뷰(101)와 미리 촬영된 이미지(102) 가 합성될 때, 이질감 없이 자연스럽게 합성되도록 하기 위함이다.

예를 들어, 모바일 장치(100)의 카메라 모듈에 관한 이러한 설정(configuration)은 모바일 장치(100)에 내장된 [0092]

애플리케이션, 펌웨어, 소프트웨어 등에 의해 자동으로 세팅될 수 있다.

S254 단계에서는, 앞서 S252 단계에서 세팅된 설정에 따라 피사체가 촬영될 수 있다. 즉, 모바일 장치(100)의 [0093]

디스플레이에 보여지는 라이브 뷰(101)가 캡쳐될 수 있다.

S256 단계에서는, 앞서 S254 단계에서 촬영된 이미지와 미리 촬영된 이미지(102)가 합성될 수 있다. 그 결과, [0094]

미리 촬영된 이미지(102)가 촬영되었을 당시의 상황을 그대로 재연할 수 있다.

이상 도 9 내지 도 12를 통하여, 모바일 장치(100)를 이용한 상황 재연 방법이 간략하게 설명되었다. 본 실시 [0095]

예에서는 앞서, 도 1 내지 도 8의 실시 예와는 달리, 미리 촬영된 이미지(102)에 태깅된 태그 정보들도 함께 이 용하여 사용자에게 안내 정보를 제공한다. 즉, 특징점 비교에 기초한 안내 정보뿐만 아니라 태그 정보에 기초한 안내 정보를 함께 제공함으로써, 미리 촬영된 이미지(102)가 촬영되었을 당시의 상황을 좀 더 정교하고 용이하 게 재연할 수 있는 장점이 있다.

도 13은 본 발명의 실시 예에 따른 상황 재연 방법을 실행하도록 구성된 상황 재연 모듈(1610)을 포함하는 모바 [0096]

일 장치를 보여주는 블록도이다. 예를 들어, 모바일 장치(1000)는 스마트폰, 태블릿 PC, 디지털 카메라와 같은 다양한 전자 장치일 수 있다. 도 13을 참조하면, 모바일 장치(1000)는 MIPI(mobile industry processor interface) 표준 또는 eDP(Embedded DisplayPort) 표준을 지원할 수 있도록 구성될 수 있다. 모바일 장치 (1000)는 애플리케이션 프로세서(1100), 디스플레이부(1200), 이미지 처리부(1300), 데이터 스토리지(1400), 무 선 송수신부(1500), DRAM(1600), AHRS (Attitude Heading Reference System)(1700), 및 적외선 센서(1800)를 포함할 수 있다.

애플리케이션 프로세서(1100)는 모바일 장치(1000)의 전반적인 동작을 제어할 수 있다. 애플리케이션 프로세서 [0097]

(1100)는 디스플레이부(1200)와 인터페이싱을 수행하는 DSI 호스트 및 이미지 처리부(1300)와 인터페이싱을 수 행하는 CSI 호스트를 포함할 수 있다.

디스플레이부(1200)는 디스플레이 패널(1210) 및 DSI (display serial interface) 주변 회로(1220)를 포함할 [0098]

수 있다. 디스플레이 패널(1210)은 영상 데이터를 디스플레이할 수 있다. 애플리케이션 프로세서(1100)에 내장 된 DSI 호스트는 DSI를 통하여 디스플레이 패널(1210)과 시리얼 통신을 수행할 수 있다. DSI 주변 회로(1220)는 디스플레이 패널(1210)을 구동하는데 필요한 타이밍 컨트롤러, 소스 드라이버 등을 포함할 수 있다. 디스플레이 패널(1210)에는 모바일 장치(1000)의 위치, 각도, 기울기 등을 조절하도록 안내하는 안내 정보가 표시될 수 있 다. 그러나, 이에 한정되지 않으며, 안내 정보는 모바일 장치(1000)에 구비된 스피커(미도시)를 통하여 사용자 에게 제공될 수도 있다.

이미지 처리부(1300)는 카메라 모듈(1310) 및 CSI (camera serial interface) 주변 회로(1320)를 포함할 수 있 [0099]

다. 카메라 모듈(1310) 및 CSI 주변 회로(1320)는 렌즈, 이미지 센서 등을 포함할 수 있다. 카메라 모듈(1310) 에서 생성된 이미지 데이터는 이미지 프로세서에서 처리될 수 있으며, 처리된 이미지는 CSI를 통하여 애플리케 이션 프로세서(1100)로 전달될 수 있다.

데이터 스토리지(1400)는 임베디드 스토리지 및 탈착형 스토리지를 포함할 수 있다. 임베디드 스토리지 및 탈착 [0100]

형 스토리지는 M-PHY 계층을 통하여 애플리케이션 프로세서(1100)와 통신을 수행할 수 있다. 예를 들어, 애플리 케이션 프로세서(1100)와 탈착형 스토리지는 다양한 카드 프로토콜(예를 들어, UFDs, MMC, eMMC SD(secure digital), mini SD, Micro SD 등)에 의해 통신할 수 있다. 임베디드 스토리지 및 탈착형 스토리지는 플래시 메 모리와 같은 불휘발성 메모리 장치로 구성될 수 있다.

무선 송수신부(1500)는 안테나(1510), RF 부(1520), 및 모뎀(1530)을 포함할 수 있다. 모뎀(1530)은 M-PHY 계 [0101]

층을 통하여 애플리케이션 프로세서(1100)와 통신하는 것으로 도시되었다. 그러나, 실시 예에 따라서, 모뎀

(16)

(1530)은 애플리케이션 프로세서(1100)에 내장될 수 있다.

DRAM(1600)은 애플리케이션 프로세서(1100)에 의해 구동되는 다양한 애플리케이션, 펌웨어, 소프트웨어 등이 로 [0102]

딩될 수 있다. 예를 들어, DRAM(1600)에는 본 발명의 실시 예에 따른 상황 재연 모듈(1610)이 로딩될 수 있다.

DRAM(1600)에 로딩된 상황 재연 모듈(1610)은 애플리케이션 프로세서(1100)에 의해 구동될 수 있다. 비록 예시 적으로 DRAM이 사용되는 것으로 도시되었으나, 이에 한정되지 않으며, 상황 재연 모듈(1610)이 로딩되어 애플리 케이션 프로세서(1100)에 의해 구동될 수 있는 다양한 메모리 장치가 사용될 수 있다.

AHRS (Attitude Heading Reference System)(1700)는 상황 재연 모듈(1610)을 구동하는데 필용한 다양한 데이터 [0103]

를 수집하거나 측정하는 장치들을 포함할 수 있다. 예를 들어, AHRS(1700)는 GPS 모듈(1710), 자이로 센서 (1720), 지자기 센서(1730), 및 가속도계(1740)를 포함할 수 있다. GPS 모듈(1710)에 의해 측정된 촬영 위치의 좌표는 피사체를 촬영한 이미지 파일에 태깅되어, 촬영 당시의 상황을 재연하는데 이용될 수 있다. 자이로 센서 (1720)에 의해 측정된 데이터는 사용자가 모바일 장치(1000)의 각도를 조절하여 촬영 당시의 상황을 재연하는데 이용될 수 있다. 지자기 센서(1730)에 의해 측정된 촬영 방향은 피사체를 촬영한 이미지 파일에 태깅되어, 촬영 당시의 상황을 재연하는데 이용될 수 있다.

적외선 센서(1800)는 카메라 모듈(1310)의 오토-포커싱(auto-focusing) 기능을 수행하는데 이용될 수 있다. 즉, [0104]

적외선을 피사체로 발사한 후 반사되어 돌아오는 시간을 측정하여 촛점을 맞추는 오토-포커싱 기능을 이용하면 촬영 장소와 피사체 사이의 거리를 개략적으로 측정할 수 있다. 측정된 거리는 피사체를 촬영한 이미지 파일에 태깅되어, 촬영 당시의 상황을 재연하는데 이용될 수 있다.

본 발명의 범위 또는 기술적 사상을 벗어나지 않고 본 발명의 구조가 다양하게 수정되거나 변경될 수 있음은 이 [0105]

분야에 숙련된 자들에게 자명하다. 상술한 내용을 고려하여 볼 때, 만약 본 발명의 수정 및 변경이 아래의 청구 항들 및 동등물의 범주 내에 속한다면, 본 발명이 이 발명의 변경 및 수정을 포함하는 것으로 여겨진다.

부호의 설명 100: 모바일 장치 [0106]

101: 라이브 뷰

102: 미리 촬영된 이미지 103: 안내 정보

1000: 모바일 장치

1100: 애플리케이션 프로세서 1200: 디스플레이부

1300: 이미지 처리부 1400: 데이터 스토리지 1500: 무선 송수신부 1600: DRAM

1700: AHRS 1800: 적외선 센서

(17)

도면 도면1

(18)

도면2

도면3

(19)

도면4

(20)

도면5

(21)

도면6

도면7

(22)

도면8

도면9

(23)

도면10

(24)

도면11

도면12

(25)

도면13