R&D연구결과보고서

정보통신·방송 기술개발사업

다양한 각도의 2차원 X-ray 영상과 3차원 CT영상 기반 실시간 제품 결함분석 및 역설계 지원 SW개발

주관기관 ㈜ 쓰리디산업영상

미 래 창 조 과 학 부

참여연구기관 / 한국생산기술연구원 서울대학교

숭실대학교 (주)자비스

보고서 요약서

과제고유번호 R01011501130 001002

해당 단계 연구 기간

2015.9.1.~

2016.8.31. 단계구분 3단계 / 3단계

연구사업명

사업명 정보통신·방송 기술개발사업

세부사업명 SW컴퓨팅산업원천기술개발

연구과제명

대과제명

세부과제명 다양한 각도의 2차원 X-ray 영상과 3차원 CT 영상 기반 실시간 제품 결함 분석 및 역설계 지원 SW 개발

총괄책임자 김규년

해당단계 참여 연구원 수

총: 55 명 내부: 55 명 외부: 0 명

해당단계 연구개발비

(천원)

정부: 1,200,000 민간: 400,000

계: 1,600,000

총 연구기간 참여 연구원 수

총: 55 명 내부: 55 명 외부: 0 명

총 연구개발비

정부: 3,600,000 민간: 1,200,000

계: 4,800,000

연구기관명 및 소속 부서명

주관기업명:

㈜ 쓰리디산업영상

참여기업명:

한국생산기술연구원 서울대학교

숭실대학교 (주)자비스

<요약서>

o 중첩된 부품 레이어 분리 기능을 지원하는 2차원 X-ray 영 상 기반 고정밀 (레이어 분리 정확도 95%이상) 제품 결함(내 부 기포, 크랙 및 부품 이상 유무) 검사 SW 개발

o 다중 각도 촬영 2D X-ray 영상과 3D CT영상 기반 고정밀 (기포 및 부품 검사 정확도 95%) 실시간 (결함 위치 중첩 가 시화 15fps 이상) 결함 검사 SW 개발

o 3차원 X-ray 영상 기반 역설계 지원 SW 개발 o 기술개발 최종산출물

- 2D X-ray 기반 초고속 검사 소프트웨어 (SW)

- 다중 2D/3D CT영상 기반 실시간 결함 검사 소프트웨어 (SW)

- 3D X-ray 영상 기반 역설계 지원 소프트웨어 (SW)

보고서 면수

99 페이지

연구개발사업 주요 연구성과

성과지표 세부지표 성 과 비 고

사업화 성과

매출액

개발제품 개발후 현재까지 15 억원

향후 3년간 매출 75 억원

관련제품 개발후 현재까지 억원

향후 3년간 매출 억원

시장 점유율

개발제품

개발후 현재까지 국내 : 15 % 국외 : 1 %

향후 3년간 매출 국내 : 43 % 국외 : 4 %

관련제품

개발후 현재까지 국내 : % 국외 : %

향후 3년간 매출 국내 : % 국외 : % 세계시장

경쟁력 순위

현재 제품 세계시장 경쟁력 순위 5 위

3년 후 제품 세계 시장경쟁력 순위 3 위

기술적 성과

특허

국내 출원 3 건

등록 1 건

국외 출원 1 건

등록 - 건

논문발표 국내 4 건

국외 11 건

파급효과

고용효과 개발 전 2 명

개발 후 6 명

선진국 대비 기술수준 95 %

국산화율 100 %

기타 표준 제개정, 기술이전 및 수상실적 등 7

국문 요약문

연구의 목적 및 내용

■ W1: 2D 실시간 검사 소프트웨어의 성능 향상을 이룩하여 세계최고 수준의 PCB 검사 SW를 제작 한다.

▶ 단순 2D xray 영상의 단점인 비균질 배경영상 극복

▶ 적층 PCB 및 적층 반도체의 배면 검사를 위한 2D 영상의 layer devision ▶ 다중 에너지를 이용한 2D 검사의 성능 향상

▶ 응용분야: 다층 검사가 필요한 적층 PCB Board

■ W2: CT 촬영시간으로 말미암아 전수검사가 불가능한 제품 검사를 위하여 부분 다중 촬영 2D 영상을 활용하여 실시간, 전수검사가 가능하도록 한다.

▶ 기포 결함 존재 부품에 대해 검사 정확도 및 속도 향상 ▶ 부품 누락 존재 제품에 대해 검사 정확도 및 속도 향상

▶ 다중 x-ray 영상간 결함 매칭 정확도 및 3차원 깊이 정보 정확도 향상

■ W3: 기존에 개발된 3차원 CT 영상 가시화 도구인 VX3D에 역설계 기능을 추 가하여 VX3D output 이 RP machine 의 input으로 이용가능하게 한다.

▶ 3차원 영상에서의 부품 분리 및 정합 기술 ▶ Mesh Extraction & Simplification 기술 ▶ Actual/Nominal Comparison 기술 ▶ 해석 시뮬레이션 결과의 가시화 기술

연구개발성과

■ 산업용 X-Ray 시장의 요구는 제품의 생산 속도와 정밀화 수준 향상에 따라 초고 속, 초정밀, 실시간 처리를 요구하는 분야에서부터 역설계 영역에 이르기까지 그 스펙 트럼이 매우 넓은 특성이 있음

■ 본 사업에서 달성하고자 하는 기술․제품은 다음과 같은 영역을 다룰 예정임 ▶ W1: 텍타임이 아주 짧은 제품(예를 들면 반도체 PCB)의 결함 검사를 위한 2차원 X-ray 영상 기반 초고속 제품 검사 SW

▶ W2: CT 영상으로 검사가 불가능할 정도의 텍타임을 갖는 제품(주로 자동차 부품, 국방 부품 등)의 결함검사를 위하여 CT 영상을 reference 로 하고 다중 2D 영상을 확보하여 실시간 전수 검사가 가능하게 하는 SW

▶ W3: 3차원 CT 영상을 이용하여 제품의 내부 부품들을 분리하고 각 부품을 역설계 할 수 있도록 도움을 주는 역설계 지원 SW

연구개발성과의 활용계획 (기대효과)

■ W1: (주) 자비스, (주)쎄크 등의 국내 제조사의 PCB 검사 시스템에 본 SW 탑재후 판매

■ W2: (주)덕인, DNDT(단동, 중국) 등의 제조사의 휠 검사 장비에 탑재후 판매

■ W3: 당사의 VX3D 제품에 본 개발 기술 탑재 후 판매, 판매처는 자비스, 쎄크 등 국내 Xray 장비 제조사, 일본 도시바, 야마하 모터 등

핵심어

(5개 이내) 엑스레이 CT 중첩 레이어

영상 비균질 배경 역공학

영문 요약문

Purpose &

Contents

■ W1: Develope the world leading X-ray automated PCB inspection SW ▶ Overcome inhomogeneous background of X-ray images

▶ Layer division or segmentation for inspecting double-sided PCB and stacked semiconductor

▶ Inspection using multiplex energy

▶ Field of application: Stacked PCB or multi-layered components

■ W2: Develope 2.5D real-time automated X-ray inspection SW ▶ Increase the performance of void inspection

▶ Increase the performance of component inspection

▶ Increase the accuracy of registration using multiple X-ray scans in various angles

■ W3: Develop reverse engineering support SW

▶ Segmentation, registration and stitching of 3D data ▶ Mesh Extraction & Simplification feature

▶ Actual/Nominal Comparison feature

▶ Visualization and analysis of simulated data

Results

■ The outcome of this project will be following:

▶W1: 2D Real-time automated X-ray PCB inspection SW

▶W2: 2.5D Real-time automated X-ray inspection SW for automobile components

▶W3: Reverse engineering support SW by using 3D CT data

Expected Contribution

n W1: The product will be sold as an embedded solution of the PCB inspection system.

n W2: The product will be sold to the X-ray die-casting inspection system manufacturers like Dukin, DNDT (Dandong, China)

n W3: This technology will be equipped as an add-on of VX3D, which is the 3D CT visualization platform SW of 3DII.

Keywords X-ray CT Multi layered image

Inhomogeneous background

Reverse

engineering

〈 본 문 목 차 〉

1. 연구개발과제의 개요 ··· 7

2. 국내외 기술 개발 현황 ··· 9

3. 연구 수행 내용 및 성과 ··· 10

4. 목표 달성도 및 관련 분야 기여도 ··· 81

5. 연구개발성과의 사업화 계획 ··· 92

6. 연구 과정에서 수집한 해외 과학기술 정보 ··· 94

7. 연구개발성과의 보안등급 ··· 94

8. 국가과학기술종합정보시스템에 등록한 연구시설·장비 현황 ··· 95

9. 연구개발과제 수행에 따른 연구실 등의 안전 조치 이행 실적 ··· 96

10. 연구개발과제의 대표적 연구 실적 ··· 97

11. 기타 사항 ··· 98

12. 참고 문헌 ··· 98

제1장. 연구개발과제의 개요

1. 연구개발 목적

n 텍타임이 아주 짧은 제품(반도체 PCB등)의 결함 검사를 위한 2차원 X-ray 영상 기 반 초고속 제품 검사 S/W 개발

n CT 영상으로 검사가 불가능할 정도의 텍타임을 갖는 제품(주로 자동차 부품, 국방 부 품 등)의 검사를 위하여 CT 영상을 reference로 하고 다중 2D 영상을 확보하여 결 함을 분석하는 기술 개발

n 3차원 CT 영상을 이용하여 제품의 내부 부품들을 분리하고 각 부품을 역설계 할 수 있도록 도움을 주는 역설계 지원용 분석 S/W 및 메시 에디터 개발

2. 연구개발의 필요성

n 산업용 X-Ray 시장의 요구는 제품의 생산 속도와 정밀화 수준 향상에 따라 초고속, 초정밀, 실시간 처리를 요구하는 분야에서부터 역설계 영역에 이르기까지 그 스펙트 럼이 매우 넓은 특성이 있음

n 산업용 부품의 제조공정에는 기포, 크랙, 납땜이상, 부품누락 등의 결함이 발생하고 이를 검사해야할 필요가 있음. 현재 널리 사용되는 결함검사방법에는 접촉식검사, 비 젼검사, X-ray 검사방법이 있고, X-ray 검사는 다시 2D 엑스레이, 3D CT 등을 이 용하는 방법이 있으나 내부를 검사할 수 있는 방법은 X-ray 밖에 없음.

n 2D X-ray 검사의 단점은 내부가 중첩되어 나타나는 문제가 있고, 3D CT 검사는 긴 촬영시간과 고비용이 든다는 한계가 존재함.

n 본 과제에서는 이러한 한계를 극복하기 위해, 2D X-ray 영상에서 중첩된 레이어를 분리해내고, 다양한 각도에서 촬영된 2D X-ray 영상들과 3D CT영상을 활용한 실시 간 결함 검사 기술을 개발하고자 함

3. 연구개발 범위

W1. 2차원 X-ray 영상 기반 초고속 제품 검사 S/W n 비균질 배경 영상 보정

n 템플릿 기반 물체 인식 n 결함 및 부품 누락 검사

n 2D 영상 결함 분석 통합 플랫폼 개발

W2. CT 영상을 레퍼런스로 한 다중 2D 영상기반 검사 S/W n 2D 및 3D 영상 기반 artifact 최소화

n 2D 투영 영상 시뮬레이션

n 다중 2D 영상 결함 매칭 및 3D Depth 추정 n 다중 2D 및 3D 영상의 중첩 가시화 기술 개발 n 다중 2D 및 3D 영상 정합 기술

n 2.5D 영상 결함 분석 통합 플랫폼 개발

W3. 3차원 CT 영상을 이용한 내부 부품 분리 및 각 부품의 역설계를 위한 지원 S/W n 부품 별 분할 기술

n 역공학용 고품질, 고정밀 CAD 데이터 추출

n 2D X-ray 데이터를 이용한 3차원 primitive 및 곡면 보정 n 3D 스캔 데이터를 이용한 곡면 보정

n Laser scan 데이터와 2D X-ray 촬영 데이터의 전처리

n Laser scan 데이터와 2D X-ray 촬영 데이터를 이용한 3차원 곡면 메시 보정 n 메시 추출 결과 보정을 위한 사용자 에디터 개발

n 메시 표면의 세부적인 수정을 위한 사용자 에디터 개발 n 기하 대칭 및 반복 패턴 인식 기술

n CAE 기술 융합을 위한 시뮬레이션 융합 플랫폼 구축 기술 개발 n 촬영 위치 최적화 및 팬텀 제작을 통한 검증 기술 개발

n 3차원 CT 데이터를 이용한 고품질 FEM mesh 생성 기술 n 개발 모듈 3차원 가시화 툴로 통합

제2장. 국내외 기술 개발 현황

1. 국내 기술 동향 및 수준

n (주)쓰리디산업영상은 3차원 CT 영상 가시화 SW 플랫폼인 VX3D, 2차원 영상 결함 판정 SW 플랫폼인 HADI 등을 개발하여 국내외 X-ray 제조업체에게 제품 및 기술을 공급하고 있다.

n 서울대학교 그래픽스 연구실은 NVidia사에서 개발한 고성능/저가 GPU를 이용하여 볼륨재구성, 볼륨가시화, 영상처리 기술의 가속화에 대한 연구도 활발히 진행하여, 상 업용 CT 시스템에 개발기술을 이전하였다.

n 서울대학교 정보기술연구실에서는 추출된 여러 3차원 메쉬들을 하나의 메쉬로 registration하는 기술에 있어 미국의 Stanford 대학교의 기술을 개선한 세계적 수준 의 기술을 확보하고 있다.

n 국내 산업용 CT 제조업체로는 (주)쎄크, (주)자비스, (주)테크밸리, (주)덕인, (주)엑서 스 등이 있지만 SW 기술은 취약한 상태이다.

2. 국외 기술 동향 및 수준

n Yxlon(독일)사는 Y.HDR 기술을 이용하여 타사에 비해 차별적으로 높은 해상력의 X-ray 영상을 기술을 보유하고 있다.

n Matrix(독일)사는 영상차감 또는 영상재구성 알고리즘을 이용한 양면 PCB Inline 자 동 검사 장비 시스템을 만들며 세계 PCB 검사 시장을 선도하고 있다.

n Volume Graphics(독일)은 CT 영상재구성에서부터 가시화 분석, 각종 산업용 CT검 사 SW를 보유하고 있으며, 특히 치수 분석(Metrology) 분야에서는 세계 최고의 기술 을 보유하고 있다.

n 자동차 부품 검사 시장에서 Yxlon(독일), Bosello(이탈리아), NSI(미국), GE(미국) 등 의 장비 생산 업체 등이 하드웨어 및 소프트웨어의 축적된 기술로 X-ray 인라인 검 사 장비 시스템을 선점하고 있다.

n CT데이터로부터 CAD 데이터 추출 기술을 보유한 해외 기업은 Volume Graphics(독 일), Simpleware(영국), FEI(스위스) 등이 있다.

n 최근에는 X-ray영상에서 중첩 면, 밀도가 다른 두 물체를 구분하기 위해 Dual Energy, Phase Contrast 등의 기술의 상용화 시도가 활발하다.

제3장. 연구 수행 내용 및 성과

W1. 2차원 X-ray 영상 기반 초고속 제품 검사 S/W

n 비균질 배경 영상 보정

Ÿ Rolling ball 기반 영상 보정 기술 개발

- 2D X-ray 영상을 smoothing 처리한 후, 입력한 반지름으로 ball 커널을 생성 - 이미지와 ball 표면의 최소 거리를 계산한 후, 각 픽셀의 밀도 값을 “최소 거리

+ ball 표면 값”으로 대체

- 전체 이미지 영역을 균질화하고 ball 반지름 보다 작은 반지름을 갖는 물체를 강 조시킴으로써, 비균질 배경을 분리

그림 2 비균질 배경 보정을 위한 Rolling ball 기반 알고리즘

그림 3 비균질 보정 후 결함 검출 결과

Image Size BG Correction Time

168 x 168 11.7 ms

256 x 256 26.1 ms

512 x 512 105.6 ms

표 1 이미지 크기별 연산 시간(평균 성능 = 2450 pixels / ms)

Ÿ 성능은 이미지 크기에 영향을 받으며, 결함 세분화 application에서 98%의 정확도 를 보임.

Ÿ 나머지 2%는 수행자의 edge 결정이 원인이 됨.

n 템플릿 기반 물체 인식

Ÿ 변형가능한 Object fitting 알고리즘 개발

- PCB기판의 X-Ray 이미지 안에서 각 칩셋 클래스는 비슷한 형태와 밀도를 가짐 - Template에 근거한 매칭 기술은 저장된 참조 이미지(칩셋 이미지)에 따라 비슷

한 형태의 칩셋 자동 탐지에 적용 될 수 있음.

- 슬라이딩 접근은 대상 이미지에 적용

- 각 픽셀에 대하여 참조 이미지와 같은 이미지 patch를 생성하고 patch를 한 번 에 한 픽셀 옮김.

- 다수의 칩셋들을 탐지하려면, 동적인 patch 크기가 각 픽셀에 대해 선택 됨. 따 라서 일련의 행렬들이 각 픽셀에 대한 결과 비교와 계산을 위해 유지 됨.

- 또한 참조 이미지를 위한 유사 행렬이 요구됨.

그림 3 Template based Object detection

Ÿ 물체 세분화나 물체의 정확한 면적을 계산하기 위해 물체의 경계선 fitting은 매우 중요한 과정임. 물체의 경계선 탐지 정확도가 증가하면서 소요 시간이 크게 줄어 듦. 대강의 물체 형상을 세분화하기 위해 Thresholding 기술을 사용한 후, 외곽선 주요점들을 추정함. 이미지 내 외곽선은 연속적으로 연결된 점으로 표현되므로 외 곽선을 나타내는데 주요한 점들을 선택하여 점의 개수를 줄임.

그림 5 슬라이딩 접근을 사용한 대상 이미지 내 참조 이미지 탐지

Ÿ 칩셋의 위치를 자동으로 탐지하는 것은 Template 매칭의 소요 시간과 복잡도를 줄이기 위한 필수적인 과정임.

Ÿ

n 결함 및 부품 누락 검사

Ÿ 기포 및 크랙 결함 검사 기술 개발

그림 6 가느다란 형상의 내부 크랙 검출 결과 – 촬영각도 0도

Ÿ 가는 형태의 크랙 결함 검출 정확도 향상을 위해 crack enhance filter를 적용하 여, 여러 방향에서 촬영된 2D X-ray 영상에서 크랙 결함 형상을 효과적으로 검출 하는 크랙 결함 검출 모듈을 개발함.

그림 7 비균질 배경 상황에서의 기공 결함 검출 결과

Ÿ 기포 결함 검출을 위해 Rolling ball 필터 등을 적용하여 비균질 배경 성분을 먼저 추출한 후 이를 보정한 뒤에 결함 검출을 수행하여, 배경 부분이 균일하지 않은 경 우에도 보다 정확한 기공 검출 결과를 얻음.

Ÿ Crack enhance filter 및 비균질 배경 보정 등의 연산을 GPU (Graphics Processing Unit) 병렬 처리를 이용하여 가속함으로써, 2D X-ray 한 장당 검사 속도를 0.5초 이내로 감소시킴.

Ÿ 영상 유사도 기반 부품 누락 검사 기술 개발

그림 8 정상 상태 템플릿 영상

그림 9 부품 누락 검출 결과 영상

Ÿ 부품이 누락되지 않은 정상 상태의 x-ray 촬영 영상을 기준 영상(템플릿)으로 사 용하여, 검사 대상 x-ray 영상의 부품 누락 여부를 검사함.

Ÿ 영상 밝기 차이 변화에도 균일한 검사결과를 위해, 템플릿 영상과 검사 대상 영상 부위의 유사도를 NCC (Normalized Cross Correlation)을 이용하여 측정하여, 그 값이 지정된 수치보다 낮으면 부품 누락으로 판정하며, 부품이 존재하는 위치나 방 향이 허용 오차 내에서 달라질 수 있는 경우에도 정확한 누락 검사가 이루어지도 록 위치의 주변을 모두 검사하여 NCC 매칭을 수행하여 검사 정확도를 높임.

Ÿ 부품 누락 검사를 위한 NCC 유사도 검사 과정을 GPU 가속이 가능하도록 병렬화

n 중첩 영상 레이어 분리

그림 10 단면 및 양면 실장 기판의 X-ray 영상

Ÿ 공정상에서 먼저 단면에 칩셋들이 장착된 후 단면 실장 영상을 촬영하고, 다른 면 에 나머지 칩셋을 장착한 후 양면 실장 영상을 촬영

Ÿ 두 이미지를 정합 후 차감하는 방식으로 레이어 분리를 실현

Ÿ 레이어 차이로 인한 밝기 값 차이를 고려한 고속 영상 정합 알고리즘을 구현

Ÿ 공정이 진행되면서 높은 온도로 인해 단면 영상과 양면 영상의 납땜 형상에 차이 가 생기는 문제가 있으나, 일반적인 칩셋 검사를 위한 영상 처리에는 큰 영향을 미 치지 않음.

그림 11 양면 기판 영상 검사 전체 과정

Ÿ 개발 기술의 성능을 평가하기 위해 다음의 데이터셋으로 실험을 수행해 분리된 레 이어별 영상을 획득

Data Resolution Ed+Es Ea&Es Accuracy Time Data1 1452x1000 953403 91876 90.4% 2.4s Data2 1452x1000 10482767 97558 90.7% 2.6s Data3 1452x1000 1102975 99141 91.1% 2.7s Data4 1452x1000 984980 90400 90.9% 2.4s Data5 1452x1000 1004161 92502 90.8% 2.5s

표 2 영상처리 기반 레이어 분리 실험을 위한 데이터셋 명세

그림 12 영상 정합 및 차감을 이용한 레이어 분리 결과

n 학습 기반 결함 검출 및 판정

Ÿ R, L, C 칩의 구분을 위한 2-단계 인공신경망 기반 학습 및 예측 기법 개발

- 현재의 X-ray 기반 결함 검사를 위한 트레이닝 단계는, 사용자가 먼저 눈으로 침들의 차이를 살펴보고 ROI와 파라미터 들을 설정한 후, 이를 새로운 이미지들 에 적용하며 조정하는 절차로 진행

- 사용자의 작업 부하를 줄이기 위해, RLC와 같은 표준적인 칩셋들에 대해 자동으 로 학습을 수행하기 위한 인공신경망 기반 기법을 구현

그림 13 R, L, C 칩의 X-ray 영상

- R, L, C 칩은 서로 매우 유사한 형태이며, 모양도 단순하므로 기존의 패턴 인식 기법에서 사용되는 일반적인 특징점 기반 방식으로는 세 칩을 구분하기 어려움.

- 세 칩의 구분을 위해 2단계 학습 프레임워크를 설계

- 첫 단계에서는 형상 및 텍스쳐 정보를 이용한 트레이닝을 수행, R칩의 특징 공 간을 분리

- 두 번째 단계에서는 영상에 웨이블릿 변환을 이용, 유사도가 높은 L칩과 C칩의 차이를 크게 만든 후 트레이닝을 수행

그림 14 R, L, C칩 구분을 위한 2단계 특징 학습 과정

- 예측 단계에서는 첫 번째 단계에서 R칩과 L/C칩이 구분되며, 이 중 L/C칩으로 분류된 영상들을 다시 두 번째 단계의 입력으로 이용

그림 15 2단계 프레임워크를 이용한 칩셋 예측

Ÿ 다음 조건 하에서 성능 평가를 수행

- 100x160 해상도의 R/L/C 칩 영상 각 100장씩 총 300장을 positive image로 입력

- 같은 해상도의 무작위 ROI 영상을 negative image로 입력 - 학습 소요시간 : 1단계 140초, 2단계 120초

- 384개의 R, 192개의 C, 288개의 L칩이 포함된 96장의 영상에 대해 성능 시험 을 수행하여 평균 95.3%의 정확도를 보임 (표 3).

ANN Frame- work

R-Chip L-Chip C-Chip

Trainin

g Test Total Trainin

g Test Total Training Test Total

One Layer

99/100 99%

371/384 96.6%

470/484 97.1%

91/100 91%

256/288 88.9%

347/388 89.4%

93/100 93%

172/192 89.6%

265/292 90.8%

Two Layers

99/100 99%

371/384 96.6%

470/484 97.1%

96/100 96%

265/288 92.0%

361/388 93.4%

99/100 99%

180/192 93.8%

279/292 95.5%

표 3 학습 기반 인식 성능 평가 결과

W2. CT 영상을 레퍼런스로 한 다중 2D 영상기반 검사 S/W

n 2D 및 3D 영상 기반 artifact 최소화

Ÿ Beam hardening 효과의 최소화 및 보정 기술 개발

그림 16 Beam hardening 보정 함수

- X-ray 투과에 따른 크기 감쇄도를 분석하여 이로부터 beam hardening 보정 함 수를 설계한 후, 이를 CT 재구성 시 투영 영상에 적용하여 수행함.

- CT 재구성을 위한 알고리즘으로는 FDK 재구성 알고리즘을 사용함.

그림 17 beam hardening 보정 전과 후 영상 비교 결과

- 단일 재질의 내부에서 불균일한 밀도 값을 갖는 beam hardening artifact가 저 감됨.

- Beam hardening artifact로 인한 단일 재질의 불균일함이 저감됨으로써, 3차원 CT 영상의 참조 영상으로서의 신뢰도가 향상됨.

Ÿ Ring artifact 보정을 위한 영상 후처리 기술 개발

- CT 영상의 단면을 극좌표계로 변환한 후, 선형으로 변한 ring artifact에 영상처 리를 수행하고 다시 직교좌표계로 영상을 복원함으로써 ring artifact를 저감

그림 18 극좌표계를 이용한 Ring artifact 보정

- CT 장비에서 탐지기의 불완전한 화소로 인해 발생하는 ring artifact를 저감시 킴으로써, CT 영상 분석 및 결함 검출의 효율을 향상시킴.

n 2D 투영 영상 시뮬레이션

그림 19 digitally reconstructed radiograph

Ÿ 의료영상처리에서 사용되는 DRR(digitally reconstructed radiograph) 기법을 활 용하여, 3D CT 영상으로부터 ray casting 기반 primary signal 시뮬레이션을 구 현하여 2D 투영 영상 시뮬레이션 기술을 개발

X-ray Projection CT Volume

X-ray Simulation

Reconstruction

Simulation

그림 20 3D CT 영상을 이용한 X-ray Simulation

Ÿ 실제 촬영된 투영 영상과의 비교를 통해, CT 영상의 단위 보정 가능

그림 21 3D CT 볼륨과 (좌) 그로부터 생성된 X-ray 영상 (우)

Ÿ 3D CT 영상으로부터의 2D 투영 영상 시뮬레이션 기술을 통해, 미리 주어진 무결 제품에 대한 3D CT 영상을 활용하여 주어진 촬영 조건에 의해 생성될 2D 투영 영상을 시뮬레이션으로 얻을 수 있음.

그림 22 step wedge 팬텀 x-ray 영상(좌)과 512³ CT데이터로부터 DRR 시뮬레이션된 영상(우)

Ÿ 개발된 DRR X-ray 시뮬레이션의 정확도를 평가하기 위하여, Step wedge 팬텀 (알루미늄 재질의 계단 형상 샘플)을 X-ray 및 CT 촬영하고 이를 CT reconstruction 하여 512x512x512 해상도의 16bit CT 볼륨 데이터를 획득

Ÿ 위 그림 좌측의 원 X-ray 영상과 시뮬레이션으로 얻어진 우측 영상을 정렬한 후, NCC (Normalized Cross Correlation)을 계산한 결과 95.918%의 높은 유사도 수 치를 확인할 수 있었음.

n 다중 2D 영상 결함 매칭 및 3D Depth 추정

Ÿ 3차원 CT 및 CAD 모델 정보를 이용한 검사 파라미터 설정 자동화 기술 개발 - 3차원 모델 공간 좌표 상 에서 설정해놓은 검사 대상 ROI 영역을 2D X-ray 영

상 촬영 좌표계로 투영하여, 2D X-ray 영상 내의 검사 영역 ROI를 자동으로 설 정하는 ROI 투영 모듈을 개발함. (3차원 큐빅 ROI → 2차원 사각형 ROI)

- X-ray 소스, 디텍터 및 촬영물체의 위치와 각도를 임의설정 가능한 X-ray 시뮬 레이션 프레임워크 개발 완료함. (1차년도에 서울대학교에서 개발된 2D 투영 영 상 시뮬레이션 모듈을 통합하여 X-ray 시뮬레이션 프레임워크를 개발함.)

- 3D GUI를 통해 X-ray 소스/디텍터 및 촬영 물체의 위치와 각도를 사용자가 임 의로 설정 가능하며, 설정된 임의의 X-ray 시뮬레이션 지오메트리 정보는 XML 포맷으로 저장되며, 이 XML과 3D CT 볼륨 데이터를 이용하여 원하는 각도의 X-ray 투영 영상을 획득 가능함.

- ROI 투영 모듈을 이용하여 결함이 없는 3차원 레퍼런스 CT 볼륨상의 검사 대상 영역을 3차원 ROI로 설정하고, 해당 부위만을 X-ray 시뮬레이션 프레임워크을 통해 시뮬레이션하여 2차원 무결함 영상을 생성해냄. 이렇게 생성된 2차원 무결 함 영상과 실제 검사 영상 (불량 유무 검사가 필요한 2D x-ray영상)의 해당 부 위 (투영된 2차원 ROI → 아래 그림의 사각형 부위)의 NCC 패턴 매칭 유사도를

그림 23 X-ray 시뮬레이션 프레임 워크

그림 24 무결함 X-ray 시뮬레이션 영상(우)과 정상 샘플 영상(좌)의 유사도 비교 : NCC 패턴 매칭 유사도 = 0.99

- 결함이 없는 정상 샘플의 경우, 무결함 시뮬레이션 영상과의 NCC 유사도 비교 결과 0.99의 높은 유사도를 보인 반면, 크랙 형상의 결함 존재 부위에 대해서는 0.83의 낮은 유사도를 보임.

그림 25 무결함 X-ray 시뮬레이션 영상(우)과 불량 샘플 영상(좌)의 유사도 비교 : NCC 패턴 매칭 유사도 = 0.83

- 위에 기술된 내용으로 2차년도 과제 수행기간에 국내 특허 1건 출원중임 (출원 일 : 2015년 6월 17일)

-

한 것이다.”

그림 26 특허 도면 9: ROI 투영 모듈을 이용한 부분 X-ray 시뮬레이션 과정

그림 27 특허 도면 10,11: NCC 유사도 비교를 통한 결함 판단 및 전체 검사 프로세스

Ÿ 다중 2D 영상 결함 매칭 및 3D depth 정보 추정 기술 개발

- 다중 2D 영상 (2시점) 간의 결함 매칭을 수행하여 최종적으로 결함으로 판정되 면, 다중 시점의 2D 영상으로부터 epipolar geometry를 구성하여 해당 결함의 3차원 깊이 정보(depth)를 획득하는 기술을 개발함.

그림 28 X-ray Stereo Geometry를 이용한 다중 2D 영상간 결함 매칭 및 깊이 정보 추정

- 각각의 X-ray 영상이 촬영된 위치와 방향 정보로부터 Stereo geometry를 구성 하고 각 영상에서 결함 검출을 수행한 후, 한 시점의 결함 검출 위치에 대해 대 응하는 다른 시점의 위치를 epipolar line을 계산을 통해 2차원 선분으로 한정하 면, 해당 선분에서 최적인 결함 위치를 NCC 매칭을 통해 검출 가능함. NCC 유 사도 매칭을 통해 두 시점 간에 매칭되는 결함 위치가 확인되면 linear triangulation을 수행하여 해당 결함의 3차원 깊이 값을 추정할 수 있음.

그림 29 Epipolar Line l’ 와 Linear Triangulation을 위한 행렬 구성을 위한 계산식

- 3차원 깊이 정보 추정의 정확도 평가를 위해, 칩 패키지상의 구형의 솔더볼 (Solder ball)이 촬영된 데이터를 이용하여 깊이 추정을 수행함.

그림 30 솔더볼 매칭으로부터 추정된 볼들의 3차원 위치 가시화 결과

그림 31 확대그림(솔더볼 적색구 가시화) 그림 32 확대그림 (솔더볼 상하 관계 확인)

- 두 시점에서 촬영된 칩 패키지 샘플 영상 각각에서 솔더볼 위치를 2차원 상에서 추정함 (사용자가 클릭한 솔더볼 위치를 circle fitting을 통해 refine 하여 중심 점을 구하는 반자동 방식으로 추정).

- 이렇게 추정된 두 시점 영상의 2차원 솔더볼 위치로부터, linear triangulation을 수행하여 솔더볼의 3차원 위치를 추정함 (위 그림에서 추정된 솔더볼 위치에 적 색구로 가시화).

- 4개의 솔더볼에 대해, 추정된 3차원 위치와 실측 위치와의 일치율을 계산한 결 과는 아래 표와 같음. 실측치는 3차원 CT볼륨 상에서 솔더볼을 레이블링한 후 그 중심좌표를 계산하여 구하였으며, 일치율(정확도)는 아래와 같이 계산됨.

3D Depth 정확도 = 100 - (실측치와의 오차 벡터 길이)/(솔더볼 지름) x 100 (%)

추정된 3차원 좌표 실측 3차원 좌표 (CT볼륨) 정확도 (%) Ball 1

78 Ball 2

91 Ball 3

83 Ball 4

94

표 4 3D Depth 추정 정확도 평가

n 다중 2D 및 3D 영상의 중첩 가시화 기술 개발

Ÿ 다중 2D 및 3D 오브젝트 지오메트리 중첩 가시화 모듈 개발

- 각 다중 2D X-ray 영상들의 촬영 기하 정보와 3D 오브젝트의 촬영 위치 정보 를 바탕으로 3차원 공간상에 중첩하여 가사화하는 모듈을 개발함.

- 다중 2D X-ray 영상들은 플레인 폴리곤에 텍스쳐 매핑하여 영상 표시하고, 3D 오브젝트는 폴리곤 렌더링을 통해 영상 표시

- 구형상의 와 라인을 이용하여, 각 다중 촬영 각도상의 X-ray 소스 위치와 FOV (Field-Of-View) 피라미드 형상을 가시화 함 (OpenGL 기반 실시간 가시화 구현).

그림 33 2D, 3D 간 결함 위치 정보 중첩 가시화

Ÿ 2D,3D간 결함 위치 정보 중첩 가시화 기능 개발

- 각 2D 투영 영상들에서 검출된 결함의 위치 정보를 토대로 해당 결함의 위치를 텍스쳐링된 X-ray 2D 플레인 상에 구형으로 가시화 함.

- 각각의 다중 촬영 지오메트리 별로, 결함 위치와 X-ray 소스를 잇는 라인을 가 시화한 후 이들의 교점을 구형 로 가시화 함.

- 직선간의 교점으로 나타나는 구형 의 위치는 해당 결함의 3차원 공간상의 추정 위치로, 이 위치를 3차원 오브젝트 뷰와 비교하여 해당 결함의 3차원적인 위치 및 각 다중 투영 영상으로 프로젝션 되었을때의 위치를 실시간으로 파악 가능함.

- 모든 중첩 가시화 기능들은 OpenGL 기반으로 구현되어, 사용자 인터렉션에 따 라 그 위치를 실시간으로 변경 가능하여, 과제 목표치 15fps를 상회하는 60fps 의 성능을 보임.

그림 34 2D, 3D 간 결함 위치 정보 중첩 가시화

n 다중 2D 및 3D 영상 정합 기술

Ÿ 부분 촬영된 3D CT 영상들 간의 정합 기술 개발

그림 35 부분 촬영된 두 3D CT 영상 및 관심 영역 입력 사용자 인터페이스

- 위 그림과 같이 정합의 대상이 되는 두 개의 부분 촬영된 3D CT 영상을 입력받 은 상태에서 그림의 녹색 상자의 크기 및 위치를 마우스를 사용하여 사용자가 조정하여 정합을 수행할 관심 영역을 입력받음.

그림 36 사용자가 지정한 관심 영역 내에서 Harrison Corner Detection 알고리즘으로 특징점을 추출한 모습

- 두 부분 촬영 3D CT 영상을 정합하기 위한 기준으로 사용하기 위한 특징점을 사용자가 지정한 관심 영역 내에서 Harrison Corner Detection 알고리즘을 사 용하여 추출함.

그림 37 최종 정합 결과를 바탕으로 두 부분 촬영 3D CT 영상을 재배치한 모습 및 확대 영상

- 특징점을 기반으로 하여 두 부분 촬영 3D CT 영상 간 초기 위치 변환 행렬을 구하고, 반복적 최적화 기법을 활용한 강체 정합 알고리즘으로 세부 정합을 수행 하여 최종 정합 결과를 도출함.

그림 38 다중 평면 가시화 (MPR) 인터페이스를 포함한 전체 사용자 인터페이스의 모습

- 기본적인 볼륨 렌더링 사용자 인터페이스 외의 다중 평면 가시화 (MPR) 인터페 이스를 추가하여 정합 결과를 보다 자세히 확인할 수 있도록 함.

- 사용자가 관심 영역을 지정하고 정합 수행 명령을 내린 후부터 결과가 나오기까 지 최대 15초 내로 수행하도록 알고리즘을 구현함.

Ÿ 영상 정합 기술 최적화

- 영상 정합 알고리즘 최적화

- 특징점 추출과 매칭의 병렬화, 특징점을 기반으로 최적의 변환 위치를 찾는 과정 의 병렬화 및 다단계 구조화로 속도를 향상시킴.

Ÿ 부분 촬영된 3D CT 영상 정합 기술 테스트

- 3차년도에 추가 확보한 데이터 및 2차년도에 확보했던 데이터를 이용하여 최적 화한 알고리즘의 정상 동작 및 성능을 테스트함.

- 세 데이터에 대하여 평균 동작시간 9.2초의 결과를 얻어 최종 목표 달성

그림 39 부분 촬영된 두 3D 영상 추가 데이터 세트의 정합 결과

W3. 3차원 CT 영상을 이용한 내부 부품 분리 및 각 부품의 역설 계를 위한 지원 SW

n 부품 별 분할 기술

Ÿ 부품 분할을 위한 잡음 제거

- 분할 알고리즘의 정확도 향상을 위해서 전처리 과정으로 실행함.

- 일반적인 잡음 제거 알고리즘은 잡음을 제거하는 동시에 edge의 선명도를 떨어 뜨림. Anisotropic diffusion filter (ADF)는 잡음을 제거하고 edge 정보와 각종 feature들은 보존하는 필터임. 아래의 왼쪽 영상은 원래 볼륨 영상이고 오른쪽 영상은 ADF를 사용해서 잡음을 제거한 영상임.

그림 40 ADF를 이용해 윤곽선 정보를 보존하면서 잡음을 제거한 영상

Ÿ 모폴로지 연산자와 연결 성분 라벨링 기술 개발

- 템플릿 매칭 알고리즘에서 매칭할 후보 영역을 선정하기 위해서 모폴로지 연산 자와 연결 성분 라벨링 기술을 개발

- 정확한 연결 성분 라벨링을 하기 위해 3D 모폴로지 기술을 개발함. 침식과 팽창 연산으로 물체의 크기를 조절하고 물체 간의 연경 관계를 변형함.

- 연결 성분을 분석하여 각 오브젝트에 라벨을 지정하여 오브젝트 별로 구분함.

- 아래 왼쪽 영상을 임계값 처리 결과, 가운데 영상은 침식 연산자를 사용한 결과 이고 오른쪽 영상은 연결 성분 라벨링 알고리즘을 적용한 결과임. 색깔 별로 연 결 성분을 구분하였음.

그림 41 침식 연산자를 적용한 결과와 연결 성분 라벨링 알고리즘을 적용한 결과

Ÿ 3D 템플릿 매칭 기술 개발

- 위의 그림은 미리 촬영된 3D 템플릿 부품을 surface rendering 하여 보여준 영 상임.

- 사용자가 분할을 원하는 부품을 클릭하면 위의 3D 강체 정합 알고리즘을 통해서 최적 템플릿을 선택해서 정합 매트릭스를 통해 분할을 함.

- 유사도 측정은 템플릿과 실제 입력 볼륨이 노이즈 등의 이유로 다른 밝기 값 분 포를 가질 수 있으므로 Normalized Cross Correlation (NCC)를 사용하였고 최 적화 기법은 속도와 사용자 조작을 통해 ROI가 한정되어 있다는 장점을 이용하 여 Powell Method를 사용함.

- 입력 CT 볼륨에 사용자 조작으로 분할하고자 하는 부품을 선택 시 부품 수를 기준으로 90%의 분할 정확도를 보임.

- 아래 그림은 분할된 결과 영상임.

그림 42 3D 템플릿 부품들

그림 43 3D 템플릿 매칭을 통해 분할된 결과를 단면으로 보여준 영상

n 역공학용 고품질, 고정밀 CAD 데이터 추출

Ÿ 3D CT 데이터로부터 level set method를 이용하여 3차원 primitive 추출

Ÿ 3D CT 데이터로부터 표면곡면을 나타내는 level set 함수 C를 구성하고, 이를 최 소화하는 implicit function을 가상으로 구성

min   



 _{  }   _{}  ^  



 _{  }   _{  }  ^

그림 44 2차 intensity map에서 level set 가상함수 C를 구성하는 방법

Ÿ 대략적인 형상의 위치와 primitive가 종류가 정의되어 있을 때 사용가능한 방법과 자유 형상에 대하여 사용 가능한 방법, 두 가지 기능을 구현

Ÿ Primitive 종류가 정의되어 있을 때의 방법은 LSM으로 구성된 가상 함수 C를 사

Ÿ 기존 LSM 방법과 달리 segmentation map을 구성하지 않으며, LSM으로 구성된 가상 함수 C를 직접 primitive 함수로 생성함.

Ÿ Segmentation map을 구성하지 않기 때문에, 기존 LSM 방법에 비해 연산 속도 및 메모리 소모량을 크게 개선함.

Ÿ 생성된 primitive 함수를 지정된 primitive 메시 생성 모듈을 이용하여 메시를 생 성함.

Ÿ Test case(64*64*64)에 대하여 수행 환경에서 평균적으로 약 0.9~1.2초 걸림. 이 는 거의 실제 제품에 적용되어도 크게 무리가 없는 연산 속도임.

Ÿ 기존 방법의 연산 속도에 비하여 약 45배(자체 보유 기존 LSM 모듈 45초 가량) 개선됨.

Ÿ Primitive 종류가 정의되어 있지 않을 때의 방법은 LSM으로 구성된 가상 함수 C 를 이용하여 segmentation map을 구성하고 이를 triangulation하여 mesh를 구성 함.

Ÿ Triangulation과정은 greedy triangulation 알고리즘을 사용함.

Ÿ 기존 LSM 방법과 달리 level set 함수 최적화 과정에서 voxel 전수 검사를 통해 목적함수를 계산하는 것이 아니라 가상함수 C에 인접한 voxel에 대해서만 목적함 수를 계산함.

Ÿ 가상 함수에 인접한 voxel만 검사하기 때문에 최적화 과정당 목적함수 연산 시간 이 감소하며, 부가적인 효과로 최적화 과정의 convergence가 증가하여 연산속도 가 크게 개선됨.

Ÿ Test case(64*64*64)에 대하여 수행 환경에서 평균적으로 약 1.1~1.9초 걸림. 이 는 거의 실제 제품에 적용되어도 크게 무리가 없는 연산 속도임.

Ÿ 기존 방법의 연산 속도에 비하여 약 35배(자체 보유 기존 LSM 모듈 45초 가량) 개선됨.

그림 45 Implicit function(primitive type)이 사전에 정의 되어 있는 경우 primitive 및 mesh 추출 결과

n 3차원 Primitive 곡면 보정

Ÿ MPA(Moving Parabolic Approximation)을 이용한 Laser scan 데이터의 noise 제거 및 곡면의 미분 기하 성질 추출 모듈을 개발함.

Ÿ MPA 방법은 주어진 점군의 특정 위치 주위의 국소 점군의 2차 형상을 근사하는 알고리즘임.

Ÿ MPA를 사용하면 국소 위치의 미분 기하 성질을 2차까지 구할 수 있음.

그림 46 Moving parabolic approximation의 2차 형상 근사 과정 및 수식

Ÿ MPA와 같이 미분 기하 성질을 구하는 기존 방법으로는 MLS(Moving Least Squares) 방법이 있음.

Ÿ MLS 방법은 점군의 국소 위치를 근사하는 기준 평면 근사, 기준 평면을 중심으로 국소 점군을 근사하는 근사 형상 근사하는 두 번의 최적화 과정을 거침.

Ÿ MPA 방법은 MLS의 두 과정을 하나로 통합함으로써, 기존 방법에 비해 연산 속도 와 정확도를 크게 개선함.

Ÿ Point cloud 정보로부터 MPA 방법을 사용하여 형상에 근사한 참조점을 구함.

Ÿ 참조점은 random하게 샘플링 된, 근사 형상으로부터 지정된 거리만큼 떨어진 점임.

그림 47 구 데이터에 대한 참조점 추출 결과

Ÿ 추출된 참조점으로부터 least square fitting을 수행하여 CT영상으로 추출된 primitive를 보정

Ÿ CT로부터의 primitive 추출은 개발된 LSM 모듈(primitive가 제공된 방법)을 이용

그림 48 구 데이터에 대하여 보정한 결과

n 2D X-ray 데이터를 이용한 3차원 primitive 및 곡면 보정

Ÿ 2D X-ray 영상을 이용하여 CT로부터 얻은 marching cube 메시를 보정

- 2D X-ray 영상에서 경계가 비교적 명확한 부분에 대해 참조점을 추출 이를 이 용하여 CT mesh의 정점들을 참조점을 이은 곡선에 근접하도록 이동시키는 방 법으로 보정

그림 49 X-ray 이용 3차원 primitive 및 곡면 보정 수행 단계

- X-ray영상에서 나타나는 비교적 명확하게 나타나는 경계선에 대해서만 추출하여 참조점 추출

- X-ray영상의 경계를 Canny filter를 이용하여 추출한 후, 그 값이 특별히 큰 정 점들만 추출함

- Canny filter로 추출된 결과와 원본 이미지를 tensor product하여 boundary ribbon 추출

- MPA(Moving Parabolic Approximation)를 통해 iso-value에 해당하는 reference point를 구함.

그림 50 MPA를 이용하여 참조점 추출 과정

그림 51 팬텀의 X-ray 영상(좌)과 참조점 추출 결과(우)

- X-ray영상과 CT mesh의 alignment는 사용자가 벡터 형식으로 입력한다고 가정 - 보정 결과는 설계에 사용된 CAD 파일과 보정 결과 메시를 비교하는 것으로 수행함.

- 설계 CAD파일에서 추출된 STL file에 정점 개수를 약 55000개 가량으로 늘림.

- 보정 메시의 정점과 최소 거리를 갖는 CAD파일에서의 정점을 찾은 후, 두 정점 간의 거리가 threshold 보다 크면 오차점으로 판단

- 면적 오차율은 각 점에 인접 polygon의 면적 평균을 곱한 값으로 결정 - 내부 형상은 laser scan으로 측정되지 않는 부분의 넓이로 정의

- 외부 형상의 보정 정확도는 80.3%, 내부 형상의 보정 정확도는 약 84.6%의 결 과를 얻음.

- 아래와 같은 3단계를 거쳐 곡면 보정을 수행: 전처리(alignment), remaining points/overlap points 추출, 각 점군 병합 및 메시 재생성

그림 52 3D 스캔 데이터를 이용한 곡면 보정의 수행 단계

- 전처리 과정은 다음과 4 point alignment를 통해 수행

- Alignment 결과로 CT mesh와 laser point cloud의 좌표계를 일치시킴.

그림 53 전처리(alignment) 수행 전(좌)과 수행 후 결과(우)

- 아래 그림과 같이 사용자의 개입을 통해서 4점을 지정해 줄 수 있음.

- 사용자 개입을 결정한 경우 CT mesh와 3D scan data에서 각각 대응되는 4개 또는 그 이상의 점을 더블 클릭으로 지정

그림 54 4-point alignment 수행을 위한 지정점 지정 사용자 인터페이스

- 내부적으로 구한, 또는 사용자가 입력으로 준 4개의 점을 이용하여 CT mesh와 laser point cloud간의 변환 행렬을 생성함.

- 경우에 따라서는 4개 이상의 지정점들을 이용하여 alignment를 수행할 수 있으 며, 이는 특히 사용자가 직접 지정점들을 지정할 때 더 좋은 결과를 얻을 수 있 게 함.

그림 55 4-point alignment를 위한 수식

- CT Mesh로부터 복셀 크기의 

^  

- CT mesh의 정점들 중 복셀 크기의 

^  

- 남겨진 laser point들을 overlap points, CT mesh에서 남겨진 정점들을

그림 56 overlap points와 remaining points의 추출 과정

- Overlap points와 remaining points를 병합하여 remashing 수행하여 최종 보정 메시를 생성

- Remeshing 과정은 overlap point들을 메시화 하는 것은 crust 알고리즘, laser point에서 생성된 메시와 remaining mesh를 연결하는 과정은 greedy triangulation을 사용하여 수행

그림 57 Remaining points와 overlap points의 추출 결과

Ÿ 프로그램은 2가지 기계 부품들에 대해 테스트 되었음.

그림 58 팬텀 1(좌)과 팬텀 2(우)의 보정 결과

- 보정 결과의 모서리 부분의 CT mesh에 비해 정확도가 증가 - 보정 결과의 꼭지점이 더 뾰족하게 나타남.

- 보정 결과의 각진 돌기가 더 정확하게 표현됨.

그림 59 팬텀 1의 CT mesh와 보정 결과의 비교

- 보정 결과는 설계에 사용된 CAD 파일과 보정 결과 메시를 비교하는 것으로 수 행함.

- 설계 CAD파일에서 추출된 STL file에 정점 개수를 약 55000개가량으로 늘림.

- 보정 메시의 정점과 최소 거리를 갖는 CAD파일에서의 정점을 찾음.

- 두 정점 간의 거리가 threshold 보다 크면 오차점으로 판단

- 면적 오차율은 각 점에 인접 polygon의 면적 평균을 곱한 값으로 결정함.

- 내부 면적을 갖지 않는 기준 팬텀1에 대해 보정 정확도 약 95.4%의 결과를 얻 음.

- 내부 면적을 일부 갖는 원형의 기준 팬텀2에 대해 보정 정확도 약 91.2%의 결 과를 얻음.

n Laser scan 데이터와 2D X-ray 촬영 데이터의 전처리

Ÿ 1, 2차년도에 개발한 laser scan 데이터, 2D X-ray 영상 이용 보정 모듈의 정확 도가 CT mesh와 보조 데이터의 정합의 정확도에 의존적임.

- 1, 2차년도에 개발한 laser scan 데이터, 2D X-ray 영상 이용 보정 모듈의 정 확도 향상을 위해 각 데이터 간의 정합 모듈을 개발

- 2D X-ray 영상의 노이즈 제거는 2D X-ray 영상 상의 색상 특징점(feature descriptor)를 사용함에 따라 그 필요성이 사라짐.

Ÿ Laser scan 데이터와 곡면 메시 간의 축보정 최적화

Ÿ CT mesh와 주어진 point cloud에서 각각 PFH(Point Feature Histogram)을 구 하고 확장된 81차원 히스토그램 공간 상에서의 ICP(Iterative Closest Point)를 수 행하여 정합 수행

그림 61 laser scan 데이터와 곡면 메시 간의 축보정 전처리 방법

Ÿ CT 메시에서의 PFH descriptor는 neighborhood 내의 모든 점쌍을 이용하여 구 하는 대신, 해당 정점과 메시상에서 연결된 점쌍 만을 이용하여 구함.

- Laser scan 점군에서의 PFH descriptor는 복셀 크기의 절반 크기의 neighborhood에서 계산

- 계산을 가속화 하기 위해 PFH descriptor가 주변(복셀 크기의 2배)에서 급변하 는 특징점들을 구하고 그 특징점들을 기반으로 RANSAC(Random SAmpling Consensus) 초기 정합을 수행

- 초기 정합 수행 후 정밀 ICP를 수행하여 최종 정합을 완성

그림 62 laser scan 데이터와 곡면 메시 간의 축보정 전처리 적용 후 보정 결과

Ÿ 전처리 정합 수행결과를 평가하는 것은 실질적으로 불가능하므로 이를 평가하기 위하여 전처리 정합결과를 바탕으로 laser scan 이용 보정을 수행하여 그 결과 를 기존 결과(수작업으로 정합 수행)와 비교

- 2차년도에서 구한 결과에 비해 보정 정확도 향상을 보였음 (95.42% → 95.86%).

그림 63 laser scan 데이터와 곡면 메시 간의 축보정 전처리 적용 후의 보정정확도

Ÿ 2D X-ray 데이터와 곡면 메시 간의 축보정 최적화

- 메시의 2차원 사영(projection) 기법과 SIFT(Scale Invariant Fast Transform) 특징점들(keypoints)과 표현자(descriptor)를 활용한 정합과정을 이용하여 2차원

그림 64 2D X-ray 데이터와 곡면 메시 간의 축보정 방법

Ÿ 주어진 사영 벡터를 중심으로 메시를 사영 평면에 사영하여 이미지 생성

- 메시의 사영 이미지에서의 각 intensity는 사영 벡터가 메시를 투과하는 길이에 의해 결정됨.

그림 65 사영 이미지 생성 방법

- 완성된 사영 이미지와 2D X-ray 영상 이미지에서 SIFT keypoints와 descriptor 계산

그림 66 SIFT descriptor

- 계산된 SIFT keypoints와 descriptor를 이용하여 2차원 공간 상의 정합 수행 - 2차원 상에서 정합된 결과에서 각 특징점들로 구성되는 주축을 구하고 각 주축

의 비를 이용하여 사영 벡터의 변화량을 결정

그림 67 사영 벡터 변화각 계산 방법

- 변경된 사영벡터를 이용하여 각 과정들을 반복

- 전처리 정합 수행결과를 평가하는 것은 실질적으로 불가능하므로 이를 평가하기 위하여 전처리 정합결과를 바탕으로 2D X-ray 이용 보정을 수행하여 그 결과를 기존 결과(수작업으로 정합 수행)와 비교

- 다양한 각도에서의 X-ray 및 projection 이용 가능성을 확인하기 위해 X-ray 촬영 결과 뿐만 아니라 CT projection 데이터도 사용

그림 68 2D X-ray 영상과 CT mesh 간의 축정합 전처리 적용 후의 보정정확도

- 넓이 기준 보정정확도를 계산하였을 때 88.47%로 보정정확도 향상됨.

n Laser scan 데이터와 2D X-ray 촬영 데이터를 이용한 3차원 곡면 메시 보정

Ÿ 개발된 Laser scan 이용 보정, 2D X-ray 이용 보정, 전처리 과정들을 모두 적용 하여 통합 메시 보정

- Laser scan 이용 보정 과 2D X-ray 영상 이용 보정을 모두 활용하였을 때의 통합 메시 보정 결과를 확인

의 정보로 대체되는 결과를 얻음.

- 2D X-ray 이용 보정을 선행 수행하는 경우 2D X-ray 정보를 이용하여 보정된 결과에서 laser scan에 존재하는 외부 데이터에 한해 laser scan 이용 보정으로 대체되어 더 정확한 보정 결과를 얻을 수 있었음.

그림 69 각 보정 방법 적용 후 및 통합보정 후의 보정정확도

Ÿ 최종적인 보정 과정은 다음과 같음

- CT 영상에서 고품질 메시 추출 → 전처리(laser scan data, 2D X-ray 영상) → X-ray 영상 이용 보정 → laser scan 이용 보정 → (사용자 수정 과정) → 최종 보정 메시

n 3차원 CT 데이터에서 feature 보전 mesh 자동 추출 및 간소화 기술

그림 70 Feature 보전 메시 자동 추출 및 간소화 기법의 개요

Ÿ 추출된 메시의 실시간 렌더링 속도, 효율적인 저장 공간, 쉬운 사용자 조작을 위해 서는 메시 간소화 기술이 필수적이고 이를 위한 feature 보전 간소화 기술 개발 완료

Ÿ 평평한 모델에 대해 구조화된 메시 자동 추출 기법

- 평면으로만 이루어진 산업용 부품은 드물며 대부분 평면과 곡면이 혼합된 상태 임. 또한 곡면을 자동으로 간소화 하는 것은 중요한 feature(모서리와 같은 기하 학적 특징)가 손실될 우려가 있음.

- 2차년도 개발내용인 사용자 에디터 기능을 1차년도부터 개발, 메시 segment 별 로 간소화 정도를 다르게 하기 위해 하나의 메시를 여러 개의 메시 segment로 나누는 사용자 입력 기반의 Auto Segmentation 기법 개발

Ÿ 사용자 입력 기반 Auto Segmentation 기법 개발

- 메시 feature를 고려하여 하나의 메시를 여러 개의 메시 segments로 나누는 기 법

- 메시에서 임의의 한 삼각형을 선택하여 첫 번째 메시 segment로 결정하고, 첫 번째 메시 segment의 facet 리스트에 넣음.

- 선택한 삼각형과 인접한 삼각형들과의 법선 벡터 내적을 각각 수행, 그 결과가 사용자 입력값(sensitivity)보다 작으면 첫 번째 메시 segment의 facet 리스트에 추가함.

- 추가된 삼각형에 대해 다시 인접한 삼각형들과의 법선 벡터 내적을 각각 수행하 고, 더 이상 새롭게 추가될 삼각형이 없을 때까지 이를 반복하면 첫 번째 메시 segment가 완성됨.

- 더 이상 남은 삼각형이 없을 때까지 위의 과정을 반복하면 총 n개의 메시 segment가 생성됨.

- Feature에 따라 메시를 segment 단위로 나눔으로써 사용자가 메시 segment 별 로 간소화 하는 것이 가능해짐.