Effective criterion for evaluating registration accuracy

한국정보통신학회논문지 Vol. 25, No. 5: 652~658, May. 2021

정합 정밀도 판단을 위한 효과적인 기준

임석현^*

Effective criterion for evaluating registration accuracy

Sukhyun Lim^*

*Principal Engineer, Innovation Center, 3D Systems Korea, 525 Seolleung-ro Gangnam-gu, Seoul, 06149 Korea

요 약

3D 스캐너를 이용하여 점군을 획득 시 각각의 고유한 좌표를 기준으로 취득한 데이터를 통일된 좌표체계를 가진 하나의 데이터로 만드는 과정이 필요하고 이 과정을 정합이라고 한다. 정합 과정은 한 번의 수행으로 만족할만한 결 과를 얻기 힘들며 여러 차례 반복하여 정합 정밀도를 높인다. 정합의 정밀도를 판단하는 기준은 중요한 요소이다. 기 존에 정합의 정밀도를 파악하는 방법은 경우에 따라 판단 기준이 모호할 수 있으며, 점군 데이터의 특성에 따라 매번 다른 결과가 나올 수 있는 한계점을 가지고 있다. 이에 본 연구에서는 정합의 정밀도는 좀 더 정확하게 계산하기 위하 여 정합에서 사용하는 대응점이 아닌 전체 점군에 대해서 점군의 평균 거리 값을 이용한 방법을 제안한다. 이 방법을 사용할 경우 기존의 방법에 비하여 좀 더 확실하게 정합의 정밀도를 파악할 수 있다.

ABSTRACT

When acquiring a point cloud using a 3D scanner, a registration process of making the acquired data based on each local coordinate into one data with a unified world coordinate system is required. Its process is difficult to obtain a satisfactory result with only one execution, and it is repeated several times to increase the registration precision. The criterion for determining the registration accuracy is an important factor. The previous methods for determining the accuracy of registration have a limitation in that the judgment may be ambiguous in some cases, and different results may be produced each time depending on the characteristics of the point cloud. Therefore, to calculate the accuracy of registration more precisely, I propose a method using the average distance value of the point group for the entire points rather than the corresponding points used in the registration. When this method is used, it is possible to determine the registration accuracy more reliably than the conventional methods.

키워드 : 정합, ICP, RMSE, MAE

Keywords : Registration, ICP, RMSE, MAE

Received 25 March 2021, Revised 6 April 2021, Accepted 12 April 2021

* Corresponding Author Sukhyun Lim(E-mail:[email protected], Tel: +82-2-3218-0510)

Principal Engineer, Innovation Center, 3D Systems Korea, 525 Seolleung-ro, Gangnam-gu, Seoul, 06149 Korea

Open Access http://doi.org/10.6109/jkiice.2021.25.5.652 print ISSN: 2234-4772 online ISSN: 2288-4165

Ⅰ. 서 론

최근에 3D 스캐닝 측정 정밀도에 대한 관심이 하드 웨어에서 소프트웨어로 옮겨오면서 소프트웨어에서 스 캔 데이터의 정밀도 및 정확도가 스캔 데이터 프로세싱 작업에서 주목받고 있다. 여러 방향에서 스캔 된 다중 스캔데이터의 정합 과정은 이와 같은 스캔 데이터 프로 세싱에서 가장 중요한 단계이다.

대상물에 대해 3D 레이저 스캐너로 어느 한 측점에 서 데이터를 얻는다면 취득되는 데이터는 지역 좌표계 (local coordinate)를 가진 점군 데이터로 기록이 된다.

하나의 물체를 스캔하기 위해서는 스캐너의 위지를 옮 기거나 물체를 이동시키면서 물체의 각 부분을 측정하 게 되는데, 스캐너에서 획득한 데이터들은 스캐너의 지 역 좌표계를 기준으로 각 점들이 정의되어 있다. 따라서 각각의 스캔된 데이터는 그림 1과 같이 하나의 형상을 이루지 못하게 된다.

Fig. 1 Before(Left) / after(Right) performing registration

스캔된 데이터를 사용하여 표면을 생성하는 등의 후 속작업을 진행하기 위해서는 원래의 형상을 이루도록 각 데이터를 재배치해 주어야 하며, 이러한 작업을 정합 (Register)이라 한다 [1]. 보통 가장 처음에 획득한 데이 터를 기준으로 나머지 데이터들을 변환하는 과정을 거 친다. 정합된 점 군 데이터는 촬영한 모델의 3차원 형상 을 점의 형태로 표현하는데, 이러한 데이터는 최근에 주 목받고 있는 품질관리 분야에서 설계 데이터와 비교하 여 얼마나 정확하게 제품이 제작되었는지 파악하는 데

매우 중요한 요소로 작용된다 [2]. 일반적으로 점군들을 정합함에 있어서 제대로 정합이 되었는지를 판단함에 있어서 MAE(mean absolute error)와 RMSE(Root Mean Square Error) 같은 수치가 이용된다 [3]. MAE는 정합한 후 정합 차이(오차)와 실제값을 빼서 구한다. 오차값 자 체를 표현하기 때문에 직관적이기는 하지만 스케일이 의존적이다. RMSE는 오차를 제곱하여 평균을 낸 후 제 곱근한 값이다. 제곱된 오차를 다시 제곱근으로 풀어주 기 때문에 오차를 제곱함으로서 발생하는 값의 왜곡이 좀 덜하기는 하지만 여전히 스케일에 의존적이고, 오차 를 제곱하기 때문에 1 미만의 오차는 더 작아지고, 그 이 상은 더 커지는 단점을 가지고 있다. 결국 이들 값만으 로는 제대로 정합이 되었는지를 판단하기 애매한 경우 가 발생한다. 본 논문에서는 이런 문제를 해결하기 위해 새로운 정합 정확성 판단을 위한 새로운 기준법을 제안 한다.

두 개의 점 군 정합은 가장 기본적인 점 군 정합 방법 이다. 이중 정합(pairwise registration)은 두 개의 점 군 정합 방법을 확장하여 여러 개의 점군에서 두 개의 점군 을 정합하는 과정을 순차적으로 반복하는 정합으로써, N개의 점군에 대하여 (N−1)번의 정합을 수행하는 것 이다 [4]. 가장 간단하고 쉬운 방법이지만, 매번 현장에 타깃을 배치해야 하는 번거로움으로 인해 최근에는 비 타깃 방식의 정합 방법이 많이 사용되고 있다.

비타깃 기반의 점 군 정합 방법 중에서 가장 널리 사 용되고 있는 방법은 ICP(Iterative Closest Point) 방법이 다 [5-7]. ICP는 각 점 군에서 가장 가까운 점들이 서로 대응되는 동일한 점이라는 가정 하에, 해당 점 들 사이 의 거리를 최소화하는 변환 행렬을 알고리즘의 반복 수 행을 통해 계산하는 정합 방법이다. ICP는 점 군 사이의 대응점을 찾아내는 방법에 따라 여러 가지 형태를 갖게 되며, 점-점 대응, 점-평면 대응, 점-곡면 대응 등의 방식 으로 발전되었다 [5-9]. 또한 정합의 정밀도를 향상시키 기 위해 점군에서 특징이 되는 특징 점을 찾아내어 정합 하는 방법도 사용되고 있다 [10, 11]. 이와 같은 ICP방법 은 현재도 가장 많이 사용하고 있는 방식이기는 하지만 점 군 사이의 거리를 순차적으로 좁혀가는 방식이기 때 문에 정합 단계에서 극솟값(local minimum) 문제가 발 생할 수 있다. 극솟값 문제가 발생하면 정밀도가 좋아지 는 방향으로 정합이 되지 않고 계속 맴돌게 되기 때문에 이를 해결하기 위한 연구도 진행되었다 [12].

이와 같은 기존의 관련 연구들은 데이터를 취득하고 이들을 처리하는 단계나, 생성된 결과물의 활용 및 정합 알고리즘에 대한 연구가 많이 이루어졌다. 정합을 하는 과정에서 정합을 계속 진행할지 여부를 결정하는 것이 정합의 정확도를 판단하는 단계인데, 기존연구들은 정 확도를 분석하기 위한 기준은 RMSE나 MAE를 이용하 는데 그치고 있다. 본 논문에서는 정합의 정확도를 파악 하기 위한 새로운 기준을 제시하고 실험을 통하여 이를 검증한다.

Ⅱ. 새로운 정합 정밀도 판단 기준

점군을 정합하는데 있어서 중요한 것은 정합 속도와 정확도이다. 일반적으로 3차원 스캐너를 이용하여 점군 을 획득할 경우 초당 수천만 개 이상의 점들이 들어오고 이들을 이용하여 다양한 연산을 수행하기 때문에 연산 속도가 느려진다.

속도 이외에 중요한 것은 정확도이다. 정합을 수행하 게 되면 정확도를 판단하는 기준으로 정학의 정확성을 판단한 후에 사용자가 정한 임계값보다 오차율이 클 경 우 정합과정을 반복하게 된다. 여기서 정합기준을 판단 할 때 그 값이 정확하지 않으면 크게 다음과 같은 두 가 지 문제점이 발생한다.

1) 불필요한 추가연산을 수행하여 전체적인 정합 속 도가 느려지고,

2) 실제로는 정합이 제대로 되지 않았음에도 불구하 고 정합이 되었다고 오판단

기존에 정합의 정확도를 판단하는 기준을 주로 RMSE와 MAE 값을 주로 이용하였다 [3]. 정합이 되면 정확도 값을 구하고 이 값이 사용자가 정한 임계값 범위 이내에 들어오는지를 판단하게 되는데, 이 임계값 역시 실험을 통한 휴리스틱(heuristic) 접근법을 사용한다. 즉, 임계값을 정형화하기 힘들고, 정합이 미세하게 틀어졌 을 때는 해당 값만으로는 정합이 정확히 되었는지를 판 단하기 힘들다.

본 절에서는 점군들을 강체 변환(rigid transformation) 에 의한 정합을 하는데 있어서 가장 많이 사용하는 ICP (Iterative Closest Point) 알고리즘을 이용하여 정합 과정

을 살펴보고, 정확도를 판단하는 기존 방법의 문제점과 본 논문에서 제안하는 새로운 정합 정확도 기법을 살펴 본다.

2.1. ICP 알고리즘

ICP 알고리즘은 강체변환에서의 회전 값과 이 동값 모두 3DOF(Degree of Freedom)을 다루기 때문에 3차원 공간상의 모든 방향으로 적용가능하다. 전처리가 일반 적으로는 필요 없기 때문에 정합에서 가장 많이 사용하 는 방법 중 하나이다.

Fig. 2 Flowchart of ICP

그림 2는 ICP알고리즘의 단계를 보여준다. 일반적으 로 총 여섯 단계로 이루어진다. #a개의 점을 포함하는 점군A와 #b개의 점군을 포함하는 점군B가 있다고 가정 하고, 점군B가 점군A로 정합한다고 가정한다. 첫 번째 단계에서는 점군A와 점군B에 점의 개수가 많을 경우 이후단계의 속도 향상을 위하여 필터링이나 샘플링 등 을 통해 점의 개수를 줄인다. 두 번째 단계에서는 각 점 의 주변에 분포하는 점들 중 가까운 점(neighborhood points) 일부를 선택하고, 세 번째 단계에서 앞서 선택한 주변 점들로 평면이나 곡면과 같은 기하 요소를 만들 고], 이들에 기반을 두어 점군A와 점군B사이에 대응되 는 점(이하 대응점) Ac와 Bc을 찾는다. 네 번째 단계에서 겹치는 부분과 겹치지 않은 부분(outlier)을 파악하고, 다섯 번째 단계에서 파악된 겹치는 영역에서의 대응점 Ac와 Bc 간에 거리를 계산하여 점군B가 점군A로 정합 되는데 필요한 강체변환 행렬을 최소자승법(Least square method)을 이용하여 만든 후 해당 행렬을 점군B의 점들 에 적용하여 정합한다. 마지막 단계로 Ac와 Bc 사이의 정합 정밀도가 사용자가 정한 임계값() 이하이면 진행

을 멈추고 이상이면 세 번째 단계부터 다시 반복한다.

이와 같은 연산을 일반적으로 임계값 이하가 될 때까지 반복한다. 경우에 따라 극솟값 문제로 인하여 임계값 이 하로 도달하지 않고 수행시간이 너무 길어질 수 있어 사 용자가 정한 최대 반복횟수에 도달하면 계산을 멈춘다.

ICP는 다수의 대응점 사이의 거리를 줄이는 방법으 로 진행하기 때문에 여러 번 반복하여 최종 결과가 수렴 하였다고 판단되었을 때 알고리즘을 종료하도록 한다.

두 점 군 사이에서 정확한 대응점을 찾는 세 번째 단계 는 최대 복잡도가 O(#a#b)로서 속도가 느리다. 일반적 으로 한 번의 수행으로 변환 행렬을 찾는 것으로는 좋은 결과를 얻기 힘들며, 여러 차례 대응점을 찾아 변환 행 렬을 계산하는 방법을 반복적으로 수행하게 된다. 여기 서 여섯 번째 단계의 정합의 정확도를 판단하는 기준이 부정확하다면 세 번째 단계서부터 반복을 해야 하기 때 문에 정합하는 속도는 반복횟수에 선형적으로 비례하 여 느려지게 되고, 이는 ICP만의 문제가 아닌 일반적인 정합 알고리즘에서의 공통적인 문제점이다.

2.2. 새로운 정합 적합 판단 기준

3.1절의 여섯 번째 단계에서 판단을 할 때는 일반적 으로 RMSE나 MAE 수치를 사용한다. 이 중 가장 많이 사용하고 있는 RMSE는 Ac와 Bc 사이에 유클리드거리 (Euclidean distance) d를 제곱하여 모두 더하고 Ac의 점 개수 #ac만큼 나누어 제곱근한 것이다.

 



^

_

^

 



이와 같은 방법은 문제점은 앞서 ICP의 세 번째 단계 인 대응점 Ac와 Bc을 중심으로 정합 정밀도를 계산한다 는 것이다. 만약에 구해진 대응점이 정합에서 중요한 작 은 특징 점을 고려하지 못할 경우 실제로는 정합은 실패 했지만 사용자에게는 마치 정합이 성공한 것처럼 계산 되어 과정을 멈추게 된다.

그림 3은 이와 같은 상황을 보여주는 가상의 예이다.

#a, #b 각각 16, #ac, #bc는 각각 12개라고 가정한다. 망 치모양의 점군에서 머리 부분에 대응점(검정색)이 없을 경우 손잡이 부분 점군(적색/파란색)에만 존재하고 있 는 대응점을 이용하여 RMSE을 계산할 경우에는 머리

부분의 점들을 고려하지 못하여 상대적으로 값이 작아 진다.

Fig. 3 Problems of the conventional method. The conventional method calculates the error using the distance between the corresponding points.

이런 문제를 해결하기 위해서 본 논문에서는 대응점 Ac와 Bc 간에 계산이 아닌 점군A와 점군B에의 모든 점 과 각 점군 사이에 평균 거리 값을 이용하여 정확도를 판단하는 방법을 제안한다.

순서는 다음과 같다. 첫 번째로 점군A의 모든 점들의 평균 거리값 davr을 계산한다. 일반적으로 점군 A와 점 군 B는 동일한 스캐너로 획득한 점군이기 때문에 davr 값 은 동일하다. 두 번째로 점군A의 모든 점들에 대해서 가 장 가까운 점군 B의 한 점을 구하고, 세 번째로 구해진 점군 B의 한 점이 davr 값 이내로 들어올 경우 누적횟수 를 증가시킨다. 이와 같은 방법을 전체 점군A에 대해 반 복한다. 이 후 점군A의 #A로 나누어 최종 값을 구한다.

Fig. 4 The method proposed in this paper. If davr values are considered for all points of points A, the error rate can be calculated more accurately.

그림 4의 예는 그림 3에서 기존의 방법의 문제점을 해결함을 보여주고 있다. 점군A의 머리 부분 검정색 점 을 보면 d1, d2거리 모두 davr 보다 크기 때문에 고려하지 않는다. 즉, 점군A의 #a인 16개 중 #ac인 12개는 안에 들 어오고, 4개는 들어오지 않는다. 기존의 방법은 검정색 점은 고려하지 않았으나, 본 논문에서 제안한 방법을 사 용할 경우 이들을 고려하게 된다. 이와 같이 전체 점에 대해 davr에 기반을 두어 정확도를 결정할 경우 기존의

방법에 비해 오차를 줄일 수 있다.

이를 의사코드(pseudo code)로 표현하면 그림 5와 같 다. 점군 A의 포인트에 대해서 가장 가까운 점군 B의 점 을 찾는 경우는 가장 많이 사용하는 k-d tree자료구조를 이용한다.

Fig. 5 The pseudo code proposed in this paper

Ⅲ. 실험 결과

이 장에서는 본 논문에서 제안하는 정합 정밀도의 효 율성을 입증한다. 실험에 사용한 데이터는 정합에 널리 사용하는 happy buddha 모델과 stanford bunny 모델을 이용한다 [13]. 이 두 데이터는 미국 스탠포드 대학교 그 래픽스연구실에서 배포라는 점군데이터로 1994년에 스 캐닝을 통해서 제작된 모델이다. 컴퓨터 그래픽스와 컴 퓨터 비전 분야의 3D 테스트와 프로세싱용의 샘플 모델 로 많이 사용되고 있으며, 특히 점군을 이용한 논문에서 는 성능 및 정합도 결과 비교에서 항상 이용되는 데이터 이다.

그림 6은 ICP 방법을 이용하여 정합한 결과이다. 실 험을 위하여 정합 조건을 임의로 조절하였다. 그림 6에 서 좌측 그림은 정합 전의 모습이다. 비교를 좀 더 쉽게 진행하기 위해 색을 구분하였다. 중앙 그림은 정합을 진 행 중 수렴 조건 직전에 강제로 멈춘 경우이다. 우측 그

림은 정합을 끝낸 상태이다. 렌더링 결과를 자세히 보면 중앙 그림인 경우 우측 그림에 비해 정합이 덜 끝났기 때문에 녹색부분이 많이 보이고 있다. 아래쪽 원형 지지 대 부분과 좌측 부분을 보면 차이가 명확하다.

그림 7은 bunny 모델을 역시 ICP을 이용하여 정합한 결과이다. 좌측 상/하가 같은 결과이고, 우측 상/하가 같 은 결과이다. 좌/우측의 하단 그림은 비교를 위해 상단 의 결과를 확대한 것이다. 그림 6에서와 달리 그림 7에 서는 정합 조건을 수정한 것이며 모두 수렴이 되었다고 판단하여 정합을 끝낸 경우이다. 그림 7의 위쪽 좌/우 그 림을 보면 둘 다 정확히 정합이 된 것 같아 보인다. 하지 만 하단 확대 영상을 보면 적색 원 부분의 눈 부분이 우 측의 결과가 좀 더 정확히 정합되어 선명하게 보인다.

파란 원 부분을 보면 좌측 그림이 역시 정합이 정확히 Fig. 6 Registration results by using buddha model

Fig. 7 Registration results by using buddha model

되어 상대적으로 녹색 부분이 적다.

표 1과 표 2는 정합 후 정확도를 판단하기 위하여 각 각 그림 6과 그림 7에서 정합 후 RMSE값과 본 논문에서 제시한 새로운 정합 정확도를 판단하는 기준 값을 정리 한 것이다. RMSE값은 정합 후 대응점들 사이의 거리를 이용하기 때문에 해당 값이 클수록 정합 정확도가 떨어 진다는 것을 의미한다. 본 논문에서 제안한 방법은 davr

이내에 들어오는 점군A의 개수를 전체점군A의 점개수 로 나눈 것이기 때문에 해당 값이 클수록 정합이 잘 되 었다고 판단할 수 있다.

Table. 1 The RMSE and proposed values for Fig. 6 Middle pictures Right pictures

RMSE [mm] 0.071 0.062

Proposed value 0.043 0.416

Table. 2 The RMSE and proposed values for Fig. 7 Left pictures Right pictures

RMSE [mm] 0.046 0.044

Proposed value 0.151 0.356

표 1을 보면 우측의 정합이 잘 된 결과의 RMSE값이 약간 낮기는 하지만 그 차이가 매우 작은 것을 볼 수 있 다. 이 경우에는 정합이 제대로 되었는지 판단하기가 힘 들 수 있다. 하지만 본 논문에서 제안하는 방법을 보면 오른쪽 영상에서의 값이 0.416으로 0.043 대비 상대적 으로 확실하게 차이를 보이고 있다. 표 2에서도 역시 정 합이 상대적으로 잘 된 좌측의 그림의 경우 미세하게 RMSE값이 0.046와 0.044로 작기는 하지만 그 차이가 적고, 반대로 본 논문에서 제안하는 값은 0.151과 0.356 으로 그 차이를 명확히 보여주고 있다.

Ⅳ. 결 론

점군데이터에서의 정합은 하나 또는 여러 대상을 중 심으로 여러 측점에서 취득된 점군데이터를 하나의 공 통된 좌표체계로 배치시키는 것이다. 정합은 한번으로 끝나는 것이 아니고 정합 정확도를 계산하여 사용자가 원하는 수준까지 정합을 진행하기 때문에 정밀도를 판 단하는 기준은 정합에서 중요한 요소이다. 이 기준이 부

정확하면 불필요한 정합을 추가로 진행을 하거나 정합 이 확실히 되지 않았음에도 불구하고 정합이 되었다고 계산을 멈추어 원하는 결과를 얻기 힘들다. 본 논문에서 제안하는 방식은 기존의 대응점들 사이에서 정밀도를 계산하는 것이 아닌 전체 점에 대해서 점군의 평균거리 값 이내로 들어오는 점들을 이용하기 때문에 기존 방법 대비 정확도를 판단하기 힘든 경우에도 효과적으로 판 단할 수 있다.

추후 연구과제로서는 점군을 구성하고 있는 점들의 개수가 많을 경우 기존 방법에 비해 필요한 추가 연산을 가속화할 필요가 있다.

References

[ 1 ] F. Deng, “Registration between multiple laser scanner data sets,” in Laser Scanning, Theory and Applications, pp.

449-472, 2011.

[ 2 ] K. Y. Kown, “A weighted points registration method to analyze dimensional errors occurring during shipbuilding process,” Transactions of the Society of CAD/CAM Engineers, vol. 21, no. 2, pp. 151-158, 2016.

[ 3 ] J. Zhang, Y. Yao, and B. Deng, “Fast and Robust Iterative Closest Point,” IEEE Transactions on Pattern Analysis and Machine Intelligence, preprint, 2021.

[ 4 ] B. Becerik-Gerber, F. Jazizadeh, G. Kavulya, and G. Calis,

“Assessment of target types and layouts in 3D laser scanning for registration accuracy,” Automation in Construction, vol.

20, no. 5, pp. 649-658, 2011.

[ 5 ] P. J. Besl and M. D. McKay, “Method for registration of 3-D shapes,” International Society for Optics and Photonics, vol.

1611, pp. 586-607, 1992.

[ 6 ] M. He, L. Huang, B. Zhao, B. Chen, and B. Hu, “Advanced functional materials in solid phase extraction for ICP-MS determination of trace elements and their species - A review,” Analytica Chimica Acta, vol. 973, no. 22, pp. 1-24, 2017.

[ 7 ] Z. Wu, H. Chen, S. Du, M. Fu, N. Zhou, and N. Zheng,

“Correntropy based scale ICP algorithm for robust point set registration,” Pattern Recognition, vol. 93, pp. 14-24, 2019.

[ 8 ] D. H. Yun, S. I. Choi, S. H. Kim, and K. H. Ko,

“Registration of multiview point clouds for application to ship fabrication,” Graphical Models, vol. 90, pp. 1-12, 2017.

[ 9 ] S. Rusinkiewicz, “A Symmetric Objective Function for ICP,” ACM Transactions on Graphics, vol. 38, no. 4, pp.

1-7, 2019.

[10] N. Mellado, D. Aiger, and N. J. Mitra, “Fast global pointcloud registration via smart indexing,” Computer Graphics Forum, vol. 33, no. 5, pp. 205-215, 2014.

[11] T. H. Cho, “Efficient CUDA Implementation of Multiple Planes Fitting Using RANSAC,” Journal of the Korea Institute of Information and Communication Engineering, vol. 23, no. 4, pp. 388-393, 2019.

[12] Y. He, B. Liang, J. Yang, S. Li, and J. He, “An iterative closest points algorithm for registration of 3D laser scanner point clouds with geometric features,” Sensors, vol. 17, no.

8, 2017.

[13] Stanford University 3D Scan Repository [Internet]. Available:

http://graphics.stanford.edu/data/.

임석현(Sukhyun Lim)

1999년: 인하대학교 전자계산공학과 공학사 1999년: 인하대학교 물리학과 이학사 2001년: 인하대학교 전자계산공학과 공학석사 2006년: 인하대학교 컴퓨터정보공학과 공학박사 2009년: 인하대학교 컴퓨터정보공학과 연구교수 2012년: 한국전자통신연구원 선임연구원 2018년: NHN NEXT 교수

2018년 – 현재: 3D systems Korea 수석연구원

※관심분야 : 컴퓨터그래픽스, 컴퓨터비전, 게임, 통신시스템