동영상을 이용한 부유구조물 모형의 변위 관측
Displacement Measurement of a Floating Structure Model Using a Video Data
한동엽1) · 김현우2) · 김재민3)
Han, Dong Yeob · Kim, Hyun Woo · Kim, Jae Min
Abstract
It is well known that a single moving camera video is capable of extracting the 3-dimensional position of an object. With this in mind, current research performed image-based monitoring to establish a floating structure model using a camcorder system. Following this, the present study extracted frame images from digital camcorder video clips and matched the interest points to obtain relative 3D coordinates for both regular and irregular wave conditions. Then, the researchers evaluated the transformation accuracy of the modified SURF-based matching and image-based displacement estimation of the floating structure model in regular wave condition. For the regular wave condition, the wave generator’s setting value was 3.0 sec and the cycle of the image-based displacement result was 2.993 sec. Taking into account mechanical error, these values can be considered as very similar. In terms of visual inspection, the researchers observed the shape of a regular wave in the 3-dimensional and 1-dimensional figures through the projection on X Y Z axis. In conclusion, it was possible to calculate the displacement of a floating structure module in near real-time using an average digital camcorder with 30fps video.
Keywords : Video, Displacement, Foating structure, Tracking
초 록
움직이는 한 개의 카메라 동영상으로부터 개체의 3차원 위치를 추출할 수 있다고 알려져 있다. 이로부터 캠코더 측정시스템을 이용하여 부유체 모형에 대한 영상기반 모니터링을 수행하였다. 규칙파 및 비규칙파 실험조건에서의 디지털 캠코더 동영상으로부터 프레임 영상을 추출하고, 특징점을 정합하여, 상대적인 3차원 좌표를 획득하였다.
수정된 SURF 기반 정합의 영상 변환 정확도와 규칙파에서 부유체 모델의 영상기반 변위 관측 정확도를 평가하였 다. 규칙파의 경우 조파기의 설정값은 3.0sec이고, 영상기반 변위에 의한 주기는 2.993sec이었다. 기계적 오차를 고 려할 때 이 두 값은 유사한 결과로 여겨진다. 시각적으로도 X Y Z축으로의 1차원 투영결과나 3차원 공간에서의 결 과에서 규칙파의 형상을 볼 수 있었다. 결과적으로 30fps의 일반 디지털 캠코더 동영상을 이용하여 근실시간으로 위치변동을 계산할 수 있었다.
핵심어 : 동영상, 변위, 부유체, 추적
1) 교신저자 · 정회원 · 전남대학교 공학대학 해양토목공학과(E-mail: [email protected]) 2) 정회원 · 한국시설안전공단(E-mail: [email protected])
3) 정회원 · 전남대학교 공학대학 해양토목공학과(E-mail: [email protected])
159
1. 서 론
부유 구조물과 같은 수해양 공간에서 재해가 발생할 때, 인명과 경제적 피해가 크게 발생할 수 있기 때문에 구조물의
건전성을 확보하는 것이 중요하다(Sun and Soares, 2003).
구조물의 사고 예방을 위하여 첨단 계측기술을 이용한 반 영구적인 센서들이 활용되고 있다. 일례로 케이블의 내부 긴 장력을 측정하기 위하여 광섬유센서를 이용하여 계류장치
케이블의 장력을 모니터링 하는 기술도 연구되었다(Kim et al., 2011).
시간에 따른 부유체의 형상 변화를 파악하는 방법으로 개 별 점기반 측정보다 전체적인 양상을 파악할 수 있는 영상기 반 측정이 선호된다. 임의 구조체 변위의 완전한 분석을 위하 여 구조체의 3차원 위치가 필요하며, 일반적으로 2개 이상의 카메라를 이용하여 3차원 정보를 얻는다(Ozbek et al., 2010).
한편, 2차원상에서 진동을 측정하기 위하여 영상처리 기법도 적용될 수 있다(Jeon et al., 2010).
영상 트래킹은 카메라를 이용하여 일정 시간동안 어떤 움 직이는 물체의 위치를 찾는 과정이다(Yilmaz et al., 2006). 인 간-컴퓨터 상호작용, 보안 및 감시, 비디오 통신 및 압축, 증강 현실, 교통제어, 의학 영상 및 비디오 편집 등 영상 트래킹의 응용 분야는 다양하다. 영상 트래킹의 영상 소스는 대개 비디 오 형태이기 때문에 데이터 양 때문에 처리 시간이 많이 소요 된다. 트래킹 과정에서 개체 인식도 함께 처리된다. 비디오는 개별 영상인 프레임으로 존재하기 때문에 비디오를 이용한 분 석에서 영상처리 기술이 요구된다. 수해양 환경에서 트래킹을 수행할 경우, 물로 인한 어려움이 존재하며, 컴퓨터 비전에서 사용되는 다양한 트래킹 알고리즘이 모두 적용되고 있지는 않다(Trucco and Plakas, 2006).
본 연구에서는 수해양 환경에서 부유 구조체 모형의 동적 거동을 모니터링하기 위하여 최근 컴퓨터 비전 분야에서 많이 연구되고 있는 단일 캠코더 비디오를 이용한 영상 트래킹으로 변위 관측을 수행하였다. 본 연구의 성과를 통하여 3차원 상 에서 이동 및 회전을 측정하여 부유 구조물의 유지관리기술 을 개발하는 바탕을 이루고자 한다.
2. 영상으로부터 위치추정
영상으로부터 3차원 위치를 추정하기 위하여 2개 이상의 입체영상에서 정합쌍이 필요하다(Luhmann et al., 2006). 정 합쌍의 화소 정보는 렌즈 정보와 함께, 센서의 내부표정, 외부 표정을 거쳐 공선조건식에 대입되어 3차원 위치를 구할 수 있 다. 3차원 위치가 구해지면 시간에 따른 3차원 변위 값을 추 정할 수 있다.
컴퓨터 비전에서는 3차원 좌표를 구하는 것을 삼각측량 (triangulation)이라고 한다(Hartley and Zisserman, 2003). 일 반적으로 단일해가 존재하지 않기 때문에, 선형 또는 비선형 삼각측량 알고리즘이 있다. n개의 고정된 3차원 점이 m개의 영상에 나타나 있을 때, mn개의 접합점
를 사용하여 m개 의 투영행렬 A와 이동벡터 b, n개의 3차원 점 X를 추정한다
(Lischinski, 2007). 방정식의 해를 구하기 위하여 두 개의 영 상에서 최소 4개의 대응점이 필요하다. 관련 일반식은 Eq. (1) 과 같고, Fig. 1과 같은 형태로 변수를 정리된다. Eq. (1)의 이동 벡터 b를 왼쪽으로 옮겨 정규화(normalized)하면, Fig. 1과 같 은 형태로 구성된다.
··
(1)
여기서, i = 1, ..., m j = 1, ..., n
Fig. 1. Factorization of an observation matrix.
프레임 영상들에서 정합을 위한 특징점(interest points)을 얻고, 이 특징점간의 정합으로부터 점의 3차원 좌표를 얻는 다. 이러한 알고리즘을 SfM(Structure from Motion)이라고 하며, 본 연구에서 적용한 SfM의 과정은 다음과 같다(Lucas and Kanade, 1981; Shi and Tomasi, 1994).
① 특징점을 찾는다.
② Lucas-Kanade 트래킹을 이용하여 대응점 탐색한다.
③ Tomasi-Kanade factorization을 이용하여 카메라 행렬 과 점들의 3차원 위치를 구한다.
프레임간의 시간과 위치변화를 이용하여 정합점의 속도 및 가속도를 구할 수 있다. 그러나 SfM으로부터 구한 정합점의 3차원 위치는 상대적인 것으로, 단위 길이로 환산하기 위하 여 기준점 또는 기준선을 이용하여 변환하는 것이 필요하다.
3차원 상사좌표변환(conformal transformation)은 3차원 직각좌표계에서 크기와 위치는 변하지만 형태는 변하지 않 도록 좌표를 변환시키는 것을 말한다. 축척변환(s), 원점이동
과 각 축에 대한 회전M
이 미지변환계수
161 이고, 미지변수의 개수가 7개이므로 7계수 변환이라고도 한
다(Eq. (2)).
· ·
(2)
위의 식으로부터, 7변환계수를 미지수로 하는 관측방정식 을 조성하여 변환계수를 구할 수 있다. 이 관측방정식은 변환 계수에 대하여 선형방정식이 아니므로, 테일러시리즈에 의한 선형화된 식을 사용한 반복계산법으로 변환계수를 구한다.
본 연구에서는 절대좌표 변환을 수행하지 못했으며, 향후 이 에 대한 처리를 계획하고 있다.
3. 모형 실험
전남대학교 해양시뮬레이션 실험센터에서 부유체 모형을 사용하여 수행된 비디오 측정자료를 연구에 이용하였다. 모형 부유물은 가로 1m, 세로 1.8m 크기의 단순한 형태이다(Fig. 2 참고). 해양시뮬레이션 실험센터의 2차원 조파수조에서 실험 이 수행되었는데, 수조의 길이는 길이 100m, 폭 2m, 높이 3m 의 수조로서 최대파고 1.08m, 주파수 범위는 0.25∼2Hz까지 시험이 가능한 수조이다. 영상은 디지털 캠코더 2대로 취득되 었다. 두 개의 입체동영상을 이용하여 3차원 위치를 얻기 위 하여 2대의 캠코더를 이용하였지만, 본 연구에서는 단일 캠 코더 동영상을 연구에 이용하였다. 프레임 영상의 해상도는 720×1280 화소이고, 동영상은 30fps로 촬영되었다(Fig. 3 참 고). 다양한 형태의 규칙파와 불규칙파의 파도를 생성하여 실 험에 적용하였다.
Fig. 2. Drawing of a floating structure model.
Fig. 3. Scene of experiment.
4. 이동 추정 및 해석
프레임 영상간 변환식은 어핀(Affine) 변환식을 이용하였 고, 영상간 정합쌍 중에서 2.5화소 이상의 오정합점을 제거 하기 위하여 RANSAC(RANdom SAmple Consensus) 처리 를 하였다(Fischler and Bolles, 1981; Rousseeuw and Leroy, 1987). 실험 대상 모형은 강체(rigid body)로 가정하여 어핀 변 환식에서 축척은 1.0으로 설정하였다.
특징점의 정합을 위하여 SIFT(scale-invariant feature transform), SURF(speeded up robust features), GLOH(gradient location and orientation histogram), HOG(histograms of oriented gradients), LESH(local energy shape histogram) 등 다양한 개체 서술자가 존재하며, SURF는 SIFT 보다 몇 배 빠르고 때때로 더 뛰어난 성능을 보이고 있다(Mikolajczyk and Schmid, 2005; Bay et al., 2008; Funayama et al., 2009).
SURF는 2D Haar 웨이블렛 반응의 합을 기반으로 하며, 적 분 영상(integral images)을 효율적으로 이용한다(Kim et al., 2012). 본 연구에서는 SURF를 이용한 프레임간 특징점 정합을 수행하였다(MathWorks, 2011). Fig. 4는 2개의 프레 임 영상간에 추출된 정합점쌍을 보여준다. 연속된 프레임간 의 정합쌍이기 때문에 추출된 정합점쌍은 Fig. 4에서 겹쳐 서 나타난다.
프레임 영상간 특징점의 정합쌍 정확도를 확인하기 위하 여 임의의 2개 프레임 영상에 대하여 영상간 변환식을 추정 하였다(Fig. 5).
Fig. 5. Interest points and corresponding pairs; (left) A1 image, (right) A2 image.
Table 1. Matching pairs and transformation error.
75개의 특징점 중에서 11개의 정합점이 추출되었다(Table 1). 이 정합점들로부터 추정된 어핀변환식에 의한 정합점간 변 환오차의 표준편차는 열방향과 행방향에서 0.63과 0.51 화소 이다. 최대 변환오차도 1.23, 1.17 화소로 1.5화소 이내이다. 변 환식은 Table 2와 같다. 따라서 SURF를 이용한 특징점 추출 및 정합이 적절한 것으로 여겨진다.
Table 2. Affine transformation results.
구조물 모형의 위치변위 추정을 위하여 규칙파와 불규칙파 동영상에 대하여 변위를 자동으로 구하였다. Fig. 6과 Fig. 7 은 2차원 트래킹, Fig. 8과 Fig. 9는 3차원 트래킹 결과를 나타 낸다. Fig. 6의 오른쪽 그림에서 규칙파 실험에서 타원형의 운 동이 상하로 일정하지 않은 형태를 보여주고 있다. 2차원 수 조의 실험 중에 구조체 모형을 지지하는 케이블이 일정한 범 위에서 움직임을 허용하여 모형이 파도에 밀리는 형상을 나타 낸 것으로 추정할 수 있다. Fig. 8(a)에서 모형의 3차원 운동 형 상은 부드러운 모습을 나타내지 않고 있으며, 본 실험에서 취 득된 동영상보다 높은 fps를 갖는 기기를 사용하면 보다 정확 하고 연속적인 결과를 얻으리라 생각된다. Fig. 9에서 불규칙 파의 변위는 크게 나타나며, 향후 가속도계나 수 Hz의 모니터 링용 토털스테이션 측정을 기준값으로 사용하여 정확도를 평 가할 수 있다.
규칙파에 대한 실험결과를 실험시설의 파도 주기와 비교 하여 영상기반 변위추정의 결과를 평가하였다. 조파기의 생 성 주기는 3.0sec이다. Fig. 8의 규칙파 관측결과에서 영상기 반 변위에 의한 주기는 2.993sec로 기계적 오차를 고려할 때 유효한 결과로 여겨진다. 시각적으로도 Fig. 8과 같이 X Y Z 축으로의 투영결과나 3차원 형태상으로 규칙파의 형상을 볼 수 있다.
Fig. 6. Automatic tracking result of a floating structure model in regular wave.
Fig. 4. Overlay of corresponding points extracted from first two frame images in one video.
A2 image A1 image errors(pixel)
column row column row dc dr
866 396 865 404 -0.59 0.57 931 474 930 482 0.02 -0.11 805 622 806 632 0.55 -0.66 766 261 763 271 0.28 -0.38 825 690 827 699 0.28 0.15 902 383 901 390 -0.95 1.17 931 534 932 542 -1.23 -0.09 775 332 773 341 0.11 0.55 817 627 818 636 0.54 0.21 369 427 371 441 -0.50 0.07 757 196 753 206 0.52 -0.31
estimated parameters rotation 0.994552 -0.01103
0.01241 1.000415 translation -1.78565 17.95703
163 Fig. 7. Automatic tracking result of a floating structure
model in irregular wave.
(a)
(b)
Fig. 8. (a) 3-D coordinates and, (b) projected 2-D coordinates of the matched points in regular wave.
(a)
(b)
Fig. 9. (a) 3-D coordinates and, (b) projected 2-D coordinates of the matched points in irregular wave.
5. 결 론
본 논문에서는 부유체의 모형실험에서 단일 캠코더 동영 상을 이용하여 부유체의 변위를 측정하였으며 다음의 결론 을 얻을 수 있다.
(1) 규칙파, 불규칙파에 대하여 단일 동영상을 이용하여 부 유체의 변위를 추정할 수 있다.
(2) 일반 디지털 캠코더를 이용하여 취득된 30fps 내외의 동 영상으로부터 얻은 수백만화소의 프레임 영상으로부터 근실시간으로 위치변동을 계산할 수 있다.
향후 2개 이상의 입체영상을 이용하여 얻은 3차원 좌표, 토 털스테이션 관측결과와 본 연구의 단일 동영상을 이용하여 얻은 3차원 좌표를 비교할 계획이다. 그리고 실외 부유구조물 에 제안된 기법을 적용하고, GPS(Global Positioning System) 결과와 비교할 계획이다.
감사의 글
본 연구는 2010년 국토해양부 기술연구개발의 지역기술혁 신사업(과제번호: 10지역기술혁신B01)의 일환으로 수행된 연 구임을 밝히며, 이에 감사를 드립니다.
References
Bay, H., Ess, A., Tuytelaars, T. and Van Gool, L. (2008), SURF: speeded up robust features, Computer Vision and Image Understanding, Vol. 110, No. 3, pp. 346-359.
Fischler, M.A. and Bolles, R.C. (1981), Random Sample Consensus: a paradigm for model fitting with applications to image analysis and automated cartography, Comm. of the ACM 24, pp. 381-395.
Funayama, R., Yanagihara, H., Van Gool, L., Tuytelaars, T. and Bay, H. (2009), Robust interest point detector and descriptor, Patent US8165401.
Hartley, R. and Zisserman, A. (2003), Multiple view geometry in computer vision. 2nd ed., Cambridge University Press, Cambridge. p. 607
Jeon, H. S., Choi, Y. C., Park, J. H. and Park, J. W. (2010), Multi-point measurement of structural vibration using pattern recognition from camera image, Nuclear Engineering and Technology, Vol. 42, No. 6, pp. 704-711.
Kim, H.W., Kim J.M., Kim Y.J. and Kim Y.S. (2011), Measurement of lateral prestress force of UHPC cross beam using the smart tendon, COSEIK annual conference 2011, T22, pp. 178-181.
Kim, J.H., Koo, K.M., Kim, C.K. and Cha, E.Y. (2012), SURF algorithm to improve correspondence point using geometric features, Journal of The Korea Society of Computer and Information, Vol. 20, No. 2, pp. 43-46.
Lischinski, D. (2007), Structure from motion: Tomasi- Kanade factorization, http://www.cs.huji.ac.il/~csip/sfm.
pdf (last date accessed: 16 April 2013).
Lucas, B.D. and Kanade, T. (1981), An iterative image registration technique with an application to stereo vision, International Joint Conference on Artificial Intelligence, pp. 674–679.
Luhmann, T., Robson, S., Kyle, S. and Harley, I. (2006), Close Range Photogrammetry: Principles, Methods and Applications, Wiley, Scotland, UK, p. 510
Mikolajczyk, K. and Schmid, C. (2005), A performance evaluation of local descriptors, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 27, No.
10, pp. 1615-1630.
Ozbek, M., Rixen, D. J., Erne, O. and Sanow, G. (2010), Feasibility of monitoring large wind turbines using photogrammetry, Energy, Vol. 35, pp. 4802-4811.
Rousseeuw, P.J. and Leroy, A.M. (1987), Robust regression and outlier detection, John Wiley & Sons, New York, p. 360 Shi, J. and Tomasi, C. (1994), Good features to track, IEEE
Conference on Computer Vision and Pattern Recognition, pp. 593–600.
Sun, H.H. and Soares, C.G. (2003), Reliability-based structural design of ship-type FPSO units, Journal of Offshore Mechanics and Arctic Engineering, Vol. 125, No. 2, pp. 108-113.
The MathWorks (2011), Computer Vision System Toolbox User’s Guide, http://www.mathworks.co.kr/help/pdf_doc/
vision/vision_ug.pdf (last date accessed: 16 April 2013).
Trucco, E. and Plakas, K. (2006), Video tracking: a concise survey, IEEE Journal of Oceanic Engineering, Vol. 31, No. 2, pp. 520-529.
Yilmaz, A., Javed, O. and Shah, M. (2006), Object tracking:
a survey, ACM Computing Surveys, Vol. 38, No. 4, pp.
1-45.
(접수일 2013. 04. 01, 심사일 2013. 04. 12, 심사완료일 2013. 04. 24)
