스테레오비전을 이용한 6 자유도 머니퓰레이터 변위 측정
Six-degree-of-freedom Manipulator Displacement Measurement using Stereo Vision
이동혁1, 백소영2, 조남규3,
Dong-Hyeok Lee1, So Young Baek2, and Nahm Gyoo Cho3,
1 한양대학교 일반대학원 기계설계·메카트로닉스공학부 (Department of Mechanical Design and Machatronics, Hanyang University) 2 한양대학교 일반대학원 기계설계공학과 (Department of Mechanical Design Engineering, Hanyang University) 3 한양대학교 기계공학과 (Department of Mechanical Engineering, Hanyang University)
Corresponding author: [email protected], Tel: +82-31-400-5286 Manuscript received: 2014.9.25 / Revised: 2014.12.5 / Accepted: 2015.1.5
In this paper, six-degree-of-freedom (DoF). Displacement measurement technique using a compact stereo-vision system is proposed. The measuring system consists of a camera, an optical prism, two plane mirrors, and a planar marker on a target. The target was attached on an object so that its six-DoF displacement can be calculated using a proposed coordinates estimating algorithm and stereo images of the marker. A prototype was designed and fabricated for performance test. From the test results, it can be confirmed that the proposed measuring technique can be applied to monitoring and control of various manipulators.
Key Words: Displacement measurement (변위 측정), Stereo vision (스테레오비전), Vision-based system (비전기반 시스 템), Planar marker (평면 마커), Six degree of freedom (6 자유도)
1. 서론
길이측정기술은 강체의 이동 변위측정은 물론 탄성체의 변형률 또는 힘/토크 측정 등에 응용되 며, 정밀부품검사, 산업용 로봇이나 의료용 로봇에 적용되는 다양한 머니퓰레이터 제어에 이르기까지 널리 사용되고 있는 측정기술이다. 최근에는 정밀 기계 및 로봇 등의 다기능 제품들이 급격히 증가 함에 따라 다자유도 변위측정기술의 중요성이 증 대되고 있으며, 소형화, 저가화, 고분해능화 등의 추가적인 요구에 대응할 수 있도록 다양한 기술들 이 연구되고 있다.1 다빈치 로봇과 같은 의료용 로 봇의 경우, 수술시 머니퓰레이터의 움직임이 자유
롭고, 머니퓰레이터의 끝단 위치를 정확하고 정밀 하게 측정할 필요가 있다. 그러므로, 가격경쟁력을 위한 저가화 노력은 물론, 의료용 로봇의 끝단에 부착하여 측정할 수 있도록 소형화기술, 측정결과 의 고신뢰성을 위한 고정밀화와 다자유도화 기술 등의 확보를 위한 다양한 연구/개발이 진행되고 있다.2
변위를 측정하기 위한 센서의 종류는 크게 스 트레인게이지, 광학식, 정전용량변위센서, 와전류 변위센서, 초음파센서, 비전카메라 등으로 분류할 수 있다. 스트레인게이지를 이용하여 변위를 측정 하는 경우, 탄성체의 변형률 및 변위를 정밀하게 측정할 수 있지만, 머니퓰레이터의 구동범위를 측 __________
Copyright Ⓒ The Korean Society for Precision Engineering
This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/3.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.
센서를 필요로 한다.6 그에 비해, 비전방식의 변위 측정은 카메라를 이용하기 때문에 대부분의 물체 를 용이하게 검출할 수 있고, 렌즈 배율에 따라 측정 범위도 자유롭게 결정할 수 있다. 이미지 센 서의 해상도에 의해 측정성능이 제한되지만, 이제 까지의 이미지 센서 발달 추이를 보면 더욱 향상 될 것으로 보인다. 게다가 카메라를 통해 타겟을 관찰하기 때문에 다자유도 측정이 용이하고 넓은 측정범위를 가진다.7 따라서, 토목구조물 및 교량 의 기울기, 휨 정도를 관찰하는 등의 연구에 적용 되었다.7,8 그 밖에 최근에는 현미경을 이용한 힘 측정에 관한 연구까지 진행되는 등, 그 적용범위 가 넓어지고 있다.9 그러나 현재 비전카메라를 이 용한 다자유도 변위측정 연구에서는 많은 경우 측 정대상물의 정확한 좌표계 일치를 위해 정해진 레 퍼런스 마커를 사용하고 있으며, 단일 카메라를 이용하기 때문에 깊이방향 Z축 분해능이 떨어지는 단점이 있다.10
본 논문에서는 프리즘, 거울과 하나의 카메라 를 이용한 스테레오비전 방식의 6자유도 변위측정 알고리즘을 개발하고, 시작품을 구축하였다. 그리 고 임의의 3점 마커를 사용해도 변위 산출이 가능 하도록 하여 그 적용성을 넓혔다. 또한, 구축된 변 위측정시스템에 대한 성능평가 실험을 실시하였다.
2. 스테레오비전을 이용한 6 자유도 변위측정 알고리즘 개발 및 시스템 구축
2.1 6 자유도 변위측정 알고리즘 개발
프리즘, 거울과 하나의 카메라를 이용한 스테 레오비전 방식의 6자유도 변위측정 시스템의 개략 을 Fig. 1(a)에 보인다. 임의의 3점이 인쇄된 마커는 좌/우의 평면거울과 광학프리즘에 반사되어 카메
라의 이미지센서에 그 상이 맺힌다. 즉, Fig. 1(b)와 같이, 거울과 프리즘을 통해 양안시차를 가진 2개 의 상이 하나의 이미지센서를 통해 획득된다. 이 양안시차를 이용하여 타겟의 3차원 위치와 자세가 산출된다. 그리고, 카메라의 촬영속도에 따라 획득 되는 연속된 이미지 2장을 이용하여 타켓의 위치 및 자세의 변화량을 계산하면, 피측정물의 6자유 도 변위를 획득할 수 있다.
제안된 6자유도 변위측정 시스템은 Fig. 2와 같 은 좌표계 구성으로 표현할 수 있다. 타겟 좌표계 {Ta}, 거울 좌표계 {M1L}, {M2L}, {M1R}, {M2R} 카메 라 좌표계 {CL}, {CR}, 이미지 평면의 좌표계 {IL}, {IR}로 나타낼 수 있으며 타겟의 점 PTa는 좌/우의 평면거울과 광학프리즘을 거쳐 좌/우 이미지평면 위의 점 PIL,PIR로 맺힌다. 좌표계 사이의 변환관계 는 식(1), (2)와 같은 식으로 나타낼 수 있다. 여기 서, T는 좌표계 변환행렬이다. 변환행렬 T의 아래 첨자는 변환 이전의 좌표계를 나타내며, 위첨자는
(a) Proposed 6-DoF displacement measuring system
(b) Acquired single image with binocular parallax Fig. 1 A schematic of 6-DoF displacement measuring
system using stereo vision
변환하고자 하는 좌표계를 나타낸다. 따라서, Fig. 2 와 식(1), (2)는 공간상의 임의의 한 점이 제안된 측정 시스템을 통과하여 이미지 센서에 투영되는 과정을 나타내었다.
(1)
(2)
따라서, 제안된 6자유도 변위측정 시스템은 단 일 카메라를 사용함에도 불구하고 스테레오비전과 동일한 광경로를 갖는다. 타겟 점의 3차원 공간 위치는 양안시차를 이용한 삼각측량 방법을 통해 산출될 수 있다. Fig. 3에 보이는 것과 같이, 베이스 라인 b와 타겟까지 수직거리 Z일때, 사인법칙과 삼각형법칙을 이용하면 식(3)과 같이 수직거리 Z 를 알 수 있다. 그리고 식(4), (5)에 보이는 것과 같 이, 산출된 Z값과 θx, θy를 이용하여 X, Y좌표를 산 출할 수 있다. 따라서, 이미지 센서에 맺힌 두 점 PIL과 PIR을 이용하여 PTa의 3차원 공간상의 좌표 (X, Y, Z)를 산출할 수 있다.
2 1
2 2 2
2 2
a c b Z=⎡⎢⎢⎣ + −⎛ ⎞⎜ ⎟⎝ ⎠ ⎤⎥⎥⎦
(3)
tan(tan 1 x)
X Z= −θ (4)
tan(tan 1 y)
Y Z= − θ (5)
Fig. 1에 보인 타겟 위의 임의의 3점이 이미지 센서에 투영된 좌표를 식(3)-(5)에 적용하면, 임의 의 3점의 3차원 공간 위치 (X1, Y1, Z1), (X2, Y2, Z2), (X3, Y3, Z3)를 각각 산출할 수 있다. 그리고 그 점 들을 각각 P1, P2, P3라고 하였다. Fig. 4와 같이, 타 겟 좌표계는 직교좌표계를 사용하고 있으므로, 원 점 P2에서 P3를 연결하는 방향의 벡터 P P2 3
을 X축 이라고 가정하고, Y축 방향의 단위벡터는 점 P1, P2, P3를 포함하는 평면상에서 X축 방향의 단위벡터에 수직한 벡터이다. 그리고 Z축 방향의 단위벡터는 두 단위벡터 Ux, Uy의 외적으로 구할 수 있다.11 따라서, 타겟 좌표계의 단위벡터는 식(6)-(8)로 나 타낼 수 있다. 이 방법은 세 점의 위치에 대한 특 별한 구속조건을 필요로 하지 않으므로, 임의의 3 점에 대해서 적용이 가능한 장점을 가진다.
Fig. 2 Transformation relationships of the coordinate systems
Fig. 3 Target point positions calculation by triangular- tion principle
Fig. 4 Estimation to target coordinate
Fig. 5 Calculation on rotation of target pose
(6)
(7)
z x y
u = ×u u
(8) 카메라의 촬영속도에 따라 획득되는 연속된 두 장의 이미지에 타겟 좌표계 추정방법을 적용하여 6자유도 변위를 산출한다. 이전 이미지에서 추정 된 타겟 좌표계의 원점을 OG(xG, yG, zG)라고 하고, 다음 이미지에서 추정된 타겟 좌표계의 원점을 O’G (x’G, y’G, z’G) 이라고 하였다. 식(9)-(11)과 같이, 두 좌표계 원점의 변화량을 타겟의 병진이동량으 로 산출하였다.
Δ =x x'G− (9) xG
Δ =y y'G− (10) yG
Δ =z z'G− (11) zG
회전이동량 θx, θy, θz 은 산출된 병진이동량을 이용하여 두 좌표계의 원점을 일치시킨 후 두 좌 표계의 단위벡터의 정사영을 이용하여 계산할 수 있다. Fig. 5에 보이는 것과 같이, 두 번째 이미지를 통해 추정된 타겟 좌표계의 단위벡터 중 하나인
'z
u 가 첫 번째 이미지를 통해 추정된 타겟 좌표계 의 XY, YZ, ZX 평면으로 투영된 직선 , ,
으로부터 회전이동량 θz, θy, θx를 산출할 수
있다. 이를 이용한 산출식을 식(12)-(14)로 나타내 었다.
_ 1
_
' ' cos ' '
z z yz x
z z yz
u u θ − u u⋅
=
(12)
1 _ _
' ' cos ' '
z z xz y
z z xz
u u θ − u u⋅
=
(13)
1 _ _
' ' cos ' '
z z xy z
z z xy
u u θ − u u⋅
=
(14)
2.2 6 자유도 변위측정 시스템 구축
제안된 6자유도 변위측정 알고리즘을 기반으로 구축된 6자유도 변위측정 예비실험 구성을 Fig. 6 에 보인다. 광학프리즘과 2개의 거울과 5 Megapixels 카메라(ALLIED Vision Technologies, Guppy PRO F- 503)를 이용하였다. 타겟은 레이저프린터를 이용하 여 인쇄하였다. 이 변위측정 시스템을 이용하여 이미지처리, 좌표계 산출 등의 소프트웨어를 구축 하였다. Fig. 1(b)와 같이 획득된 이미지에서 각 점 Fig. 6 A preparatory experiment setup for proposed
displacement measuring algorithm
의 중심위치를 산출하기 위해서 몇 단계의 이미지 처리 방법을 적용하였다. 우선, 타겟 점들 이외의 다른 이미지를 제거하기 위해서, 저역통과필터를 적용하고 이미지를 이진화시켰다. 그리고 이미지 의 크기를 이용하여 좌/우 이미지로 분할하였다.
마지막으로 분할된 이미지와 타겟을 인쇄하기 위 해 사용된 점을 템플릿으로 하여 2차원 상호상관 함수를 계산한다. 상호상관계수가 최대값인 3점의 위치를 출력할 수 있도록 하였다. 좌/우 이미지에 서 출력된 각각의 3점의 위치를 제안된 6자유도 변위측정 알고리즘에 적용할 수 있도록 구축하였 다. 이 예비실험 장치를 통해 데이터처리부를 구 성하고 동작여부를 확인하였다.
그러나, 본 연구에서는 6자유도 변위측정이 가 능한 소형/정밀 시스템 구축이 주된 목표이므로 의료용 로봇 머니퓰레이터에 적용가능성을 추가로 확인하였다. 기존 의료용 로봇의 기술적 요구조건 을 Table 1에 보인다. 의료용 로봇의 적용 가능한 수술은 안구수술(Ophthalmic surgery), 뇌수술(Brain surgery), 최소침습수술(Minimally invasive surgery), 미세혈관수술(Microvascular surgery)로 크게 분류할 수 있다. 수술을 위한 의료용 로봇의 측정 자유도 는 절단(Cutting), 찌르기(Pushing), 잡기(Holding) 등 의 움직임을 구현하기 위해 4자유도 이상의 다자 유도 움직임이 가능해야 한다. 따라서, 다자유도 변위측정이 가능하고 수 µm 측정 분해능과 수 mm의 측정범위를 가진 변위측정시스템이 요구되 고 있다. 본 연구에서는 측정범위는 약 5 mm, 측 정 분해능은 약 5 µm 이내의 성능을 갖는 6자유도 변위측정 시스템을 구축하는 것을 목표로 하였다.
그리고 로봇에 용이하게 적용할 수 있도록 소형화 를 고려하여 Fig. 7과 같은 소형 변위측정 시스템 의 시작품을 구축하였다. 거울, 프리즘과 타겟을
포함한 주요 부품들로 구성된 모듈의 크기가 90 x 90 x 50 mm이고, 고정지그는 3D 프린터를 이용하 여 제작하였다.
3. 성능 실험 및 고찰
구축된 6자유도 변위측정 시스템의 성능을 평 가하기 위해 6자유도 정밀 구동스테이지를 엔드이 펙터(End effector)에 부착하여 의료용 로봇의 움직 임과 같이 6자유도 구동이 가능하도록 하였다. 성 능 실험을 위한 실험장치를 Fig. 8에 보인다.
구축된 변위측정 시스템의 측정 선형성을 확인 하기 위해, 병진이동은 각 축으로 5 µm씩 움직이 며 이미지를 획득하였고, 회전이동은 각 축으로 Table 1 Technical needs for the applications in the
medical machine field
Surgery Ophthalmic Brain Minimally Invasive
Micro- vascular
Motion Screwing, cutting
Puncturing, cutting
Cutting, pushing and fitting
Holding, fitting, cutting
D.O.F. 4 5 6 6
Workspace 10 ~ 1000 µm
300 ~ 2000 µm
200 ~ 5000 µm
40 ~ 2000 µm Accuracy 15~
30 µm
20~
40 µm
30~
600 µm 25~
50 µm
Fig. 7 Prototype of the miniaturized 6-DoF displace- ment measuring system
Fig. 8 Performance test setup for the miniaturized 6- DoF displacement measuring system
0.25°씩 회전하며 이미지를 획득하였다. 획득된 이 미지와 개발된 6자유도 변위 산출 알고리즘을 적 용하여 계산된 결과를 Fig. 9에 보인다. 병진이동의 경우 x, y축의 입/출력비의 계수가 0.9793, 0.9861으 로 1에 가까운 값이 출력되는 것을 확인하였다.
그에 비해 Z축 방향의 병진이동은 입/출력비의 계 수가 1.1035로 다른 축에 비해 증폭되어 출력되었 다. 따라서, 스테레오비전 방법이 적용되어 Z축 방 향의 병진이동에 대해서도 X, Y축 방향의 병진이 동과 유사한 분해능으로 변위측정이 가능함을 확 인하였다. 그리고 정밀도를 통계적으로 추정하기 위해 회귀직선의 결정계수 R2를 산출하였다. 이는 두 변량 사이에 존재하는 상관관계를 나타내는 값 으로, 0.81 이상의 값을 가지면 강한 선형성을 보 인다고 볼 수 있으며, 1에 가까울 수록 더욱 강한 상관관계를 나타낸다.12 측정데이터를 기초로 하여 계산된 결정계수 R2이 0.98 이상으로 나와 변위 측
정 시스템이 좋은 선형성을 나타냄을 확인하였다.
회전이동에 대해서도 유사한 결과를 얻을 수 있었 다.
측정 시스템의 반복성을 확인하기 위해 반복 측정 실험을 하였다. 각 축에 따라 각각 10회씩 반복측정한 결과, 이미지센서에 맺히는 타겟의 위 치가 X, Y 방향으로 ±1 pixel내로 안정된 결과를 나타내었다. 즉, 사용된 카메라의 해상도로 환산하 면 약 ±2 µm이다. 이 결과를 기반으로 반복정밀도 를 표준편차로 나타내면, 병진 이동의 경우, x축의 표준편차는 ±0.4 µm, y축의 표준편차는 ±0.4 µm, z 축의 표준편차는 ±0.5 µm 로 나왔다. 회전 이동의 경우, x축의 표준편차는 ±0.07°, y축의 표준편차는
±0.07°, z축의 표준편차는 ±0.04°로 나왔다.
또한, 대구동이 가능한 매뉴얼 스테이지를 이 용하여 엔드이펙터를 구동하여 측정범위를 확인하 는 실험을 하였다. 현재의 측정 시스템에서 측정 (c) Z-axis translation (d) X-axis rotation
(e) Y-axis rotation (f) Z-axis rotation Fig. 9 Sensitivity results of the proposed displacement measuring system
가능한 병진 범위는 X축은 6 mm, Y축은 14 mm, Z 축은 5 mm이다. 그리고 회전 범위는 X, Y축은 8°
이내로, Z축은 360° 이내로 확인되었다. 따라서, Table 1의 의료용 로봇 머니퓰레이터의 작업공간과 정밀도를 비교했을 때, 제안된 6자유도 변위측정 시스템이 의료용 로봇 머니퓰레이터의 변위측정에 적용 가능할 것으로 생각된다. 또한, 대면적 이미 지 센서를 적용하면 측정범위를 손쉽게 넓힐 수 있어서 제안된 측정시스템의 활용성이 높은 것으 로 사료된다. X축과 Y축의 병진이동 측정범위가 절반이상 차이가 나는 이유는 광학시스템을 이용 하여 한 대의 카메라로 스테레오이미지를 얻고 그 이미지를 반으로 나누어 좌/우 이미지를 얻었기 때문에 X축의 측정 범위가 절반으로 줄어든다. 따 라서, 가로로 넓은 와이드 이미지 센서를 이용하 면 이런 문제를 쉽게 해결할 수 있을 것으로 생각 된다. 측정 실험을 통하여 측정 시스템의 병진 측 정범위는 이론적 측정범위와 유사함을 확인할 수 있었다. 물론, 의료용이나 산업용 로봇에 적용되기 위해서는 더욱 세밀한 성능평가 및 분석, 불확도 분석을 통한 신뢰성 평가 등의 연구가 추가로 진 행되어야 할 것이다.
4. 결론
의료용 로봇을 비롯한 다양한 머니퓰레이터의 구동상태 측정이 가능하도록, 스테레오비전을 이 용한 6자유도 변위 측정’을 수행하고, 그 실용가능 성을 검토한 본 연구의 주요 연구결과는 다음과 같다.
스테레오비전 시스템으로부터 획득되는 타겟의 이미지로부터 타겟시스템의 좌표계를 추정할 수 있도록 타겟의 형태와 조건을 제시하고, 이의 적 용을 이용한 측정대상물의 6자유도 변위측정 알고 리즘을 제안하였다.
스테레오비전시스템의 소형화를 위해, 한 대의 카메라와 2 개의 평면거울 및 1 개의 광학프리즘 을 이용하여 스테레오비전 획득장치를 고안하고 그 시작품을 설계/구축하였다.
스테레오비전 기반의 6자유도 변위측정 시스템 의 측정 범위는 병진이동의 경우, x-축 방향 6 mm, y-축 방향 14 mm, z-축 방향 5 mm이고, 회전이동의 경우, x-축 방향 45°, y-축 방향 45°, z-축 방향 360°
이다. 그리고 측정 시스템의 측정 분해능은 병진 이동 5 µm, 회전이동 0.1°로 미세수술용 로봇 매니
퓰레이터에 적용 가능함을 확인하였다.
후 기
본 논문은 2013년 정부(교육부)의 재원으로 한 국연구재단의 지원을 받아 수행된 연구임 (NRF- 2013R1A1A2013139).
REFERENCES
1. Lee, D. H., Kim, M. G., and Cho, N. G.,
“Development of Multi-Degree of Freedom Carbon Fiber Plate Force/Torque Sensor,” J. Korean Soc.
Precis. Eng., Vol. 29, No. 2, pp. 170-177, 2012.
2. Kwon, D.-S., Woo, K. Y., Song, S. K., Kim, W. S., and Cho, H. S., “Microsurgical Telerobot System,”
Proc. IEEE/RSJ International Conference on Intelligent Robots and Systems, Vol. 2, 1998.
3. Kim, M. G., Lee, D. H., and Cho, N. G., “A Force Sensor with Five Degrees of Freedom using Optical Intensity Modulation for Usage in a Magnetic Resonance Field,” Measurement Science and Technology, Vol. 24, No. 4, Paper No. 045101, 2013.
4. Jeon, H., Bang, Y., and Hyun, M., “A Paired Visual Servoing System for 6-DOF Displacement Measurement of Structures,” Smart Materials and Structures, Vol. 20, No. 4, Paper No. 045019, 2011.
5. Park, J. J. and Cho, N. G., “Development of a Precision Indentation and Scratching System with a Tool Force and Displacement Control Module,”
Review of scientific instruments, Vol. 78, No. 4, Paper No. 045102, 2007.
6. Borenstein, J. and Koren, Y., “Obstacle Avoidance with Ultrasonic Sensors,” IEEE Journal of Robotics and Automation, Vol. 4, No. 2, pp. 213-218, 1988.
7. Lee, J. J. and Shinozuka, M., “A Vision-Based System for Remote Sensing of Bridge Displacement,”
NDT & E International, Vol. 39, No. 5, pp. 425-431, 2006.
8. Cigada, A., Mazzoleni, P., Tarabini, M., and Zappa, E., “Static and Dynamic Monitoring of Bridges by Means of Vision-Based Measuring System,” in Topics in dynamics of bridges, Vol. 3, pp. 83-92, Springer, 2013.
9. Greminger, M. A. and Nelson, B. J., “Vision-based
Technology, Vol. 27, No. 12, pp. 3861-3868, 2013.
12. Milton, J. S. and Arnold, J. C., “Introduction to Probability and Statistics: Principles and Applications for Engineering and the Computing Sciences,”
McGraw-Hill, pp. 424-426, 2003.
