CopyrightⓒKROS
1. 서 론`
1. 서 론
정보기술의 발전은 컴퓨터 안에서만 존재하던 소프트웨 어를 다양한 사물 속으로 끌어 내고 있으며, 이로 인해 산 업뿐만 아니라 예술이나 창작분야에서도 정보기술을 결합 한 다양하고 창의적인 시도들이 이루어져 보는 이들에게 영감을 주고 있다. 이러한 시도가 개인의 개성표현을 넘어 전문적인 수준으로 발전함에 따라 큰 부가가치를 낼 수 있는 새로운 형태의 콘텐츠에 대한 관심이 높아지고 있으 며, 예술과 기술을 융합하는 시도는 당분간 지속될 전망이
다[1,2]. 본 논문에서는 이러한 시도의 일환으로 영상처리기
술과 로봇기술을 응용한 화가 로봇 시스템을 제안하고자
한다.
현재 여러 가지 방법으로 그림을 그리는 화가로봇들이 있다. 첫 번째로, Automatic Graffiti Robot라 불리는 로봇은 두 가닥의 줄에 스프레이가 매달려 그림을 그리는 시스템 이다. 스프레이 양쪽에 달린 줄을 잡아 당기고 느슨하게 하면서 스프레이의 위치를 옮겨 그림을 그린다. 이 시스템 을 이용하면 아파트 벽과 같은 건축물 외벽에 그림을 그 릴 때, 사람이 위험하게 올라가서 그릴 필요가 없게 된다[3]. 다음으로, 독일 콘스탄츠 대학 연구팀이 개발한 'e-David'가 있다. e-David는 붓을 이용해 물감으로 그림을 그리는 로봇 이다. 이 로봇은 5개의 붓과 24가지 색을 선택할 수 있고, 심지어 어느 부분을 진하게 칠해야 하고 엷게 칠해야 하 는지를 계산하여 그림을 그리기도 한다. 또한 e-David는 스 스로 붓을 물로 깨끗하게 청소하는 기능도 갖고 있다[4].
마지막으로, Patrick Tresset에서 Paul이라 불리는 화가 로봇 을 개발했다. Paul은 카메라로 얻은 사람 얼굴을 볼펜으로 그림 그린다. 이 로봇은 사람의 얼굴 형태부터 먼저 그린 다음 이목구비를 그리고 머리카락과 음영을 그리는 순으 로 사람 얼굴을 완성해 간다[5].
본 논문에서 제안한 화가 로봇 시스템은 선분을 근간으
Received : Jul. 22. 2014; Reviewed : Jul. 30. 2014; Accepted : Aug. 8. 2014
※ This work was supported by the Industrial Strategic Technology Development Program funded by the Ministry of Trade, Industry, and Energy (MOTIE, Korea)
1 Dept. of Information & Communications Engineering, Hansung University ([email protected])
2 Dept. of Information & Communications Engineering, Hansung University ([email protected])
3 Dept. of Information & Communications Engineering, Hansung University ([email protected])
† Corresponding author: Dept. of Information & Communications Engineering, Hansung University, 389, Samsun-Dong 2-Ga, Sungbuk-Gu, Seoul, Korea ([email protected])
윤곽선의 선분 근사화를 활용한 양팔 화가 로봇의 개발
Development of a Dual-Arm Drawing Robot using Line Segment Approximation of Image Edges
김 정 규1, 이 상 필2, 정 혜 림3, 조 혜 경†
Jung-Kyu Kim1, Sang-Pil Lee2, Hye-Lim Jung3, Hye-Kyung Cho†
Abstract This paper introduces a dual-arm robot painter system which is capable of sketching a camera-captured image with short line segments. To express various curved edges in the image by combining line segments, we first apply edge detection algorithm to the entire image, split the edged image into small boxed pieces, and then apply Hough Transformation to each piece so that the edges inside the piece can be approximated with short line segments. To draw the picture within a reasonable time, we designed a simple dual-arm robot system and controlled both arms concurrently according to linear interpolation algorithm. From the experiments, we could verify that simple linear motions can describe various images effectively with a unique brush style.
Keywords: Edge Detection, Hough Transform, Painter Robot
로 그림을 그 Paul과 유사 두 팔을 사용 일반적으로 적으로 모델 상당히 복잡 산을 피하고 으로 표현하 환 및 역기구 해 들어온 이 구현한다.
2.1 전체 본 논문에 에서 선분을 변환을 이용 그리는 양팔 전체 시스 영한 컬러이 음을 제거하 곽선 추출 알 된 윤곽선 이 서 허프 변환 들을 선분화 시키고, 끝점
그린다는 점에 사하나, 그림을
용하고 새로운 영상의 윤곽선 델링하고 곡선을 잡한 과정을 동반 고 선분들의 조 하기 위해, 다양 구학(inverse kin 이미지를 로봇
2
시스템 에서는 사물이나 을 추출하기 위해 용하고, 좌표 변 팔 화가 로봇을 스템의 구성은 F 이미지를 흑백화 하기 위해 가우
알고리즘을 이 이미지를 여러 환을 적용한다 화 한다. 그 후 점이 이어지는 선
Fig. 1. Ma
에 있어 Patrick 그리는 시간을 운 영상처리 알고
선은 곡선의 형 을 따라 로봇 팔
반한다. 본 논문 조합만으로 영상 양한 영상처리
nematics)을 이용 봇 팔이 종이에
. 본 론
나 사람을 카메 해 캐니-윤곽선 변환과 역기구학
구현한다.
Fig. 1과 같다.
화 한다. 흑백화 우시안 필터를 적
용하여 윤곽선 개의 셀로 분 다. 허프 변환의 성분이 비슷한 선분들은 연결
ajor work proces
Tresset에서 개 을 단축시키기
고리즘을 적용 형태이나, 이를
팔을 제어하는 문에서는 복잡한 상의 특징을 효
알고리즘과 좌 용하여 카메라를
그리도록 설계
메라로 촬영한 선 추출 기법과 학을 이용해 그
카메라를 통해 화 된 이미지에서 적용한 후, 캐니 선을 추출한다.
분할하고 각 셀 결과로 나온 한 선분들을 군
하여 선분의 개
ss
개발한 위해 용한다.
수학 것은 한 계 효과적 좌표변 를 통 계 ·
영상 허프 그림을
해 촬 서 잡 니 윤 추출 내에 직선 군집화
개수
를 줄 록 화 하고 다음 도록
2 Fi 모터 수 있 이에 상의 그 므로 카메 를 종 이것 역기 다음 각도 역
줄인다. 이렇게 화면상의 좌표를 고, 역기구학을 음 모터에게 명 록 제어한다.
2.2 로봇 기구부 ig. 2는 로봇의 터 중 2개의 모 있도록 하며, 나 에서 접촉할 수 의 좌표를 나타낸 그림을 그리기 로 좌표 변환과 메라를 통해 얻어
종이 위 20cm 것은 로봇 팔을 기구학에서 필요 음으로, 역기구학 도로 계산하는 역 역기구학 식은
Fig. 2. Coor
Fig. 3. Coo
게 얻은 선분들을 를 로봇이 그릴 이용하여 모터 령을 보내어 로
부 설계 왼쪽 팔로 3개 터를 사용하여 나머지 모터는 있게 한다. Fig 낸 것이다.
위해서는 3자유 과 역기구학을 유 어지는 640 * 4
* 15cm의 좌표 을 종이 위에서
요한 로봇 기준 학은 로봇 좌표 역할을 한다. 그
이고
rdinate system d
ordinate system o
을 로봇 팔이 그 릴 도화지상의
터의 각도를 로봇이 그림을
개의 모터로 구성 여 펜이 그릴 위 는 펜을 위아래로
ig. 3은 그림이
유도의 팔 제어 유도한다. 우선 480 픽셀(pixel) 표로 변환하는 서 정확하게 제 준 좌표를 구하 표계 위치를 3자
그 계산은 다음 고, 는 주어진
definition of robo
of the drawing
그릴 수 있도 좌표로 변환 계산한다. 그 을 그릴 수 있
성된다. 3개의 위치로 이동할 로 움직여 종 그려질 종이
어가 필수적이 선 좌표변환은 이미지 좌표 역할을 한다.
제어하기 위해 하는 과정이다.
자유도 모터의 음과 같다.
진다.
ot arm
plane
0 0 이 때, 역 기
가 되며, 식
산할 수 있다
tan
이 때, 양과 데 본 논문에
다음으로
가 되며, 식
가 되므로, 크
에서 최종적
tan
0 1 기구학의 위치정
식 (1), (2)의 1를 이 다.
⁄ 1
음의 부호에 따 에서는 양의 부호
을 구하면,
(4), (5)를 행렬
크레이머 공식
적으로 을 식
⁄
0 0 0 0 0 0 1
0 정보를 이용하면
양변을 각각 이용하면, 를
cos
따라 값이 두 개 호를 이용하여
렬로 정리하면
에 의해
⁄
⁄
(6)과 같이 구할 0
0 1 0 0 1 면
제곱하여 더하 를 식 (3)과 같이
개가 존재하게 자세를 결정한
할 수 있다[6].
(1)
(2)
하고, 이 계
(3)
되는 한다.
(4)
(5)
,
(6)
이 까지 위와 링(m 터가
2 소 라 부 체적 가공 을 이
이 통해 scale detec 변환 로 근
여 으로 mask 마스 미분 을 구
이렇게 구한 , 지 이동시킬 수 와 동일한 과정을
mirroring)하여 반 가 동작하도록 모
2.3 제어 소프트 소프트웨어의 아 부, 컴퓨터 부 적인 흐름은, 카 공하여 윤곽선을
이용하여 로봇 이 과정을 자세히 해 대상의 이미지
e)한다. 이후 ction algorithm) 환(Hough transfo 근사화한다.
여기서 캐니 윤곽 로 이루어진다.
k)를 이용하여 스크(Sobel mask 분 값과 y방향
구한다. 다음으
Fig. 4. A
, 값을 모터에 있다. 반대쪽 을 거쳐 계산할 반대쪽 로봇 팔 모터들에게 명령
트웨어 설계 아키텍쳐(archite
및 로봇 시스템 카메라로 받아들
을 선분의 조합 팔을 제어하는 히 설명하면 다 지를 획득한 후 캐니 윤곽선 )을 적용하여 orm)을 응용하여
곽선 추출 알고 . 가장 먼저 가 스무딩(smooth k)를 x방향, y방 미분 값을 구하 으로 기울기 크
Architecture of t
에 각각 설정하 팔의 모터의 각 할 수 있고, 그 팔과 대칭적인 령어를 내린다
ecture)는 Fig. 4와 템 부로 구성되 들인 영상 데이 합으로 변환하고
는 것이다.
다음과 같다. 먼 후, 그 이미지를 추출 알고리즘 윤곽선을 추출 여 윤곽선을 선
고리즘은 다음과 가우시안 마스 hing)을 수행을 방향에 대해 적용
하여 기울기 크 크기가 방향각
the overall syste
하여 목표위치 각도 값 역시 값들을 미러 각도에서 모 다.
와 같이 카메 되어 있다. 전 터를 PC에서 고, 이 선분 식
먼저 카메라를 를 흑백화(grey 즘(canny edge 출한 후, 허프 선분의 조합으
과 같은 과정 스크(Gaussian 을 한 후, 소벨 용하여 x방향 크기와 방향각
방향의 주변
em
값보다 작을 상한과 하한 경우 무조건 곽선에서 제 있을 때 윤곽
허프 변환 직선 성분을 , 를 지 선거리와 방 서는 곡선으 는 곡선이 많 현되는 직선 환된 공간에 구할 수 있다
본 논문에 분할하여 허 그대로 허프 뿐만 아니라 연결되지 않 나 섬세한 선 를 분할하면 에 연산량이 구할 수 있게
이렇게 직 으로 변환하 면 마치 낙서 를 알아볼 수 어떻게 다른 영상과 그 점 상, 그리고
Grey Scale
Fig.
을 경우, 윤곽선 한의 문턱치(thr 건 윤곽선으로 삼 제외시키며, 그
곽선으로 삼는 환은 이미지를 을 찾는 과정이 지나는 모든 직 방향각을 파라미 으로 표현되는데 많다는 것은 원 선이 존재한다는 에서 임계치를 넘
다[9].
에서는 Fig. 5와 허프 변환을 적 프 변환을 적용하 라, 임계치를 설 않은 긴 직선 성
선들의 정보를 면 분할된 셀(ce 이 많이 줄어들며
게 된다.
직선을 구한 후 하는 작업이 필요
서를 한 듯한 수 없게 되기 때 른 영상을 만들
점 영상을 허프 연구에서 제안
Image Canny
5. Process of D
선 대상에서 제거 reshold)를 두어 삼고, 하한의 미
사이는 주변에 과정을 거친다 구성하는 점들 다. 직각 좌표 선들은 원점 ( 미터(parameter)로 데, 이 공간에서
원래 영상에 해 는 것을 의미하
넘는 점들을 선
같이 전체 영상 용하는데, 전체 하면 연산의 속 정하는 데에 따 성분이 많이 나 를 얻을 수 없기 ell) 내의 점만으
며, 실제로 연결
에는 시작점과 요하다. 만일 직
직선들이 그려 때문이다. Fig.
들어 내는 지 보 프 변환하여 직 안한 알고리즘으
y Edge Image
DHF(Division Houg
거한다. 마지막 어 상한을 초과 미만일 경우에는 에 자신 이상인
다[7,8].
들을 이용하여 계 상의 임의의 0, 0)에서부터의 로 재구성한 공 서 특정한 점을
해당 파라메터로 게 된다. 따라서 선별하면 직선
상을 작은 셀(c 체 영상을 대상 속도가 매우 느 따라 실제로는 나타나 짧은 곡 기 때문이다. 이 으로 검사하기 결된 직선 성분
과 끝점을 찾아 직선을 그대로 려져 윤곽선의 6은 직선과 선 보여준다. 처음의
직선으로 구성한 으로 구한 선분
Division Houg Transform Ima gh transform)
막으로 과하는 는 윤
것이
주요 의 점 의 직 공간에 지나 로 표 서 변 식을
cell)로 상으로 느려질 바로 곡선이 이미지 때문 분들을
선분 그리 형태 선분이
의 점 한 영 영상
gh age
을 통 선 의 선 치는 직선 평행 거리 이 있 다[10 이 선
우 한다 기준 식 (
∆
식 ( 않으 식(8
Fig. 6. Dot ima
통해 윤곽선의 선분들의 추출
선분들을 합치는 는 과정은 직선 선들끼리의 떨어 행한지 교점이 리를 계산하여 있다면 최적의
0]. 본 논문에서는 선분을 군집화하 우선 하나의 기준 다. 결정된 두 선 준 선분과 비교
(7)과 같이 구할
∆
(7)이 임계값 보 으면 기준 선분
8)을 계산한다.
Fig. 7. Alg
age, line image
근사화 과정을 과정이 완료되 는 과정이 진행 군집화를 응용 어진 거리, 차이 있는 지를 검사 직선들끼리의
직선으로 합치 는 직선의 군집 하는 과정을 진 준 선분을 결정 선분을 그림으로 교 선분을 정하면
할 수 있다.
보다 크면 다른 의 끝점과 비교
gorithm for grou
and line segmen
을 알 수 있다.
되면 다음으로 행된다. 셀들의
용하였다. 직선 이 나는 각도를 사하며 교점이
연관성을 찾아 치는 과정을 반 집화를 응용하여 진행한다.
정하고 비교할 로 표현하면 F 면, 두 선분 각
.
른 선분과 비교 교 선분의 시작
uping line segme nt image
분할된 셀들 선분들을 합 선의 군집화란 를 계산하고, 없다면 최단 아내고 연관성 반복하는 것이 여 Fig. 7과 같
직선을 결정 Fig. 8과 같다.
각도의 차이를
(7)
교하며, 그렇지 작점과의 거리
ents
식 (8)의 과 비교 선분 다. 만일 두 검사한다. 교 함한 직선 식
이므로 r x 점의 좌표는
하지만 이 교 에 선분 상에 교점의 좌표
, 의 사 사이에 존재 점을 검출이 긴 선분을 결 점이 없다면 다. 그러므로 값 보다 작다 발생된 선분 분과 비교 선 지 Fig. 7의
Fig. 8. Exa
거리가 가깝다 분의 끝 점
선분 사이의 교점의 좌표는 식은 각각
는 식 (9)와 같이
, .
교점의 좌표가 에서 교점이 있
표를 , 라
사이에 존재하고 재해야 두 선분끼 이 되면 두 선분
결정하여 새로 면 평행이거나 약
로 두 선분 사이 다면 두 선분을 분들을 연결하는 선분을 바꿔가면
과정을 반복을
ample of segmen
다면 기준 선분 , 을 잇는 새 거리가 멀다면
다음과 같이
, ,
,
0, x 이 된다.
가 직선 식에서 있는 없는 지를 라 한다면 는 고 는 , 의
끼리 교점이 존 분의 각각의 시작 로운 선분을 만든
약간만 연장을 이의 최소 거리 을 군집화한다.
는 것과 동일하다 면서 군집되는 을 한다. 군집되
nts
분의 시작점 새로운 선분을 면 두 선분의 교
구한다. 선분을
, ,
0 일 때
구한 식이기 를 아직 알 수 는 , 의 사
의 사이와 , 존재한다. 이렇게
작점, 끝점 중 든다. 두 선분이 을 하면 교점을
리를 계산하여 그 과정은 교 다. 이렇게 기준 는 선분이 없을
되는 선분이 없 (8)
, 만든 교점을
을 포
때, 교
(9)
때문 없다.
사이와 의 게 교 가장 이 교 가진 임계 교점이 준 선
때까 없으면
비로 F 얻게 의 조 옮기 수 있
이 활용 필요 을 구
는 로 따라 히 증
여 다.
걸리 증가 증가 샘플 직선 간 점
로소 군집 합병 Fig. 9는 캐니 윤 게 된 선분들의
조합으로 표현하 기면 마치 연필로
있다.
이러한 과정을 용하여 그리기 위 요하다. 직선 보
구하는데, 다음
는 중간 점 벡터 를 0부터 1까 라 보간의 섬세함
증가 해야 한다
| |
여기서 은 0~
직선이 길면 리는 횟수가 많 가 횟수가 적게 가하게 되며, 시 플링을 하면서 선 보간에서 중
점들을 역기구학
Fig. 9. Detecte
과정이 끝나게 윤관선 이미지와
이미지를 보인 하는 것이 가능 로 스케치한 듯
통해 선별된 선 위해서는 직선 보간은 시작점과 음과 같은 식 (10
터, 는 시작점 까지 증가시킨다
함이 비례해야 다. 는 식 (11)와
| |사이
의 값이 0~|
많이 필요하고, 필요하다. 이렇 시작점에서 시작 끝점까지 직선 중간 점의 샘플링
학을 이용하여
ed canny edges 게 된다.
와 군집화 과정 인다. 이처럼 곡 능하게 되며, 이 듯한 효과가 생
선분들을 시작 선 보간 (linear in 과 끝점 사이에서
0)으로 표현된다
점 벡터, 는 다. 의 값은 선 야 하기 때문에
와 같다.
이 값에서 일정
|까지 직선의 길이가 렇게 의 값은 작하여 중간 점 선 보간이 이루
링이 이뤄질 때 여 모터들의 각도
and grouped s
정을 반복으로 곡선을 선분들 이를 그림으로 생성된다고 할
작점과 끝점을 nterpolation)이 서 중간 점들 다.
(10)
끝점의 벡터 선분의 길이에
길수록 서서
(11)
정하게 증가한 증가하는 데 가 짧다면 의 0부터 1까지 점들을 하나씩 루어지게 된다.
때마다 그 중 도 값을 계산
egments
하고 명령을 있게 한다.
그림을 그 플링 픽셀에 링 마다 일정 을 20cm * 1 여기서 5픽셀 구현에 이용 표현 가능 동 소 움직임 보 에 보인 초상 수는 대략 2 로 그림을 그
Fig.
본 연구에 Raw
Canny
을 주어 그 점들
그리는 속도는 중 에 결정된다. 샘
정하게 5픽셀 거 15cm로 출력하 셀을 정한 이유 용된 모터의 최
동작은 0.125cm 보다 약간 크므 상화의 경우, 200~300개이며 그리는 시간은
. 10. Images gen
3 에서는 카메라를
aw image
edge image
Rob
들을 이어 선분
중간 점들의 샘 샘플링 주파수는
거리를 움직인 하면 초당 0.78cm
유를 설명하자 소 제어 각도는 m이다. 5픽셀은 므로 5픽셀로 정 허프 변환으로 선분의 평균 10~20분 정도
nerated during t
. 결 론 를 통해 얻은 영
Grey
Line segme Hough
bot drawing
분의 그림을 그릴
샘플링 주파수와 는 5Hz이며, 매
다. 640 * 480 m의 선분을 그 자면, 로봇 시스
는 0.29°이다.
은 0.156cm이므로 정했다. 아래 Fi 로 발생되는 선
길이는 20~30 소요된다.
the process
영상을 디지털 Scale image
ents after cell-w transformation
릴 수
와 샘 샘플 픽셀 그린다.
스템을 최소 로 최 ig. 10 선분의
0픽셀
영상
처리 에 그 순화 사용 기 위 봇 화 성공
펜 는 이 기본 균일 인해 에 고 활용 예상
[11,12]을 할 수
[1]
[2]
[3]
[4]
[5]
[6]
[7]
[8]
[9]
[10]
wise
리 기법을 적용하 그려주는 로봇 화를 위해 캐니 용하였고, 단순화
위하여 역기구 화가 시스템은 공적으로 스케치 펜으로 그린 그
이유는 다양한 본 단위 움직임 일하지 않은 종 해 실제 펜으로 고유한 터치가 용하면 이미지를 상되며, 나아가
을 결합하면 지 수 있을 것으로
SangSang B Contents, Me t.kr/1572, July MK News, “M Institute cond September, 20 MediaTrend, pictures”, Aug Robot new, “ om/kips1214/
wired.co.uk, doodle when S. B. Moon et M. Y. Jung MireaCom, 2 S. H. Jun Comprehensi publisher, 200 D. J. Kang, Visual C++”, J. Y. Kim et using Blocke
하여 단순하게 시스템을 고안 니 윤곽선 추출
화된 영상 정보 구학을 유도하였 고유한 스타일 치하였다.
림이 마치 화가 한 원인의 오차가 으로 인한 정밀 종이 마찰 및 기 로 그린 그림에서
남았다. 향후 를 더 정확하게
초상화의 경우 지능적이고 차별 로 기대된다.
BalJeonSo, “[I eet the new st y, 2013.
Moon Ye-Wie ducts fusion bet
013.
“Wonderful gust, 2006.
“Robot, debuts a /40193224831,
“Patrick Tress bored”, June 20 t al., “Intelligent et al., “C#
005
ng, M. H.
on and Utiliza 03.
J. E. Ha, “Dig InfinityBooks,
al, “The Iterat ed Hough Tran
Referen
게 변형하고 그 안하였다. 카메라 출 알고리즘과 보에 따라 로봇 였다. 최종적으로
일을 이용하여
가처럼 고유한 가 작용한 결과 밀도 오차, 모터 기구적인 펜의 서는 각 선분의
전문적으로 설 게 복원할 수 우, 표정인식이 별화된 문화 콘
IT/Application]
trategy”, http://
·Korea Cultur tween Art and
painting rob
a painter”, http:
July, 2013.
set's robots dra 011.
nt Robotics”, Sci Digital Image
Lee, “Image ation using C”
gital Image Pro 2010
tive Straight Li nsform”, Kore nces
영상을 종이 라 영상의 단 허프 변환을 팔을 제어하 로 구현된 로 원본 영상을
스타일을 갖 과이다. 5픽셀 터 제어 오차, 의 흔들림으로 의 시작과 끝 설계된 기구를 있을 것으로 이나 감정인식 콘텐츠로 개선
IT Fusion /koreanconten
re Technology Technology”,
bot drawing
://blog.naver.c
aw faces and
itech, 2010.
Processing”,
e Processing
”, YeongHan
ocessing with
ine Clustering a Institute of References
Inform present [11] D. Cho
Particle Korea [12] B. Ah Feature Journal
mation Scientists tation file Vol. 2 o et al., “Facial e Filter and Act Robotics Societ hn et al., “Rob es with Appli l of Korea Robo
s and Enginee 23. No. 1, pp2 l Feature Track tive Appearance ty, Vol. 8, No. 2 bust Real-time ication to Emo otics Society, V
rs spring work 2-3, 1997 king Using Ada
e Model”, Journ 2, 2013.
Tracking of F otion Recognit Vol. 8, No. 4, 201
kshop
aptive nal of
Facial tion”, 13.
