DOI: https://doi.org/10.13161/kibim.2021.11.2.054
인공지능 알고리즘을 활용한 건축 이미지 생성에 관한 연구
- 건축 스케치 기반의 실사 이미지 생성을 위한 기초적 연구 -
A Study on Architectural Image Generation using Artificial Intelligence Algorithm
- A Fundamental Study on the Generation of Due Diligence Images Based on Architectural Sketch -
한상국1), 신동윤2)
Han, Sang-Kook1) · Shin, Dong-Youn2)
Received January 25, 2021; Received June 25, 2021 / Accepted June 29, 2021
ABSTRACT: In the process of designing a building, the process of expressing the designer's ideas through images is essential. However, it is expensive and time consuming for a designer to analyze every individual case image to generate a hypothetical design. This study aims to visualize the basic design draft sketch made by the designer as a real image using the Generative Adversarial Network (GAN) based on the continuously accumulated architectural case images. Through this, we proposed a method to build an automated visualization environment using artificial intelligence and to visualize the architectural idea conceived by the designer in the architectural planning stage faster and cheaper than in the past. This study was conducted using approximately 20,000 images. In our study, the GAN algorithm allowed us to represent primary materials and shades within 2 seconds, but lacked accuracy in material and shading representation. We plan to add image data in the future to address this in a follow-up study.
KEYWORDS: Computer Vision, Urban Data Analysis, Architecture Plan, Architecture Image, Image Conversion 키 워 드: 컴퓨터비전, 건축계획, 건축 이미지, 이미지변환
1. 서 론
1.1 연구의 배경 및 목적
건축 설계를 구체화하기 위하여 설계자는 자신의 추상적인 아 이디어를 이미지로 실체화하는 과정을 거친다. 다양한 유사 사례 와 참고 이미지를 조사하고 이를 종합적으로 고려한 아이디어를 선정하며(Kim, 2014), 스케치 및 채색의 과정을 통해 설계안에 대 한 아이디어를 구체화한다. 이는 설계자가 상상하는 공간감을 표 현하고 이것을 시각화하여 건축주 혹은 동료 설계자에게 설명하 는 기초 자료로 사용된다. 그러나 설계자가 직접 개별적인 사례 이미지를 모두 참고하여 설계안을 구체화하거나 이미지를 제작 하는 것에는 작업과 시간, 비용이 많이 드는 문제가 존재한다. 이
러한 문제를 해결하기 위하여 설계자의 아이디어를 빠르게 구현 하고 시각화 하는 방법에 관한 연구가 진행되었다(Kim and Kim, 2020).
설계자의 가상 설계안 도출과 디자인 시각화를 효율적으로 할 수 있도록 마감재를 편리하게 바꾸고 설계 대안을 확인하거나 검 토, 상의할 수 있도록 가상현실(VR) 기반의 설계 도구에 대한 연 구가 수행되었다. (Meng et al., 2018). 또한 증강현실(AR)기반 의 시각화 기법을 추가로 결합한 인테리어 시각화 시스템을 활용 하여 재질 변경과 시각화 등으로 효율적인 설계안 도출이 가능한 기능을 구현하였다(Lee et al., 2020). 그러나 선행 연구의 경우, 최종적인 건축물을 시각화 하는 단계로써 여전히 초기 건축 아이 디어 구상 단계에서 설계자가 사례 이미지를 수동적으로 직접 수
1) 학생회원, 단국대학교 건축학과 석사과정 ([email protected]) (교신저자)
2) 정회원, 단국대학교 건축학과 교수 ([email protected])
집하고 분석해서 가상 설계안에 직접 적용하는 기존 방식에서 벗 어나지 못하였다.
따라서 본 연구는 자동으로 수집되는 건축물 이미지 데이터를 딥러닝 기법을 통해 분류하고, 분류된 이미지 데이터를 단계적으 로 흑백 이미지로 변환한다. 단계적으로 변환된 이미지 데이터를 이미지 생성 알고리즘으로 이미지 형태와 패턴을 인식하여 학습 시킨다. 이를 통해 설계자가 작성한 추상적인 흑백 스케치와 기 초 채색 스케치에 대하여 이미지 데이터 셋에서 학습한 건축 기 법들을 적용하는 것이 가능하다. 더불어 비전문가인 일반인도 자 신만의 설계안을 시각화하는 것이 가능하기에 비용과 시간을 절 약 할 수 있다. 또한 타 산업의 경우, 딥페이크 기술을 활용하여 얼굴을 정교하게 합성하거나 자율주행에서 객체를 인식하는 등 컴퓨터 비전 기반의 시각지능에 대한 기술의 발전함과 정교함을 더욱 가속화하고 있으며, 패션과 뷰티 등 트렌드의 변화가 빠른 산업군을 중심으로 이미지 데이터를 활용한 디자인 패턴 분석과 선호 트렌드 예측 등의 업무에 컴퓨터 비전기술을 적극적으로 활 용하고 있다.
본 연구를 바탕으로 컴퓨터 비전 기반 인공지능을 건축 산업 에 접목하여 과거부터 축적된 건축물 내외부의 이미지에 대한 자 동화된 수집과 전처리를 통해 체계적으로 분류하고자 한다. 또 한 분류 데이터를 학습한 인공지능을 활용해 설계자가 제작한 스 케치를 인식하고 스케치 단계의 설계안을 대상으로 자재 및 재질 등의 1차적 표현이 시각화된 가상 설계안 생성을 목표한다. 특히 기초적인 스케치 단계에서 유사 설계안에 적용된 자재와 재질 등 다양한 사례를 별도의 프로그램의 도움 없이 시각화가 가능하기 에 시간과 비용을 절감할 수 있다.
1.2 연구의 범위 및 방법
본 연구의 방법은 다음과 같다. 1) 건축물에 대한 이미지 수집 및 분류, 2) 유형에 따른 학습용 이미지 구축, 3) 이미지 변환 모 델 학습, 4) 학습된 변환 모델을 통한 추상적 건축 스케치 구체 화로 이루어진다. 따라서 약 20,000만장으로 이루어진 학습데이 터를 학습한 인공지능을 기반으로 Input값에 입력된 건축물 이미 지를 공간의 형태에 따라 분류할 수 있으며, 설계자가 그려낸 추 상적인 건축 설계 안과 유사한 디자인 안에 대한 검색과 사례 이
미지를 기반으로 1차적인 디자인 안을 실체화 할 수 있는 체계를 구축하고자 하였다.
2. 건축 이미지 데이터 구축 및 변환
2.1 건축물 이미지 인식 및 분류
제안된 스케치 기반의 실사 이미지 생성을 위하여 건축 이미 지와 사진에 대한 이미지 데이터 셋을 구축하였다. 딥러닝 VGG network을 활용하여 건축 사례 이미지를 자동으로 분류하는 것 을 통해 지능적으로 건축 디자인 레퍼런스에 대한 관리와 효율적 인 사례 분석이 가능하다(Kim and Lee, 2018). 또한 건축물 외부 입면에 대한 파사드 자동 레이블링을 통하여 방대한 양의 건축물 외부 파사드 이미지에 대한 자동화된 분류가 가능하다. 이를 통 해 층수와 이미지 내의 건축물 형태에 따라 자동 분류를 인공지 능 알고리즘이 수행하여 간단한 방법으로 파사드 인식과 분류가 가능하다(Gu, H. M., Seo, J. H., Choo, S. Y., 2019).
본 연구는 딥러닝(Deep Learning)의 이미지 처리 기법인 이미 지 분류(Classification), 이미지 인식(Localization / Detection), 이미지 분할(Segmentation) 등의 기법을 VGG network를 사용 하여 Naver와 Google의 웹 플랫폼의 오픈데이터와 건축 관련 온라인 플랫폼에서 건축물 관련 대용량 이미지를 수집 및 구축하 여 유사도에 따라 분류하였고, 건축물 이미지에 대한 학습 데이 터 셋을 구축하였다. 또한 용도와 규모, 이미지의 상태에 따라 재 분류하여 딥러닝 학습에 사용 될 수 있는 인공지능 데이터셋을 구축하였으며, Sketchup과 3Dmax, Revit, Enscape 등 여러 3D 모델링 프로그램을 사용하여 간단한 흑백 스케치, 컬러 스케치 등의 이미지 데이터를 추가하여 총 약 3,000장의 건축 스케치 이 미지 데이터와 국내외 건축물 이미지를 바탕으로 총 약 20,000 장의 이미지 DB를 구축하였다.
2.2 Generative Adversarial Network
기본적인 GANs(생성적 적대 신경망)은 생성기 신경망과 판별 기 신경망이라고 하는 두 가지 신경망으로 구성된 심층 신경망 이며, 두 가지의 신경망이 서로 의존한다. 두 가지 신경망은 여러 번의 학습을 걸쳐서 새로운 이미지를 생성하고 판별하는 과정을 반복하여 서로 대항하며 높은 예측력과 결과물을 생성한다.
GANs 알고리즘에는 DCGAN을 비롯하여 Conditional GAN, CoupledGAN, LSGAN, CycleGAN 등 다양한 GAN알고리즘이 사용되고 있으며, 본 연구는 조건부 적대 신경망인 Pix2Pix를 활 용하여 건축적 아이디어를 효과적으로 실체화 할 수 있는 방법을 실험하였다.
Figure 2의 경우처럼 기존 사례 이미지에 대해 단계적인 변환 Figure 1. Data accumulation and design method
데이터를 추가로 구축하여 다양한 Input 데이터에 대응 할 수 있 도록 하였다. 이를 통해 설계자가 작성한 추상적인 설계안 스케 치 이미지를 사례 이미지 데이터를 학습한 Pix2Pix모델이 재생성 하는 것을 목표로 구성하였다. 따라서 채색된 이미지에서부터 흑 백 이미지로의 단계적인 이미지 변환 방법을 통해 구축된 사례이
미지를 바탕으로 설계자가 제작한 추상적인 건축적 아이디어를 구현하고자 하였다.
3. 이미지 변환
3.1 Pix2Pix
Image to Image Translation에 대한 범용 솔루션으로 Conditional Adversarial Network의 Pix2Pix를 사용하였다.
Pix2Pix는 대응된 이미지 데이터를 통해 흑백 영상을 실제 영상 으로 변환하거나 낮의 사진을 밤으로 변환, 위성지도를 그래픽 지도로 만드는 것이 가능한 알고리즘으로써, Pix2Pix에서 필수적 으로 요구되는 Input 데이터에 대응되는 Paired 이미지가 존재할 수 있도록 학습데이터를 구축하였다.
3.2 학습데이터 구축
Input 데이터인 추상적으로 표현된 건축 스케치 이미지를 Pix2Pix를 통해 실체화하는 최종적인 형태를 구축하기 위하여 사
람이 그려낸 추상적인 스케치에 대응이 가능하도록 기존 사례 이 미지를 OpenCV를 활용하여 스케치화 및 흑백 형태로 변환하여 단계적인 학습 데이터를 구축하였다.
Figure 3의 이미지 전처리 과정을 통해 사람이 스케치한 형상 을 인위적으로 구현하여 학습을 위해 필요한 스케치 데이터를 확 충 및 보완하였다. 각각의 이미지에 대하여 3단계의 세분화 단계 를 통해 기존의 이미지 형태를 변환하였으며, 건축물 원본 이미지 와 스케치 형태로 변환된 이미지를 Paired 이미지로 활용하였다.
해당 과정을 통해 약 3000장 규모의 스케치 데이터를 추가로 정제하여 확보하였고, 확보한 데이터 셋을 바탕으로 Pix2Pix 알 고리즘을 사용하여 학습시켰다.
Figure 2. Example of step-by-step image transformation
Figure 3. Pre-processing images for learning data generation Figure 4. Predicted result values based on pre-processing images
3.3 학습결과
Figure 4는 전처리 과정을 통해 인위적으로 구현한 스케치 이 미지 중, 학습에 사용하지 않은 데이터를 바탕으로 Pix2Pix을 사 용하여 스케치 이미지를 예측한 결과물이다.
Figure 4는 단계적인 이미지 전처리로 구축한 스케치 이미지 (좌)에 대하여 새롭게 예측한 결과 값(우)이다. 하늘 및 창문, 문, 벽, 지붕, 사람, 녹지, 도로 등 반복적으로 나타는 건축 이미지 내 의 형상을 인지하여 흑백 형태의 스케치 이미지에서 완결성 있는 이미지로 재생성 하는 것을 확인 할 수 있었다. 또한 원본 이미지 데이터와 비교하여 흑백 상태의 스케치 이미지만으로 재료와 재 질 및 음영, 빛, 구조, 형태 에 대해서 높은 예측력을 나타냈다. 특 히 난간 유리 구조 등의 구조적 특징과 녹지와 배경의 특이점, 대 리석과 벽돌과 같은 자재 마감에 대한 예측력이 높게 나타났다.
Table 1에서 Figure 4 상단의 원본 이미지를 4가지의 부분에 서 결과물의 예측력을 비교 하였다. 재생성된 이미지는 개별 원 본 이미지 내에서 다르게 표현되거나 명암으로 구분되는 구조적 특징과 구조의 특성을 잘 반영하여 재구성하였다. 그러나 낮과 밤의 차이로 인한 음영의 변화와 상세한 재질 색상에 대한 정확 도는 상대적으로 떨어졌다.
하지만, Figure 5의 경우 각각 Input 이미지에서 나타나는 반 복적인 수직선을 인식하고 개별 건물의 형태와 구성을 바탕으로 금속 재질과 목재 재질을 구분하였다. 또한 개별 이미지마다 별 도의 재질 값을 지정하지 않아도 기존의 사례 이미지의 학습데이 터만으로 건물의 외형적 형태와 구성에 따라 재질 값을 자동으로 투영하여 재생성 하였다.
Source Image Material Shading Structure Shape
Success Success Success Success
Success Faild Success Success
Faild Success Success Success Table 1. Results from comparison with source image
Figure 5. Create individual materials based on properties
Figure 6. Predicted result values based on sketches
하지만 본 결과물에 사용된 Input 데이터는 별도의 이미지 전 처리 과정을 통해 구축된 대상을 예측한 결과로 실제 사람이 추 상적으로 스케치하는 이미지와는 차이가 존재한다. 따라서 해당 학습 모델을 바탕으로 실제 설계자가 스케치한 이미지 데이터를 대상으로 예측을 진행하였고, Figure 6은 Pix2Pix를 이용하여 실 제 사람이 스케치한 이미지에 대한 예측한 결과이다.
Figure 6은 스케치의 완성도에 따라 순차적으로 Pix2Pix 모델 을 사용하여 사람이 스케치한 추상적인 설계 안을 예측한 결과 값이다. 비교적 상세하게 작성된 스케치에 대하여 조경과 유리, 나무 데크를 예측하였다. 또한 추상적으로 표현된 하단 스케치에 서도 마감 및 도로, 녹지, 재질 등을 인공지능이 인식하여 부분적 으로 재생성 하였다. 또한 창, 문, 나무, 하늘 등 개별 항목에 대 하여 부분적으로 인식하였고 기존 흑백 스케치와 비교하여 사실 감이 증대된 이미지로 재생성 되었다.
4. 결 론
건축 이미지 데이터를 기반으로 GANs 알고리즘에서 대표적인 Pix2Pix를 사용하여 건축사진과 건축스케치, 건축이미지를 분석 하고 학습하여 최종적으로 스케치 재생성을 시도하였다. 이를 통 해 건축 설계의 단계 중, 아이디어 기획 단계에서 수행되는 가상 의 설계안을 실체화하는 작업에 사용 가능한 자동화 기법을 제안 하였다. 해당 기법을 활용해 자동으로 건축 이미지 데이터를 분 류하고, 인식 및 학습하여 설계자의 1차적인 아이디어 설계안을 512*512 크기의 이미지로 2초 이내로 빠르고 간편하게 시각화 할 수 있었다. 또한 유사한 형상과 형태라도 이미지 내 건축물 형태 에 따라 자재와 재질을 개별적으로 예측하여 시각화하는 성능을 나타내었다. 따라서 작은 크기의 이미지를 빠르게 시각화하여 경 제적으로 다수의 아이디어에 대한 구상이 가능하다. 이를 바탕으 로 한 개의 이미지를 높은 품질로 시각화 하는 선행 연구와 차별 점을 나타내고자 하였다.
하지만 연구 과정에 사용된 이미지 데이터의 건축물이 다양한 형태와 크기, 스케일로 이루어져 벽면을 창으로 인식하는 등 추상 적으로 그려낸 건축적 스케치를 인공지능이 명확하게 인지하기에 는 아직 어려울 것으로 판단된다. 또한 학습데이터의 한계로 인해 비교적 정확도 높은 스케치 안에서만 높은 예측력을 나타내었다.
향후, 스케일과 건축물의 유형에 따른 데이터 정제 및 방대한 건축 스케치 데이터 확보를 통해 정확도에 악영향을 주는 요인에 대한 개선과 예측에 대한 오차를 줄 일 수 있을 것으로 보인다.
이를 바탕으로 설계자의 추상적인 스케치 안을 인공지능이 스스 로 학습하여 사진과 같은 실사화 이미지 생성이 가능한 연구로 발전하고자 한다.
감사의 글
본 연 구 는 한 국 연 구 재 단 기 초 연 구 사 업 ( N o . N R F - 2019R1A2C4070130)의 연구비 지원에 의한 결과임.
References
Gu, H. M., Seo, J. H., Choo, S. Y. (2019). A Development of Facade Dataset Construction Technology Using Deep Learning-based Automatic Image Labeling, Journal of the Architectural Institute of Korea Planning & Design, Vol.35 No.12 Serial No374.
Goh, I. D.(2020). Digital Platform for the Architecture Service Industry, Journal of the Architectural Institute of Korea Architectural Research, Vol.64 No.9.
Han, Y. J, Lee, H. S. (2019). An Analysis on Consistency of Brand Identity with AI-based Image Classification, Journal of the Korean Institute of Interior Design, 28(6), Serial No.137.
Isola, P., Zhu, J. Y., Zhou, T., & Efros, A. A. (2017). Image- to-image translation with conditional adversarial networks, In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 1125-1134.
Krizhevsky, A., Sutskever, I., & Hinton, G. E. (2012).
Imagenet classification with deep convolutional neural networks, Advances in neural information processing systems, 25, pp. 1097-1105.
Kim, S. (2014) Designer’s Pro Architecture Interior Design, Gilbut.
Kim, J. S., Kim, H. Y., Lee, J. K. (2017). Deep-learning based Auto-classifying Design Style of interior Image, Journal of the Korean Institute of Interior Design, 19(3), Serial No44.
Kim, J. S., Lee, J. K. (2018). Auto-recognition of Interior Design Images for Managing Architectural Design References, Journal of the Korean Institute of Interior Design, 27(5), Serial No.103.
Kim, S. J., Kim, S.A (2020). An Automatic Visualization Method of Design based on Reference Case Image, Journal of the Architectural Institute of Korea, 40(1), pp.
125-126.
LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep Learning, nature, 521(7553), pp. 436-444.
Lee, S. H., Kim, J. S., Song, J. Y., Lee, J. K. (2020). An Approach to the On-site Visualization in Early Phase of Design based on Augmented Realit(AR), Journal of the Korean Institute of Interior Design, 29(1), Serial No.138.
Lee, S. H., Lu, N. (2020). A Methodology of Enhancing the Accuracy of Image Classification with CNN, Journal of the Architectural Institute of Korea Planning & Design, 36(9), Serial No383.
Miyato, T., Kataoka, T., Koyama, M., & Yoshida, Y. (2018).
Spectral normalization for generative adversarial networks, arXiv preprint arXiv:1802.05957.
Meng, X., Ali, S. G., Li, P., Masood, A., Sheng, B., Ren, J.
(2018). An Interior Decoration System via Virtual Reality and Artificial Intelligence, In 2018 IEEE International Conference on Progress in Informatics and Computing, pp. 221-225.
Zhu, J. Y., Park, T., Isola, P., & Efros, A. A. (2017). Unpaired image-to-image translation using cycle-consistent adversarial networks, In Proceedings of the IEEE international conference on computer vision, pp. 2223- 2232.
