제32회 한글 및 한국어 정보처리 학술대회 논문집 (2020년)
딥러닝을 활용한 한국어 기반 색상 팔레트 생성
팽현석◦, 김현우 고려대학교
{peanghs, hyunwoojkim}@korea.ac.kr
Korean-based color palette creation using deep learning
Hyunseok Paeng◦, Hyunwoo Kim Korea University
요 약
본 논문에서는 한국어 입력 텍스트의 의미를 반영하는 색상 팔레트를 생성하는 방법을 제안한다. 기존 영문 모델에서 한국어의 특수성을 고려하여 입력 방법과 형태소 분석, 임베딩 등 여러 조건을 달리한 접근을 시도하고 최종적으로 두개의 모델을 선정하여 평가를 진행한다. 정량적 평가인 단일 팔레트 다양성 평가와 정성적 평가인 사용자 평가를 진행하였으며 결과 기존 영문 버전보다 다양성이 높았고 사용자가 실제 팔레트 보다 생성된 팔레트를 선호하는 비율도 향상되었다. 이번 연구로 한국어 임베딩을 활용하여 팔레트를 생성하였을 때 보다 다양한 색상과 의미적으로도 적합한 색상을 선정함을 확인할 수 있었다.
주제어: 자연어 변환, 칼라 팔레트 생성, 기계 학습
1. 서론
언어와 의미적으로 유사한 색상을 찾아내는 것은 다양한 상 황에서 필요하다. 사용자의 공감을 이끌어 내야 하는 마케팅 상황은 물론 다양한 시나리오나 설정 등을 시각화해야 하는 게임, 영상 제작 등의 다양한 산업 현장에서 사용될 수 있다.
특히 기획자나 마케터의 경우 예술적인 배경을 가지고 있지 않으나 산업 현장에서 언어와 의미를 공유하는 색감을 활용해 협업 상대와 업무를 진행해야 하는데 이런 색감을 설명하는 과 정에서의 어려움은 업무 병목의 주요 원인이기도 하다. 때문에 딥러닝 모델이 언어의 의미를 고려하여 색상을 선정해 준다면 직접적으로 업무에 적용하거나 커뮤니케이션에 활용할 수 있 으므로 큰 도움이 될 수 있다.
이전 방법론의 경우 관련 모델이 영문에만 국한되어 있어 한국 어로 컬러 팔레트를 생성하는 것이 어려웠다. 영문은 띄어쓰기 만으로도 의미 구분이 가능하여 별다른 형태소 구분이 필요하 지 않은데 비해 한글의 경우 조사 등 다양한 형태소 분석이 선행되지 않으면 모델의 성능이 나오기 힘들다. 더불어 단어의 중의적인 의미가 문화권 마다 다르기 때문에 팔레트의 학습이 정상적으로 진행되었다 하더라도 다른 문화권의 언어로 모델 을 사용할 경우 의도치 않은 결과를 생성할 수도 있다. 따라서 본 연구는 한국어 기반 팔레트를 생성함에 있어 여러 방법론을 적용해보고 보다 효과적인 방법에 대해 기술하고자 한다.
2. 관련 연구
텍스트 기반 색상 적용에 대해서는 다양한 방법론이 존재 한다. 일반적으로는 사전에 언어와 세트로 만들어진 컬러 팔
레트를 검색하여 사용하는 방법을 사용하고 있다. [1] 다만 이 방법의 경우 사전에 만들어진 자료만 검색할 수 있어 활용성 이 매우 떨어지게 된다. 반면 임의의 자연어를 입력하여 컬러 팔레트를 생성하는 모델의 경우 Text2Color 모델 [2]이 있으며 대규모 데이터에서 의미론적인 연관성을 파악하여 학습하고 자 연어와 팔레트를 매칭하여 생성한다. Text2Color 모델의 경우 학습 기반 방법으로 인하여 원하는 자연어가 준비되어 있지 않 다 하더라도 팔레트를 생성할 수 있어 매우 높은 활용 가능성을 가지고 있다.
문장으로부터 팔레트를 생성하기 위한 모델인 RNN은 문장 분 류, 텍스트 생성 등 순차적 데이터로부터 학습하여 다양한 작업 을 수행할 수 있는 뛰어난 모델이다. [3] 하지만 기존 RNN에 기반한 Sequence to Sequence 모델은 기울기 소실과 정보 소실 문제가 존재한다. 이를 보완하기 위해 단어 입력 시점에 전체 문장을 다시 참고하여 연관이 있는 입력 단어에 보다 집중하는 방식인 Attention을 적용하여 텍스트로부터 팔레트를 생성 시 의미 적합도를 향상시킬 수 있다. [4]
3. 데이터 및 모델
3.1 문장-팔레트 데이터
문장과 팔레트 세트 데이터의 경우 공개된 PAT 데이터 [2]를 직접 번역하여 사용하였다. PAT 데이터는 10,183 건의 단어 혹 은 문장과 팔레트의 쌍인 데이터로 color-hex.com의 데이터를 크롤링하여 생성되었다. 5개의 팔레트는 기재된 설명과 의미상 으로 연관된다. ‘파스텔’ 등 직접적으로 색상을 지시하는 단어도 있으며 ‘불타는 지옥’ 등 추상적인 문단도 존재한다. 텍스트의
- 559 -
1제32회 한글 및 한국어 정보처리 학술대회 논문집 (2020년)
그림 1. PAT 팔레트 구성
형태 또한 단어, 짧은 문장 등으로 구성되어 있으며 그림 1의
‘피부’ 사례처럼 동일한 텍스트에 여러 종류의 팔레트가 매칭 되는 경우도 있다.
3.2 임베딩 데이터
한국어 임베딩은 fastText [5]와 GloVe [6] 임베딩을 사용하 여성능을 비교하였다. fastText의 경우 facebook 공개 자료를 사용하였으며 [7] GloVe 임베딩의 경우 한국어 위키 백과를 사 용하여 학습하였다.
3.3 모델
모델은 Sequence to Sequence 에 Attention을 적용한 TPN 모델 [2]을 차용하였다. Attention이 형태소 단위로 적용 될 수 있으므로 한국어 형태소 분석 및 임베딩이 성능 향상에 매우 중 요한 역할을 할 것이라 판단하였다. 영문 기반 모델은 띄어쓰기 단위로 동작하나 한국어에 그대로 적용할 경우 사전에서 적합 한 임베딩을 적용하지 못해 attention이 주요한 구문을 파악하 여 적용하는데 어려움이 있을 것이라 판단했다. 이러한 이유로 한국어 적용을 위한 전처리와 임베딩에 따라 두 가지모델을 구 성하였다. 첫번째 모델은 KoNLPy[8]의 Okt로 형태소 분석을 진행한 fastText 모델이다. 사전에 음절 단위로 테스트하였으나 성능이 낮아 Okt로 형태소 분석을 진행하였다. 두번째 모델은 Mecab으로 형태소 분석을 진행한 GloVe 모델로 진행하였다.
비교를 위한 기존 영문 모델은 GloVe 모델로 진행하였다. 각 모델은 모두 1000 에폭씩 학습한 후 평가하였다.
4. 실험 및 평가
컬러 팔레트를 생성함에 있어 중요한 요소는 얼마나 다양한 팔레트를 생성하였는지 그리고 얼마나 입력한 문장의 의미를 반영하는지를 평가해야 한다. 때문에 실험의 결과를 평가하기 위해 다양성을 평가하고자 CIEDE2000으로 계산한 단일 팔레 트 다양성 평가와 문장의 의미 반영을 평가하기 위해 설문조사 를 진행한 사용자 평가를 동시에 수행하였다.
표 1. 팔레트 다양성 평가
구분 평균 표준 편차
한글 fastText 20.04 9.35 한글 GloVe 15.40 7.47 영어 GloVe 19.88 9.34 실제 팔레트 26.46 12.11
표 2. 팔레트 의미 적합성 평가
구분 FR(%) 한글 fastText 64.93
한글 GloVe 56.00 영어 GloVe 58.67
4.1 단일 팔레트 다양성 평가
하나의 텍스트 입력을 통해 얼마나 다양한 색상을 추출하 였는지를 평가하기 위해서 색상 간의 차이를 계산하는 기법인 CIE Lab의 CIEDE2000[9]을 사용하여 색상 간의 거리를 측정 하였다. 한 가지 의미로 생성된 5개의 색상 모두에 대해 서로 간의 거리를 측정하고 이를 평균한 값을 해당 팔레트의 평균 거리로 측정하였다.
평균 거리의 값이 클 수록 생성된 팔레트 내 5가지 색상이 다양하게 생성되었음을 의미한다. 팔레트의 거리 평균은 한글 fastText 모델이 가장 큰 값을 보여 가장 다양한 결과를 도출 했다고 볼 수 있다. 표준 편차의 경우에도 다른 모델 대비 크지 않아 독특한 일부가 아닌 고루 다양한 결과를 도출하였으므로 가장 우수한 성능을 보였다.
4.2 사용자 평가
보편적인 실제 사용자의 의견을 평가하기 위해 생성된 팔레 트와 실제 팔레트 중 어떤 것이 문장과 의미적으로 유사하다고 평가하는지 비교하는 설문 조사를 진행하였다. 설문 참가자는 총 75명으로 구성되었으며 각 질문은 30개의 무작위 추출된 문장-팔레트 쌍에서 생성된 팔레트와 실제 팔레트를 제시하여 둘 중 더 문장에 어울리는 것을 고르도록 했다. Fooling Rate 는 사용자가 실제 팔레트 보다 생성된 팔레트가 더 어울린다고 답한 비율을 의미한다. 모든 모델이 50%를 상회하였으며 특 히한글 fastText 모델의 경우 64.93%를 기록하여 가장 우수한 성능을 보였다. 두 결과를 종합해보면 한글 fastText의 모델이 팔레트의 평균 거리도 우수하였으며 Fooling Rate도 가장 높은 결과를 보여주었다.
- 560 -
2제32회 한글 및 한국어 정보처리 학술대회 논문집 (2020년)
그림 2. 생성 결과 비교
그림 3. 중의성 문제
4.3 실험 결과
실험 결과 한글 fastText 모델이 팔레트 다양성 평가 및 의 미 적합성 평가에서 모두 높은 결과를 얻어 가장 좋은 성능을 보였다. 더불어 최소한의 평균 거리를 확보하지 않은 모델의 경우 결과 팔레트가 거의 유사하여 의미 전달에 어려움이 있 는 경우가 있었다. 예를 들면 ’사랑’ 등의 경우 분홍색 등 동일 계열로 표현이 가능하나 ’무지개’의 경우 5가지 색이 모두 다 양하게 표현되어야 하기 때문이다. 그림 2의 ’파스텔 무지개’
사례처럼 한글 fastText 모델의 결과는 팔레트의 다양성도 충 족했으며 입력 문장과 의미적인 상관성도 적합하다. 반면 한글 GloVe 모델은 다양성을 만족시키지 못했고 영어 GloVe 모델은 다양성은 만족시켰지만 입력 문장의 의미를 적합하게 반영하지 못했다.
다만, 모델 형태소 분석과 Attention에 따라 중의성을 극복 하지 못하고 다른 결과를 내는 사례가 있었다. 영어 원문 mean- ingless apologies의 경우 한국어로 번역 시 ’무의미한 사과’로 적용하였는데 영문 모델에서는 생성되지 않는 붉은 톤이 색상 팔레트에 반영되었다. 이는 한국어 사과의 의미를 apple의 의 미로 반영해 적용한 결과로 유추된다.
5. 결론 및 향후 계획
한국어 입력으로 팔레트를 생성하기 위해 두 가지 형태소 분석과 임베딩을 적용한 모델을 검토하였다. 그 중 fastText
를 적용한 모델은 팔레트의 다양성도 가장 풍부했으며 문장의 의미를 반영하는데 있어도 가장 높은 점수를 받았다. 이에 한 국어에적합한 임베딩과 형태소 분석을 진행했을 때 가장 높은 성능을 보이는 것을 확인할 수 있었다. 반면 중의성으로 인해 일부 문장에서 의도치 않은 결과를 내는 경우가 있었다. 따라 서 향후 목표는 BERT등 문장의 중의성에 강한 모델을 추가 적용하여 팔레트에 보다 정확한 의미를 반영할 수 있는 모델을 구성할 계획이다.
참고문헌
[1] J. Heer and M. Stone, “Color naming models for color selection, image editing and palette design,”
Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, ser. CHI ’12, p.
1007–1016, 2012. [Online]. Available: https://doi.org/10.
1145/2207676.2208547
[2] H. Bahng, S. Yoo, W. Cho, D. K. Park, Z. Wu, X. Ma, and J. Choo, “Coloring with words: Guiding image col- orization through text-based palette generation,” 2018.
[3] I. Sutskever, O. Vinyals, and Q. V. Le, “Sequence to sequence learning with neural networks,” Advances in Neural Information Processing Systems 27, Z. Ghahramani, M. Welling, C. Cortes, N. D.
Lawrence, and K. Q. Weinberger, Eds., pp. 3104–3112, 2014. [Online]. Available: http://papers.nips.cc/paper/
5346-sequence-to-sequence-learning-with-neural-networks.
[4] M.-T. Luong, H. Pham, and C. D. Manning, “Effective approaches to attention-based neural machine transla- tion,” 2015.
[5] P. Bojanowski, E. Grave, A. Joulin, and T. Mikolov, “En- riching word vectors with subword information,” Trans- actions of the Association for Computational Linguistics, Vol. 5, pp. 135–146, 2017.
[6] J. Pennington, R. Socher, and C. D. Manning, “Glove:
Global vectors for word representation,” Empirical Methods in Natural Language Processing (EMNLP), pp. 1532–1543, 2014. [Online]. Available: http://www.
aclweb.org/anthology/D14-1162
[7] E. Grave, P. Bojanowski, P. Gupta, A. Joulin, and T. Mikolov, “Learning word vectors for 157 languages,”
Proceedings of the International Conference on Language Resources and Evaluation (LREC 2018), 2018.
- 561 -
3제32회 한글 및 한국어 정보처리 학술대회 논문집 (2020년)
[8] E. L. Park and S. Cho, “Konlpy: Korean natural language processing in python,” Proceedings of the 26th Annual Conference on Human Cognitive Language Technology, October 2014.
[9] G. Sharma, W. Wu, and E. N. Dalal, “The ciede2000 color-difference formula: Implementation notes, sup- plementary test data, and mathematical observa- tions,” Color Research & Application, Vol. 30, No. 1, pp. 21–30, 2005. [Online]. Available: https:
//onlinelibrary.wiley.com/doi/abs/10.1002/col.20070
