ICT Convergence Technology Supporting Project for Metropolitan Industry

(1)

2019년 12월 19ZT1100-01-7300P

수도권 지역산업기반 ICT융합기술 지원사업

ICT Convergence Technology Supporting Project

for Metropolitan Industry

(2)

본 문서에서 음영처리된 부분은 ( ) 정보공개법 제9조의

비공개대상정보와 저작권법 및 그 밖의 다른 법령에서 보호하고 있

는 제3자의 권리가 포함된 저작물로 공개대상에서 제외되었습니다

(3)

인 사 말 씀

본 보고서는 2019년 한국전자통신연구원이 주관하여 수행한『수도권 지역산업기 반 ICT융합기술 지원사업』과제의 2차년도 연구 수행 결과이다.

본 연구에서는 수도권 중심의 지역 연계를 통해 지역전략산업 육성 및 중소기업 활성화를 목표로 하고 있으며, 수도권 지역 ETRI AI 데이터 허브와 지능정보 수요 기반 In-house R&BD와 관련하여 과제를 수행했다. 이를 통하여 ETRI ICT 융합 상 용화기술 및 연구성과 지역보급 확산을 통해 지역산업 활성화, 개발 기술 활용 전 문 엔지니어를 기술개발과 동시에 양성하여 기술과 전문인력을 지역기업에 공급, 중소기업에서 아이디어를 신속히 구현할 수 있는 개발 환경을 제공했다. 본 과제 의 연구 결과를 활용하여 수도권 지역전략 산업 육성 및 중소기업 활성화하는데 활용될 수 있기를 기대한다. 2 0 1 9 년 1 2 월 한 국 전 자 통 신 연 구 원 원 장 김 명 준

(4)

제 출 문

본 연구보고서는 주요사업인 "수도권 지역산업기반 ICT융합기술 지원사업"의 결 과로서, 본 과제에 참여한 아래의 연구팀이 작성한 것입니다. 2 0 1 9 년 1 2 월 연 구 책 임 자 : 책 임 연 구 원 나 중 찬 ( 서울SW-SoC융합R&BD센터) 연 구 참 여 자 : 책 임 연 구 원 이 성 희 ( 지능정보융합연구실) 책 임 연 구 원 김 원 종 ( 지역ICT융합연구실) 책 임 연 구 원 노 예 철 ( SW-SoC인력양성실) 책 임 연 구 원 주 유 상 ( SW-SoC개발환경연구실)

(5)

요 약 문

Ⅰ. 과제명

수도권 지역산업기반 ICT융합기술 지원사업

Ⅱ. 연구목적 및 중요성

1. 연구목적

2. 중요성

❍ 다양한 중소·벤처기업의 AI 기반 서비스 개발 등 지능정보산업 창출 - 국가 차원의 과학기술 및 공공데이터를 중심으로 한 지능정보데이터化 및 학습 데이터 구축·확산 ❍ 지능정보산업 발전 생태계를 구축해 지능정보산업 국가경쟁력 제고 - 수도권 소재 데이터 보유기관들과 협력을 통해 과학기술 및 공공데이터를 인공지능 기술에 활용 ❍ 전문 엔지니어 양성을 통해 기술 이전 및 사업화 촉진 - AI 서비스 개발 기술, 빅데이터 허브 구축 및 개발 기술 등을 전문적으로 개발하고 활용할 전문 엔지니어 양성 - ETRI 연구결과물 성과 확산 교육을 통한 중소․중견기업 지원 활동 강화 ❍ 지능정보 하드웨어 개발에 필수적인 AI 하드웨어 설계툴을 공동활용 지원하여 연구 생산성 향상을 제고

(6)

Ⅲ. 연구내용 및 범위

1. ETRI 인공지능 공유 플랫폼 개발

❍ 인공지능 공유환경 조성 - ETRI 인공지능 공유 플랫폼 구축 및 시험운영 ❍ 본원과의 연계 강화 - ETRI 오픈API와 데이터 가공톨 연계 - ETRI 기술 확산을 위한 가상화 기반의 기술체험 시스템 개발 ❍ 지역 협력체계 구축 - 인공지능 응용/서비스에 용 가능한 학습데이터 발굴 및 구축 - ETRI-대학/지자체 연계 프로그램 발굴 및 개발

2. SW가상화 플랫폼 기반 AI 가속 기술 개발

❍ SW 가상화 플랫폼 기반 인공지능 추론 가속 HW 구조 개발 - MobileNet v2용 추론 가속을 위한 HW 구조 개발 ❍ 인공지능 추론 가속을 위한 HW 데이터플로우 구조 개발 - MobileNet v2용 추론 가속을 위한 HW 데이터플로우 구조 개발 - SW 가상화 플랫폼 기반 MobileNet v2용 AI 가속기 개발 ❍ SW 가상화 플랫폼 기반 인공지능 추론 가속을 위한 최적화 기술 개 - 처리 데이터 정밀도 최적화 기술 개발 - 최적 AI 가속기 개발을 위한 구조 최적화 기술 개발

3. AI 기술 전문 엔지니어 양성 교육

❍ ETRI 연구결과물(KSB 프레임웍(BeeAI), 개방형 웨어러블 개발킷(OpenWDK) 등) 성과 확산 교육 - AI 전문 엔지니어 실무 교육 - AI 및 지능정보 최신 기술 세미나 ❍ AI 및 지능정보 분야 기업 채용수요 조사 - AI 및 지능정보 분야 기업에서 필요로 하는 교육 과정 개설을 위해 기업을 방문하여 채용 수요 조사

4. AI 하드웨어 설계환경 지원

❍ 수요기반 AI 기술 교육과정 개설 및 운영 - 교육 과정 수립 및 홍보 - 교육 과정 개발 - 교육 과정 개설 운영

(7)

Ⅳ. 연구결과

Ⅴ. 연구개발결과의 활용계획

❍ ETRI 인공지능 공유 플랫폼 - 인공지능 학습데이터를 필요로 하는 수요자(지역기업, 대학 등)에게 학습데이터 가공 및 구축을 위한 기반 제공 - 사용자 참여형 학습데이터 공유의 장으로 ETRI 인공지능 공유 플랫폼 활용 ❍ SW 가상화 기술 기반 AI 가속 HW 플랫폼을 중소기업에서 AI 활용 제품 아이디어를 HW로 신속히 구현할 수 있도록 활용 - SW 가상화 플랫폼을 이용한 HW/SW 파티션닝, 소비전력/성능을 고려한 구조 설계 ❍ 개발 기술 활용 전문 엔지니어를 기술개발과 동시에 양성하여 기술과 전문인력 역 량 강화 지원 - ETRI 연구결과물 사전 활용 교육을 통해 연구성과물 성능 검증 제고-피드백 (beta-test) ❍ AI 하드웨어 설계환경 지원을 통해 중소기업의 AI 개발 역량 강화 성과지표 (주요성능 Spec) 단 위 기술개발 목표치 (`19) 당해 연도 실적 달성도 (%) 학습데이터 구축 (누적) 건 2건 o 보육분야 기계독해용 학습데이터 o 한국어 음성합성용 학습데이터 o 1인 미디어 채팅데이터 o 온라인 뉴스기사 인구통계 데이터 100% ETRI 인공지능 공유 플랫폼 활용도 단 계 2단계 (시험운영) o 사용자 간의 학습데이터 공유를 위한 플랫폼 구축 및 시험운영 o 공유 플랫폼 시험운영 100% Convolution 연산 최적화 비율 % 10 o 동일한 클럭 주파수를 기준으로 컨볼루션 연산의 처리 시간을 12.23% 단축 122.3% 외부 메모리 액세스 최적화 % 10 o 전체 외부 메모리 액세스 크기를 11.96% 감소 119.6% 인공지능 추론 가속 연산 최적화 배 70 o 처리시간 측면에서 ARM cortex A9(667MHz) 대비 87.91배 향상 125.5% AI 기술전문인력양성 (수혜/채용수요) 명 310 o 교육 : 26강좌 426명 o 기술세미나 : 2건 78명 137.4% 개 사 50 o 채용수요 : 52개사, 373명 104% 지원기업 및 기술지원 건 30/30 o 33개사 45건 기술지원 110%/ 150%

(8)

Ⅵ. 기대성과 및 건의

1. 기대성과

❍ 수도권 지역의 기술 수요 발굴과 지원을 통해 ETRI 주도의 인공지능 기술 생태계 를 위한 초석 마련 - ETRI 연구결과물의 기술이전 및 상용화 촉진 - 데이터 확보가 어려운 중소기업의 인공지능 데이터 확보 방안 제공 ❍ 하드웨어 가속 기술을 사용한 인공지능 서비스 모델의 신속한 개발과 기능 검증으 로 시장 진입 시간과 비용을 크게 단축하여 중소기업 경쟁력 강화 ❍ AI 소프트웨어/하드웨어 개발 지원과 인력양성까지의 확장된 지원을 통해 기업의 연구생산성과 응용기술력 제고 - ETRI 연구결과물 성과확산 교육을 통한 기술이전 및 사업참여기업 발굴 - 연구결과물 활용교육으로 기술확산 및 활용을 위한 잠재적 수요기업 발굴

2. 건의

(해당없음)

(9)

ABSTRACT

Ⅰ. TITLE

ICT Convergence Technology Supporting Project for Metropolitan Industry

Ⅱ. THE OBJECTIVES

1. Purpose of Project

2. Importance of Project

❍ Creating an intelligent information industry, including the development of AI-based services by various companies

- Development and spread of learning data focused on science and technology and public data

❍ Enhancing the national competitiveness of the intelligence information industry by establishing an ecosystem for the advancement of the intelligence information industry

- Collaborate with agencies that collect data based in the metropolitan area to utilize scientific and public data in AI technology

❍ Promote technology transfer and commercialization through professional engineers training

- Training engineers to specialize in developing of AI service technology and building big data hub

- Supporting business by the spread of education and research results in ETRI

❍

Improvement of research and productivity by jointly supporting design tools essential for AI HW development

(10)

Ⅲ. THE CONTENTS AND SCOPE OF THE RESEARCH

1. Development of ETRI AI Open Platform

❍ Creation of AI open environment - Build and test ETRI AI open platform

❍ Collaboration with head office

- collaboration with ETRI open API and data processing tool

- Development of virtual experience-based technology to spread ETRI technology ❍ Collaboration with region community

- Discover and build learning data that can be used for AI applications/ services

- Build ETRI-university/local government program

2. Development of AI Accelerator based on SW Virtual Platform

❍ Development of AI HW Accelerator Architecture based on SW Virtual Platform - Development of HW Architecture for Inference Acceleration for MobileNet v2

❍ Development of Data Flow for Accelerating Inference HW

- Development of HW Data-flow Structure for Inference Acceleration for MobileNet v2 - Developed AI accelerator for MobileNet v2 based on SW virtual platform

❍ Development of Optimization Technique based on SW Virtual Platform - Development of processing data precision optimization technology

- Development of Structure Optimization Technology for Optimal AI Accelerator

3. AI Technology Professional Engineer Training

❍ Open and operating AI Technology Professional Engineer Training Course Based on Demand

- Establishing and promoting training courses - Development of training course

- Opening and operating training courses

4. Supporting AI HW design environment

❍ Establishment and operation of design environment ❍ Technical support for design tools

(11)

Ⅳ. RESEARCH RESULTS

Ⅴ. USAGE PLAN OF RESEARCH RESULTS

❍ ETRI AI Open Platform

- Providing a foundation for processing and building learning data to consumers (local enterprises, universities, etc.) who need AI learning data

- Using ETRI AI Open Platform as a forum for sharing user-involved learning data

❍ Utilize AI HW accelerator based on SW virtual platform to help company quickly implement AI-enabled product ideas in HW

- Design of construction considering HW/SW partitioning and power Index

(Spec.) Metric

Technical Objectives

(`19)

Current Year’s Results Achievement (%) Collection of

Learning Data (Accumulation)

Set 2

o Day care data for machine learning o Data for Korean Speech Synthesis o Single-person media chat-data o Demographic data collected from

online news articles

100%

Utilization of ETRI AI Open Platform

Step 2

o Build and test a platform for sharing learning data

o Test-run open platforms

100% Convolution

Optimization ratio

% 10 o Reduced execution time to

process convolution by 12.23% 122.3% DRAM Access

Optimization % 10 o Improved DRAM access by 11.96% 119.6% AI Inference

Acceleration Optimization

Times 70

o 87.91x improvement in execution time compared to ARM

cortex(6667MHz) 125.5% Training Professional Engineer Num. of People 310 o Education: 26 lessons, 426 people

o Technical seminar: 78 people (two times)

137.4% Num. of

Company 50

o In-Demand Job: 52 Companies, 373 people 104% Corporate and

Technical Support

Number 30/30 o 33 corporate and 45 technical support 110%/ 150%

(12)

consumption/performance using SW virtual platform

❍ Supporting the development of technology and training professional engineers - Verification of the performance of research results through ETRI research

result(beta-test)

❍ Supporting AI development by supporting AI hardware design environment

Ⅵ. EXPECTED RESULTS & PROPOSITION

1. Expected Results

❍ Establish foundation for ETRI AI technology ecosystem by discovering and supporting technology demand in the metropolitan area

- Promote technology transfer and commercialization of ETRI research results - Providing AI data for company that can not cannot collect data

❍ Strengthen company competitiveness by drastically reducing time-to-market through rapid development and functional verification of AI service models using HW acceleration technology

❍ Enhancing corporate research productivity and applied technology through AI SW/HW development support and expanded support to human resource

- Training for the spread of research results of ETRI

- Discovering potential demand companies for technology diffusion and training through research results

2. Proposition

(None)

(13)

CHAPTER 1 Research Background ·

·

23 SECTION 1 Project Outline ·

·

23 1. Project Definition and Vision ·

·

23 SECTION 2 Related Researches and Trend ·

·

24 1. Related Researches ·

·

24 2. Technology and Industry Trend ·

·

25 SECTION 3 Necessity and Importance of Project ·

·

27 1. Project Necessity ·

·

27 2. Project Importance ·

·

30 CHAPTER2 Project Objectives and Scope ·

·

32 SECTION 1 Final Objectives ·

·

32 SECTION 2 Annual Research Topics ·

·

33 SECTION 3 Current Year’s Objectives ·

·

36 SECTION 4 Current Year’s Scope ·

·

38 1. ETRI AI Open Platform ·

·

38 2. Development of AI Accelerator based on SW Virtual Platform ·

·

· ·38

3. AI Technology Professional Engineer Training ·

·

· ·39

4. Support AI HW design environment ·

·

39 CHAPTER3 Current Year’s Results ·

·

41 SECTION 1 Current Year’s State ·

·

41

(14)

2. Task Progress Schedule ·

·

45 SECTION 2 ETRI AI Open Platform ·

·

49 1. Creation of AI sharing environment ·

·

49 2. Collaboration with head office ·

·

53 3. Collaboration with region community ·

·

62 SECTION 3 Development of AI Accelerator based on SW Virtual Platform ·79

1.

Development of AI HW Accelerator Architecture based on SW Virtual Platform

·

79 2. Development of Data Flow for Accelerating Inference HW ·

·

· ·85

3. Development of Optimization Technique based on SW Virtual Platform ·

·

88 SECTION 4 AI Technology Professional Engineer Training ·

·

· ·94

1.

Open and operating AI Technology Professional Engineer Training Course Based on Demand

·

· ·94

SECTION 5 Support AI HW design environment ·

·

99 1. Support AI HW design environment ·

·

99 CHAPTER4 Project Performing System ·

·

102 SECTION 1 Proejct Perfroming System and Method ·

·

102 1. ETRI AI Open Platform ·

·

102 2. Development of AI HW Accelerator Platform ·

·

103 3. AI Technology Professional Engineer Training ·

·

· ·104

4. Support AI HW design environment ·

·

105 SECTION 2 Development of AI HW Accelerator Platform ·

·

· ·107

SECTION 3 Research Facilities and Equipments ·

·

109 1. Owned Equipments ·

·

109

(15)

3. Education Facilities ·

·

113 CHAPTER5 Research Results and Expectation Effectiveness ·

·

· ·114

SECTION 1 Research Results ·

·

114 1. Quantitative Results ·

·

114 2. Qualitative Results ·

·

115 SECTION 2 Expectations and Usage Plan ·

·

118 1. Expectations ·

·

118 2. Usage Plan ·

·

· ?

CHAPTER6 Summary of Next Year’s Plan ·

·

120 SECTION 1 Research & Development Objectives ·

·

120

(16)

Figure Contents

Figure 1.

ICT convergence technology supporting vision for metropolitan industry

·

· ·24

Figure 2.

ICT convergence technology supporting concept for metropolitan industry

· ·32

Figure 3. ETRI AI Open Platform ·

·

49 Figure 4. Data Upload Page for Data Sharing ·

·

50 Figure 5. Capacity of Deployed Storage ·

·

50 Figure 6. Currently Built Data Sharing List ·

·

52 Figure 7. Introduction of Human Activity Machine Learning Data ·

·

· ·52

Figure 8. Introduction of Autonomous Driving Machine Learning Data ·

· ·52

Figure 9. NLP Editing Tool Using NER API ·

·

54 Figure 10. NLP Tagging ·

·

54 Figure 11. Object Detection Editing Tool ·

·

55 Figure 12. Technical Experience Service System Diagram ·

·

· ·56

Figure 13. Admin Page of KSB Framework Service ·

·

57 Figure 14. Service Request Page ·

·

58 Figure 15. Log-In for Technical Experience Service ·

·

58 Figure 16. KSB Framework ·

·

59 Figure 17. Main page of KSB Framework Service ·

·

60 Figure 18. Development Cycle of Deep Learninf Dash Board ·

·

· ·61

Figure 19. Demo Page of Deep Learninf Dash Board ·

·

62 Figure 20. Examples of tagging guideline ·

·

64

(17)

Figure 22. Summary of learning data set ·

·

66 Figure 23. Construction result of learning data of childcare domain ·

· ·66

Figure 24. Examples of MRC learning data (JSON type) ·

·

· ·67

Figure 25.

Data collection system using YouTube API for speech synthesis

·

· ·68

Figure 26. Example of collected data set ·

·

69 Figure 27. UI of NAVER news ·

·

72 Figure 28. Collection of popular news list in NAVER ·

·

· ·72

Figure 29. Collection result of NAVER news data ·

·

73 Figure 30. Introduction of ETRI AI Open Platform ·

·

75 Figure 31. Introduction material of ETRI AI Open Platform ·

·

· ·76

Figure 32. MoU document of ETRI-SSKU ·

·

76 Figure 33. Signing ceremony of ETRI-SSKU MoU ·

·

77 Figure 34.

The 3rd_{Planning Committee for Regional Innovation Smart City Foundation}

₇₇

Figure 35.

The 4th_{Planning Committee for Regional Innovation Smart City Foundation}

₇₇

Figure 36. Introduction of ETRI AI Open Platform in Gyeonggi technology fair 78

Figure 37. Technical consultation in Gyeonggi technology fair ·

·

· ·78

Figure 38. Layer structure used in MobileNet v2 ·

·

79 Figure 39. Accelerator architecture for MobileNet v2 ·

·

· ·80

Figure 40. System architecture for AI accelerator ·

·

81 Figure 41. AI accelerator development flow for MobileNet v2 ·

·

· ·82

Figure 42. CNN model for BBS Score Prediction ·

·

83 Figure 43. Classification of fall risks using unsupervised learning 84

Figure 44. Data structures used in HW accelerator for MobileNet v2 86

(18)

Figure 45. Loading input data using line buffer ·

·

86 Figure 46. Project structure of SW virtual platform ·

·

87 Figure 47. System structure of SW virtual platform ·

·

88 Figure 48. Comparison of inference accuracy by data type for parameters 90

Figure 49. Comparison HW Resources by data type ·

·

90 Figure 50. Comparison of execution time by data type ·

·

· ·91

Figure 51. Optimization options available with Vivado HLS ·

·

· ·92

Figure 52. Source code for data communication interface ·

·

· ·93

Figure 53. System of developing ETRI AI open platform ·

·

· ·102

Figure 54. System of developing platform for AI accelerator ·

·

· ·103