딥러닝

딥러닝

인공지능의 과거, 현재 그리고 미래

제9기 차세대 에너지리더 과정

강사 소개

■ KAIST 경영과학과 − 수리 알고리즘 전공

■ ㈜ 오픈테크 등 소프트웨어 회사 경영(15년)

■ 클래식 기타 연주, 와인 애호가, 록밴드 활동.

■ 머신러닝/딥러닝 연구

■ 현재:

 동국대학교 소프트웨어 융합원 교수(머신러닝/딥러닝 연구)

 경희대학교 대학원 및 한국외국어대학교 겸임교수(머신러닝/딥러닝 강의)

 자연어처리, 딥러닝 관련 프로젝트 수행중

■ 저서/역서:

 자바 딥러닝의 핵심(에이콘출판 2017)

 지능형 웹 알고리즘(위키북스 2017)

 사이버 물리 시스템(에이콘출판 2017.12) 김광일

강의 순서

■

■

■

■

■

■

인공지능이란?

인공지능의 정의

■ 인공지능(Artificial Intelligence, AI) 또는 기계지능(Machine Intelligence, MI) 이란 인간 또는 동물이 지닌 자연지능(Natural Intelligence, NI)를 인공적으 로 구현한 것이다.

 시각인식, 음성인식, 의사결정 그리고 번역과 같이 인간의 지능이 요구되는 일 들을 수행할 수 있는 컴퓨터 시스템의 이론과 개발 − 옥스포드 사전

■ 인공

생물학적인 방법을 포함하는 모든 인위적인 방법을 의미하나, 주로 컴퓨터 프로그 램을 사용하는 것을 의미.

■ 지능

 지능이란 삶에서 목적을 이루기 위한 능력의 일부이다.

 의식이나 자아 또는 무의식을 포함한 심리 등을 포함하는 것인가?

 인간의 지능은 어떤 요소들로 구성되는 가?

인공지능에 대한 인식

다른 지능에 대한 우리의 오해

인공지능의 역사

■ 그리스 신화

 피그말리온과 갈라테이아 신화 속 인공지능

 헤파이스토스와 판도라

인공지능의 역사

■ 로봇의 조상

자동기계 (Automaton)

기력솥(Aeolipile) 헤론(AD.10 ~AD. 70)

음악 로봇 밴드

알 자자리(1136~1206) 글쓰는 사람

자끄 드로즈(1721~1790)

인공지능의 역사

■ 터미네이터(1984) – 스카이넷

■ 스페이스 오딧세이(2001) – HAL 9000

■ Her(2013) − 사만다

인공지능의 역사

■ 아더 사뮤엘(Arthur Samuel)

 처음으로 머신러닝(Machine Learning)이라는 용어 사용

 체커 게임(1959) − 스스로 학습하는 최초의 프로그램

■ IBM 딥블루(Deep Blue)

 세계 체스 챔피언 가리 카스파로프에 승리(1997)

■ IBM 왓슨(Watson)

 TV 퀴즈 쇼 제퍼디(Jeopardy!)에서 우승(2011)

■ DeepMind 알파고(AlphaGo)

 이세돌에게 4:1 승리(2016)

 2017.5.27 현재 공식 프로 대국 전적 = 13전 12승 1패

■ 리브라터스(Libratus)와 딥스택(DeepStack)

 각각 텍사스 홀덤 포커 게임과 무제한 배팅 포커 게임에서 승리(2017) 인공지능과 게임

인공지능의 역사

■ 1950년: 앨런 튜링의 튜링 테스트 − 기계지능의 테스트 방법 제안

■ 1956년: 인공지능 용어 탄생(다트머스 회의, 존 매카시)

■ 1962년: 로젠블롯의 퍼셉트론(Perceptron) − 최초의 인공신경망

■ 1969년: 퍼셉트론의 한계 증명(민스키 & 페퍼트) − XOR 문제

■ 1974 − 1980년 : 인공지능의

⟸ 성과 부진 + 민스키의 비판

■ 1980 − 1987년 : 인공지능의 부활(전문가 시스템, 신경망 역전파 알고리즘)

■ 1987 − 1993년 : 인공지능의

⟸ 신경망의 문제, 과도한 기대

■ 1993년 − 현재 : 머신러닝 기법 발달, 신경망 이론의 성숙

 시각인식 분야에서 인간의 능력을 넘어섬

 언어분야에서 인간의 능력에 아직 미달 ⟹ 가장 활발한 연구 분야

 노화원인 규명 등 다양한 분야에서 가능성을 보이고 있음

 산업혁명 4.0의 핵심 요소 중 하나 인공지능의 부침

인공지능의 분류

■ 강인공지능(Strong AI)

일반적인 인간의 지능 수준과 동일하거나 더 뛰어난 지능을 나타내며, 자의식, 감 성, 창의성을 가지고 스스로 행동하는 AI. 강인공지능의 출현 가능성에 대해서는 이견이 많음(스카이넷, HAL 9000, 사만다, 아이 로봇 등).

■ 약인공지능(Weak AI)

사물을 분석하거나 이해할 수 있는 능력으로서, 특정 분야에서는 인간보다 뛰어난 능력을 보인다. 그러나 자의식이나 창의력은 없다. 우리가 보거나 보게 될 대부분 의 AI는 이 범주에 속한다.

■ 지능의 평가(by Sandeep Rajani)

 최적(Optimal): 더 이상 잘 할 수 없는 상태

 강력한 초인간(Strong super-human): 모든 인간보다 월등함

 초인간(Super-human): 대부분의 인간보다 뛰어남

 인간이하(Sub-human): 대부분의 인간보다 열등함

인공지능의 분류

■ 인공지능(Artificial Intelligence)

가장 넓은 의미에서의 인공지능으로서 인공적으로 구현한 모든 수준의 지능을 포 괄함. 컴퓨터 과학 측면에서 보면, 환경을 인지하여 어떤 목표를 성취할 수 있는 가 능성이 최대화 되도록 행동을 취하는 지능적 객체에 대한 연구.

과학으로서의 인공지능, 머신러닝, 딥러닝

■ 머신러닝(Machine Learning)

구체적으로 프로그래밍하지 않아도 스스로 학습하여 임무를 수행할 수 있는 능력을 컴퓨 터가 갖도록 구현하는 AI의 한 분야.

■ 딥러닝(Deep Learning)

데이터에 대한 다층적 표현과 추상화를 통해 학습하는 머신러닝의 기법. 일반적으로 머신 러닝이라고 하면 딥러닝을 포함하는 것으로 이해하면 됨.

인공지능 동향

인공지능에 대한 관심도

Google Trends

각국의 인공지능 연구 활동

발표 문헌으로 본 인공지능 연구 활동

[White House Report “Preparing for the Future of Artificial Intelligence, 2016”]

기업의 인공지능 투자

인공지능 창업기업 인수합병 경쟁

산업혁명 4.0

Cyber-Physical Systems and IoT

인공지능의 적용

산업별 애플리케이션

딥러닝이

할 수 있는 일

알고리즘(단위 기능)별 사례

이미지 인식

■ 손글씨 숫자(MNIST)

 인간(0.2%) vs 기계(0.23%) − 2012년

인공지능이 할 수 있는 일

머신러닝의 이미지 인식

■ 교통 표지판 인식(IJCNN 2011):

 인간(1.16%) vs 기계(0.54%) − 2011년

이미지 컬러화

인공지능이 할 수 있는 일

Image Colorization

이미지 합성 및 문맥 전달

인공지능이 할 수 있는 일

Image Synthesis & Semantic Transfer

Original painting by Renoir semantic annotations desired layout generated output

스타일 전달

인공지능이 할 수 있는 일

Style Transfer

이미지 복원

인공지능이 할 수 있는 일

Image Inpainting

이미지 대 이미지 번역

인공지능이 할 수 있는 일

Image-to-Image Translation

이미지 정위

인공지능이 할 수 있는 일

Image Localization

이미지 변환 (2D ⟹ 3D)

인공지능이 할 수 있는 일

Image Transformation (2D to 3D)

이미지 캡션

인공지능이 할 수 있는 일

Image Captioning

문맥적 영상 분할

인공지능이 할 수 있는 일

Semantic Segmentation

심층 스테레오 정합

인공지능이 할 수 있는 일

Deep Stereo Matching

자율운전

인공지능이 할 수 있는 일

Self-driving

작곡

■ Recurrent Neural Network

인공지능이 할 수 있는 일

Music Composition

[Daniel Johnson’s hexahedria ]

문자음성 자동변환

■ WaveNet − Google DeepMind

Parametric WaveNet

딥러닝과 자연어처리

 동의어/유사어 찾기

 정보 추출: 인명, 지명, 회사명, 가격, 날짜, 제품명

 분류: 장르/주제 탐지, 감성 분석

 기계 번역

 질의응답

 대화 시스템

 텍스트 생성

 대화 인식

Deep Learning and Natural Language Processing(NLP)

대화 음성인식

인공지능이 할 수 있는 일

Conversational Speech Recognition

■ 역사적 성과: 마이크로소프트 연구원들이 대화 음성 인식에 있어서 인간

과 대등한 수준의 성과를 이룩했다(2016.10 마이크로소프트 발표 내용 중).

언어 모델

인공지능이 할 수 있는 일

Language Model

■ Google SyntaxNet

■ 문장 내 단어들 간의 문법적 관계를 결정하는 POS(Part-Of-Speech) 태깅에

있어 94%의 정확도 달성(인간: 96%)

감성 분석

인공지능이 할 수 있는 일

Sentiment Analysis

■ 문맥에 의한 더욱 정확한 감성 분석

■ [예] “An erotic thriller that’s neither funny too erotic nor very thrilling, either.”

기계 번역

인공지능이 할 수 있는 일

Machine Translation

■

■

programming. For example, in image recognition, they might learn to identify images that contain cats by analyzing example images that have been manually labeled as "cat" or "no cat" and using the analytic results to identify cats in other images. They have found most use in applications difficult to express in a traditional computer algorithm using rule-based programming.

■

■

的系统通过考虑示例（通常没有任务编程）来学习（逐步提高性能）来完成任务。例如，在

图像识别中，他们可能会通过分析手动标记为“猫”或“无猫”的示例图像，并使用分析结果来 识别其他图像中的猫，从而学习识别包含猫的图像。他们发现在使用基于规则的编程的传统 计算机算法中难以表达的应用中最多使用。

대화 시스템

인공지능이 할 수 있는 일

Neural Conversational Model

■ [예] 전자제품 콜센터 챗봇에게 엉뚱한 말을 하는 고객

고객: 도덕적이라는 것이 뭐죠?

기계: 인간성을 갖게 하는 것, 지성의 핵심입니다.

고객: 그럼 비도덕적인 것은요?

기계: 자녀를 가졌다는 것이죠.

고객: 그럼 도덕은 뭡니까?

기계: 이타심이 무엇이죠?

고객: 이타심의 정의가 뭡니까?

기계: 신을 믿지 않는다면 모르실 겁니다.

고객: 좋아요…. 그래서 도덕의 정의가 무엇인데요?

기계: 흠… 고객님께서는 신이 전지전능하시다는 것을 믿지 않습니다.

고객: 도덕성의 정의에 대해서 말해 줄래요? 지금 열 받기 시작했거든요.

기계: 제가 철학자라는 것이 부끄럽지 않습니다.

고객: 도덕성의 정의를 얘기해 주세요.

기계: 저는 윤리관이 없습니다.

고객: 이봐! 나 좀 도와줘. 도덕에 대해서 알고 싶다고.

기계: 저는 윤리가 무엇인지 모릅니다.

고객: 정말. 도덕이 무엇이죠?

기계: 삶의 정의가 무엇입니까?

고객: 삶과 도덕이 무슨 관계가 있죠?

기계: 고객님은 경찰이 아닙니다.

고객: 좋아요. 내가 어떻게 행동해야 도덕적인가요?

기계: 무슨 말을 해드려야 할지 모르겠습니다.

고객: 도덕과 윤리는 같은 의미인가요?

기계: 네, 그렇습니다.

. .

.

딥러닝이란 ?

약간 더 깊이 가볼까요?

머신러닝의 분류

■ 지도학습(Supervised Learning)

정답이 있는 훈련 데이터셋을 사용하여 모델을 학습시키는 방법

 회귀(Regression): 주어진 값에 대해서 (연속적) 값을 예측하는 모델

 분류(Classification): 주어진 데이터의 유형을 분류하는 것

■ 비지도학습(Unsupervised Learning)

정답이 없는 훈련 데이터셋을 사용하여 데이터 내에 숨어 있는 어떤 관계를 찾아 내는 것.

 군집화(Clustering): 데이터 사이의 관계를 찾아내 데이터를 군집화하고 변수가 가질 수 있는 값들의 확률분포를 찾아내는 모델

 이상탐지(Anomaly Detection): 비정상적인 상태의 데이터를 찾아내는 것

■ 강화학습(Reinforcement Learning)

보상을 최대화시키도록 행동을 선택하는 것을 학습하는 방법으로서 보상은 즉각 적이거나 지연된 것일 수 있음.

학습 방법에 따른 구분

인간의 두뇌

■ 공학적 관점

 Compact

 에너지 효율적 (20 watt)

 대뇌: 860억 뉴런

 소뇌: 690억 뉴런

 850억 아교 세포(Glial cells)

 수천~수만 시냅스/뉴런

 뉴런 연결선들이 용적의 대부분을 차지

■ 범용 계산 기계로서 능력은?

 수학적 논리 및 연산 등에 대해서는 느림

 시각, 언어, 상호작용 등에 대해서 대단히 빠름

 진화: 시각 ⟹ 언어 ⟹ 논리 인간 두뇌의 계산 능력

인간의 뉴런

■ 뉴런의 구조

(수상돌기)

(세포체)

(세포핵)

(축삭)

(시냅스)

(수초)

인공뉴런

■ 퍼셉트론 알고리즘의 움직임(입력이 2가지인 경우)

■ XOR 문제 − Minsky & Papert(1969)

x₁ x₂

0 1

1 x₁ x₂ Y

0 0 0

1 0 1

0 1 0

1 1 0

심층신경망 (Deep Neural Networks)

다층 퍼셉트론(Multi-Layer Perceptron, MLP)

입력신호

입력층 은닉층

#1

은닉층

#2 출력층

출력신호

심층신경망의 계산량

■ 학습시켜야 할 계수(파라미터, 가중치)의 수가 극도로 많음.

완전연결 심층신경망의 결정적 결점

입력 이미지

256개 가중치

26개 가중치

100개 은닉뉴런

뉴런(노드)

심층신경망 (Deep Neural Networks)

■ 인간 시각 신호 처리 방법에서 영감을 받다

컨볼루션 신경망(Convolutional Neural Networks)

■ LeNet-5(Y. LeCun & Y. Bengio, 1998)

컨볼루션 신경망(Convolutional Neural Networks)

컨볼루션 연산이란?

컨볼루션 신경망(Convolutional Neural Networks)

컨볼루션 연산이란?

컨볼루션 신경망(Convolutional Neural Networks)

컨볼루션 연산이란?

컨볼루션 신경망(Convolutional Neural Networks)

컨볼루션 연산이란?

컨볼루션 신경망(Convolutional Neural Networks)

컨볼루션 및 다운샘플링

C1 S2 C3 S4 F5

Feature maps Input image

Kernels (filters, weights)

Cn : Convolution (특징 추출) Sn : Subsampling (Pooling) 층 Fn : 완전연결층

컨볼루션 신경망(Convolutional Neural Networks)

컨볼루션 필터(커널)의 효과

■ 있는 그대로

■ 윤곽 탐지

■ 흐려짐

■ 선명하게

0 0 0 0 1 0 0 0 0

0 1 0 1 −4 1 0 1 0

1 1 1 1 1 1 1 1 1

0 −1 0

−1 5 −1 0 −1 0

컨볼루션 신경망(Convolutional Neural Networks)

Subsampling(Pooling)의 효과

■ 이미지의 변형에 대한 불변성 확보

컨볼루션 신경망(Convolutional Neural Networks)

계층적 학습

딥러닝 기법의 특징

■ 종래의 머신러닝 기법은 수작업에 의한 특징 공학(feature engineering)이 필수.

 적용 분야에 대한 전문 지식과 경험이 필요

 데이터에 대한 정제 및 전처리 과정이 성능에 결정적 영향을 줌

 임무(제품/공정/문제)에 약간의 변경만 생겨도 재작업이 필요

■ 딥러닝은 수작업 특징 공학이 필요 없음

 최소한의 정제 작업을 거친 입력 데이터를 직접 훈련에 사용하여 결과를 얻을 수 있음(end-to-end).

 하위계층에서 단순한 표현을 학습하고 이것들을 조합하여 상위계층에서 복잡 한 표현을 학습함(인간의 인지 과정과 유사).

 대량의 데이터를 필요로 함.

 여전히 사람이 시행착오와 경험을 통해 지정해야 하는 하이퍼파라미터가 존재

딥러닝과 데이터

■ 딥러닝 알고리즘은 학습을 위해 일반적으로 대규모 데이터를 필요로 함

■ 데이터가 부족한 경우 딥러닝 알고리즘을 선택하지 않는 것이 더 나은 경 우가 많음

■ 지금까지 성공한 대부분의 딥러닝 알고리즘은 이론이 발표된 이후 오랜 시간이 흐른 후에 충분한 데이터를 사용 가능하게 된 이후에 성공적인 성 과를 나타냄

■ 고품질의 훈련 데이터셋을 구축하는 것은 시간과 비용이 매우 많이 듬

딥러닝과 데이터

■ IMAGENET

 인터넷에서 수집된 14백만 장의 이미지를 2만개 클래스로 수작업 분류한 DB

 14백만장의 이미지와 2만개의 계급(class) − 레이블

■ ILSVRC(Large Scale Visual Recognition Challenge) 2017 Challenge:

 객체 위치 식별 − 1000 범주

 객체 탐지 – 200 범주

 비디오 객체 탐지 − 30 범주

인공지능이 할 수 있는 일

이미지 빅데이터

딥러닝의 동인

■ 알고리즘

 콘볼루션 신경망(Convolutional Neural Networks, CNN)

 RNN-LSTM(Recurrent Neural Networks with Long Short Term Memory)

 GAN(Generative Adversarial Networks)

 강화학습(Reinforcement Learning)

■ 데이터

 Bigdata

■ 하드웨어

 Nvidia

 Google

 Intel

Three Driving Forces of Deep Learning

인공지능과 에너지 산업

스마트 그리드

산업별 인공지능 도입 동향

스마트 그리드

스마트그리드와 머신러닝

스마트그리드의 핵심 요소

인공지능, 블록체인, 로봇

에너지 산업과 인공지능

에너지 인공지능 애플리케이션의 성장

재생에너지 관리 수요 관리 인프라 관리

재생에너지 예측

20%

설비 보전

35%

풍력 및 태양열 효율

35%

저장장치 분석

10%

에너지 효율

35%

에너지 관리 시스템

35%

수요대응 관리

20%

수요대응 게임 이론

10%

디지털 자산 관리

40%

설비 운영 및 관리

40%

발전 관리

20%

인공지능의 미래

미래의 직업 - Top 10 Skills

■ 프로그래밍, 설비운영 및 통제 같은 좁의 의미의 기술적 능력보다 설득 (persuasion), 감성적 지능(emotional intelligence), 지도(teaching) 같은 능력 에 대한 수요가 높을 것으로 예측.

[ 출처: Future of Jobs Report, World Economic Forum ]

인공지능의 미래

■ 스티븐 호킹: “인공지능 기술 개발이 인류의 멸망을 부를 수도 있다.”

“인공지능은 스스로를 개량하고 도약할 수 있는 반면, 인간은 생물학적 진화 속도 가 늦어 인공지능과 경쟁할 수 없고 대체되고 말 것이다.”

■ 엘런 머스크: “인류에게 있어 AI는 북한 미사일보다 더 큰 위협이다.”

AI가 문제를 일으키기 전에, AI 기술이 완전히 성숙되기 전에, 위험을 야기할 수 있는 것들(자동차, 비행기, 음식,약품)과 같이 규제가 이루어져야 한다.

■ 빌 게이츠:

“우선, 기계는 우리를 위해 많은 일을 해줄 수 있지만 초지능은 그렇지 못하다”.

“만일 우리가 관리할 수 있다면 그렇게 하는 것이 바람직하다. 수 십 년 후에는 인 공지능이 우려할 만한 수준으로 심해질 것이다.”

■ 마크 저커버그

“뭔가를 만들어 낼 수 있다면, 세계는 좋아질 것이라고 생각하고 있다. 특히 AI에 대해 정말 낙관적이다. 그래서 부정적인 태도를 취하고 AI는 세상의 종말을 초래 한다는 이야기를 하고 있는 사람이 있다는 것은 이해할 수 없다.”

인공지능에 대한 기대와 경고

생각해야 할 것들

■ 훈련된 모델의 저작권

■ 무인 자동차를 포함한 로봇의 책임

■ 트롤리 문제

■ 자율화된 조직(객체)의 법적 지위

■ 지능과 양심의 분리 (유발 하라리)

. .

감사합니다.