인간지능과 인공지능

(1)

인간지능과 인공지능

조 영 임 교수

10강 인공지능에서 쓰이는 알고리즘 2

오류역전파 학습알고리즘

(2)

2

신경회로망의 기본 구성요소

w

_kj

w

_ij

w

_lj

U

_i

a

_i

(t)=F

_i

(a

_i

, net

_i

) o

_i

(t)= a

_j

(t)=F

_j

(a

_j

, net

_j

) f

_i

(a

_i

)

o

_j

(t)=

f

_j

(a

_j

)

U

_j

f

_i

(a

_i

) f

_j

(a

_j

)

1

0

1

-m θ m 0-m 0 m (Threahold function) (Sigmoid function)

· 활성화 함수(activation function)

netj

(3)

(4)

4

(5)

(6)

다층 퍼셉트론 : XOR 문제를 해결하기 위한 방법

6

(7)

다층 퍼셉트론 예제

(8)

8 학습이 종료된 상태: 가중치 고정

(9)

https://www.youtube.com/watch?v=OXjdAfsIFVo

1. 인공지능에 도전하는 패턴인식의 세계

https://www.youtube.com/watch?v=Cu1s4L4KdJQ

2. 패턴인식 그것이 알고 싶다.

(10)

M ULTIPAYER P ERCEPTRON 의 예

10

• 학습할 패턴의 수: 3개(ㄱ,ㄴ,ㄷ)

• 신경회로망 Topology

w₀₀ w₀₁ w₁₁ w₁₀

w₀₂ w₀₁

w₀₀

(100)->(111001001) (010)->(100100111) (001)->(111100111)

입력층 9개노드 중간층 2개노드 출력층 3개노드

w₁₀

(11)

프로젝트 예

1 0 0 0 0

1 1 1 1 1

1 0 0 0 0

1 1 1 1 1

0 0 0 0 1

1 1 1 1 1

0 0 0 0 1

1 1 1 1 1

0 0 0 0 1

1 1 1 1 1

0 0 0 0 1

1 1 1 1 1

1 0 0 0 1

1 1 1 1 1

1 0 0 0 1

1 1 1 1 1

* Learning pattern : 10 pattern (ㄱ,ㄴ,ㄷ,ㄹ,ㅁ,ㅂ,ㅅ,ㅇ,ㅈ,ㅍ)

(1000000000) (0100000000) input

output

input 1 1 1 1 1

1 0 0 0 0

1 1 1 1 1

1 0 0 0 0

1 1 1 1 1

(0010000000)

<입력패턴>

(12)

프로젝트 예

12

…

Output layer node: 10 Hidden layer node: 10

Input layer node: 25

전 방 향

역 방 향

ㄱ=> 1 1 1 1 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1

목표 출력값=> 1 0 0 0 0 0 0 0 0 0

Hidden_o1 Output_o2 Delta_output3

Delta_Hidden4

Output_w5

Hidden_w6 ...

...

…

Output layer node: 10 Hidden layer node: 10

Input layer node: 25 Hidden layer node: 10 Output layer node: 10 Input layer node: 25

전 방 향 전 방 향

역 방 향 역 방 향

ㄱ=> 1 1 1 1 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1

목표 출력값=> 1 0 0 0 0 0 0 0 0 0

Hidden_o1 Output_o2 Delta_output3

Delta_Hidden4

Output_w5

Hidden_w6 ...

...

(13)

실행결과 예

<실행결과>

0 0 0 0 0

1 0 0 0 0

1 1 1 1 1

0 0 0 0 0

1 0 0 0 0

1 1 1 1 1

1 0 0 0 0

1 1 1 1 1

1 0 0 0 0

1 1 1 1 1

Noise pattern Output=>1000000000

=>

0 0 0 0 1

=>

(14)

실행결과 예

14 데이터 missing

(15)

다층퍼센트론 원리

(output signal)

w

_(xm)n

: 가중치

y

_n

: output signal of neuron n.

(input signals)

(16)

16

다층퍼센트론 원리

(17)

다층퍼센트론 원리

(18)

18

다층퍼센트론 원리

(19)

(교사신호)

(실제출력값)

다층퍼센트론 원리

(20)

20

다층퍼센트론 원리

(21)

다층퍼센트론 원리

(22)

22

다층퍼센트론 원리

(23)

다층퍼센트론 원리

(24)

24