3. 의사결정나무(Decision Tree)

생산계획과 예측; 의사결정

1

1. 의사결정의 개념

2. 의사결정상황의 종류

3. 의사결정나무(Decision Tree)

1. 의사결정의 개념

미래의 어떤 목적을 달성하기 위하여 존재하는 여러 대안들 중에서 최선의 대안을 선택하는 것

여러 대안 중 하나를 선택하는 것. 선택과 관련된 사고와 행위의 과정 의사결정의 구분

긴급성 기준 위기, 비위기, 기회 정보상태 기준 확정 위험, 불확실성 문제형태기준 프로그램, 비프로그램

의사결정자 유형

관리인:

조직 안의 현실적인 의사결정자

–

administrative model

H.A. Simon

–

bounded rationality

만족할 만한 최소한의

조건

–

만족해(satisfactory so)

–

현실적

–

descriptive model

경제인:

합리성을 가지고 극대화 기준에 따라 행동하는 자 –

rational economic model

Adam Smith

–

perfect rationality

가능한 모든 대체안을

탐색, 평가

–

최적해(optimal solution)

–

이상적

–

normative model

고전적 모델과 관리적 모델

고전적 모델 관리적 모델

1. 의사결정자는 완전한 지 식을 가지고 각 대안의 모 든 결과를 완벽하게 예측 할 수 있다.

2. 의사결정자는 각 대안의 확률 값을 각각의 결과에 대응시킬 수 있다.

3. 의사결정자는 가능한 모 든 대안을 완벽하게 알 수 있다.

1. 의사결정자는 결과에 대 한 단편적인 지식을 가지 고 있다.

2. 경영자는 각 대안의 확률 값을 결과에 대응시킬 수 없다.

3. 의사결정자는 가능한 모 든 대안을 완벽하게 알 수 없고, 단지 몇 개의 대안 만을 생각한다.

H.A. Simon

의사결정 과정 = 경영(관리자 = 의사결정자) 인간행동 = 결정+행동

(의사결정은 행동의 전제조건)

관리인의 가설(administrative man)

인간의 인지능력 한계(정보, 능력, 시간 등) 제한된 합리성에 의한 의사결정

의사결정 기준 - 만족

문제의 구조화 정도에 따른 분류

정형적 비정형적

문제의 복잡성이 낮고 명확함 하위관리자 , 단기적 성격

조직내부 문제에 초점(폐쇄시스템) 대안 평가 기준이 명확

조직의 유지, 개선하는 결정

예측 불가능한 문제, 예외문제 최고경영자, 장기적 성격

의사결정의 여유 없음

위험을 최소화할 수 있는 의사결정

적용수준에 따른 분류

1)전략적 의사결정(strategic decision making)

주로 최고경영층에서 수행. 기업전체에 영향을 미치는 장기적인 의사결정 목표달성을 위해 최대의 능력을 발휘할 수 있도록 자원을 배분하는 것

2)관리적 의사결정(administrative decision making)

조직체의 중간관리층에서 수행. 중·단기 계획과 관련된 의사결정

최대의 과업능력을 산출하기 위해 기업의 자원을 조직화하는 과정에서 조직 기구의 관리에 관한 결정과 자원의 조달과 개발에 관한 결정

3)업무적 의사결정(operating decision making)

하위계층에서 단기적인 전략수행과 성과달성에 필요한 관리행동에 관한 의사결정. 현 행 업무의 수익성 극대화가 목적.

각 기능부문 및 제품라인에 대한 자원의 배분, 업무의 일정계획 통제활동

전략적 의사결정

관리적 의사결정

업무적 의사결정 현장감독층

중간관리층 최고경영층 비정형적

정형적

의사결정 접근법

모델적 접근법: 개인의 의사결정 과정 그 자체를 기술해서 모델화.

- 피험자의 의사결정 과정을 시뮬레이션으로 개발하여 분석 - 참여관찰·면접에 의하여 기술·모델화

전략적 접근법: 기업 전략에 관련시켜 전개하는 것

- 의사결정 이슈에 적합한 의사결정 스타일의 선택 문제

환경 대처 접근법: 의사 결정을 환경에 대처할 전략의 문제로 취급 - 확실성하의 의사결정

- 복잡성(위험)하의 의사결정 - 불확실성하의 의사 결정 - 상충하의 의사결정

2. 의사결정상황의 종류

-확실한 상황(decision making under certainty) OR, 정형적 의사결정과 유사

-불확실한 상황(decision making under uncertainty) 직관, 경험, 주관적 확률

-위험한 상황(decision making under risk) 통계적 확률, 객관적 확률

-상충하는 상황(decision making under conflict) 게임이론

의사결정 활동

Intelligence Activity : 경제적, 기술적, 사회적 환경을 분석하여 의 사결정 계기 수립하는 활동

Design Activity : 기획활동, 문제해결 위해 가능한 대안들을 개발 하는 활동

Choice Activity : 가장 합리적인 대안을 선택하는 활동

목표설정 문제인식 문제평가 정보수집

결과 평가 실행 대안선택 대안개발

의사결정 과정

1.

2.

3.

4.

5.

6.

7.

- 장기적 관점의 선택인 경우 계획의 수립이 요구 - 의사결정자에 대한 통제권 부여

8.

- 의사결정과정의 프로그램화 → 일련의 과정에 대한 이해심화 (평가의 기준제공)

새로운 문제해결능력 창조

합리적 의사결정 모형

1. 문제식별 - 문제 정의 - 원인 규명

- 의사결정목적 식별

2. 대체안 개발

- 창조적인 대체안 개발 - brain storming 기법

4. 실행과 감시 - 계획 실행 - 실행 감시

- 필요한 부분 조정

3. 대체안 평가와 선정 - 대체안 평가

- 타 부서와의 관계 - 최적 대체안 선정

시스템의 기본 개념

시스템(System)이란

공통의 목적을 달성하기 위하여 하나 이상의 구성요소가 상호 관련된 유기적인 결합체

공통의 목적 또는 목표를 달성하기 위하여 상호 관련적으로 결합된 절차나 방법의 유기적인 결합체

자연 시스템(Natural System)

인간에 의해서 만들어진 것이 아니고 자연계에 존재하는 시스템 예 : 사람, 동물 및 식물 등의 생물 시스템,

태양계나 지리 시스템 등의 물리 시스템 인공 시스템(Artificial System)

사람에 의해서 조직되고 관리되는 시스템

예 : 사회 제도, 운송 시스템, 통신 시스템, 제조 시스템

시스템의 기본 개념

일반적인 시스템 모델

처 리

(processing)

시 스 템 슈퍼 시스템

(Super system)

시 스 템

(System)

서브 시스템

(Subsystem)

운송방법

피드백 제 어

입 력 출 력

경 계 자 전 거

페 달

시스템 모델 시스템 모델 계층

시스템의 기본 개념

시스템의 특성: 유용한 시스템이 반드시 갖추어야 할 특성

• 목적성(Objective): 목적을 달성하기 위해 시스템이 존재 – 시스템의 목적을 분명하게 설정

• 자동성(Automation): 시스템이 변화에 적절히 대응할 수 있도록 조건이나 상황을 설정하여 자동 처리

• 제어성(Control):시스템의 기능을 정확하게 수행, 시스템의 신뢰도와 밀접한 관련

• 통합성(Integration): 시스템은 관련 시스템과 상호 의존 관계, 통합화를 목표로 한 통합 시스템의 방향으로 발전

시스템의 구성 요소

정보시스템의 구성 요소

사 람

처리절차 ^{자료저장소}

S/W H/W

정 보

(Information) 데이터

(Data)

처 리

(Processing) 입 력

(Input)

출 력 (Output)

의사결정 표(decision table, payoff table)

각 상황과 발생확률

대 안

대 안1 C11 C12 …….. C1n

대 안2 C21 C22 …….. C2n

…….. …….. …….. …….. ……..

대 안m Cm1 Cm2 …….. Cmn

대안(alternative)

상황(state of nature) 확률(probability)

조건부 값(conditional payoff)

확실한 상황하의 의사결정

의사결정에 필요한 정보를 가진 상황에서의 의사결정 선형계획법

목표계획법 할당문제 등

불확실한 상황하의 의사결정

의사결정에 필요한 정보를 가지지 못한 상황에서의 의사결정

1. 라플라스 기준(Laplace criterion)

2. 낙관적 기준 (Criterion of optimism)

3. 비관적 기준 (Criterion of pessimism) 4. 후르비치 기준(Hurwicx criterion)

5. 새비지 기준(Savage’s criterion)

(단위; 만원)

증권시장 동향예측

대 안 약 세 보합세 강 세

섬 유 3,000 3,000 3,000 철 강 1,000 4,000 4,000

전 자 500 5,000 3,500

건 설 -2,000 7,000 1,500

라플라스 기준(Laplace criterion)

각 대안의 평균조건부 값을 구한 후,

최대평균값 (기대값)을 가지는 대안을 선택

기대값(섬유) (3,000+3,000+3,000)/3=3,000 기대값(철강) (1,000+4,000+4,000)/3=3,000 기대값(전자) (500+5,000+3,500)/3=3,000

기대값(건설) (-2,000+7,000+1,500)/3=2,166.67

낙관적 기준 (Criterion of optimism)

각 대안이 가지는 최대이익(최소손실)을 찾고, 그 중 최대이익(최소손실)을 가지는 대안을 선택 maximax criterion, minimin criterion

대 안 보합세

섬 유 3,000

철 강 4,000

전 자 5,000

건 설 7,000

비관적 기준 (Criterion of pessimism)

각 대안이 가지는 최소이익(최대손실)을 찾고, 그 중 최대이익(최소손실)을 가지는 대안을 선택 maximin criterion, minimax criterion

대 안 약세

섬 유 3,000

철 강 1,000

전 자 500

건 설 -2,000

후르비치 기준(Hurwicx criterion)

각 대안 중 최대이익(최소손실)* 낙관계수 α 값과 최소이익 (최대손실) * 비관계수 1- α 의 합이 가장 큰 가중치를 선택

대 안 최대예상이익 최소예상이익

섬 유 3,000 3,000

철 강 4,000 1,000

전 자 5,000 500

건 설 7,000 -2,000

낙관계수 α=0.4, 비관계수 1- α=0.6 대안(섬 유) 0.4*3,000 + 0.6*3,000 = 3,000 대안(철강) 0.4*4,000 + 0.6*1,000 = 2,200 대안(전자) 0.4*5,000 + 0.6* 500 = 2,300 대안(건설) 0.4*7,000 + 0.6*-2,000= 1,600

낙관계수 α =0.6, 비관계수1- α =0.4

대안(섬유) 0.6*3,000 + 0.4*3,000 = 3,000 대안(철강) 0.6*4,000 + 0.4*1,000 = 2,800 대안(전자) 0.6*5,000 + 0.4* 500 = 3,200 대안(건설) 0.6*7,000 + 0.4*-2,000= 3,400

7000

건설

1/3

전자 철강

섬유

3/7 5/9

2/3

5000

4000

3000

1000 500

0

-2000

기회손실 표에서 최대기회손실 값이 최소인 대안을 선택 minimax regret criterion

증권시장 동향예측 대 안

약 세 보합세 강 세

섬 유 3,000 3,000 3,000 철 강 1,000 4,000 4,000

전 자 500 5,000 3,500

건 설 -2,000 7,000 1,500

새비지 기준(Savage’s criterion)

기회손실 대 안

약 세 보합세 강 세

섬 유 0 4,000 1,000

철 강 2,000 3,000 0

전 자 2,500 2,000 500

건 설 5,000 0 2,500

대 안 기회손실

약 세 보합세 강 세

섬 유 0

4,000

철 강 2,000

3,000

전 자

2,500

건 설

5,000

위험한 상황하의 의사결정

각 상황에 대한 미래 발생확률이 미리 알려져 있는 상황에서의 의사결정

1. 기대 값 기준(expected value criterion) 2. 기대 기회손실 기준

(expected opportunity loss criterion) 3. 완전정보의 기대 값

(expected value of perfect information: EVPI)

기대 값 기준(expected value criterion)

증권시장 동향예측

대 안 약 세

P=0.2

보합세 P=0.5

강 세 P=0.3 섬 유 3,000 3,000 3,000 철 강 1,000 4,000 4,000

전 자 500 5,000 3,500

건 설 -2,000 7,000 1,500

•EV(섬유) (3,000*0.2+3,000*0.5+3,000*0.3)=3,000

•EV(철강) (1,000*0.2+4,000*0.5+4,000*0.3)=3,400

•EV(전자) (500*0.2+5,000*0.5+3,500*0.3)=3,650

•EV(섬유) (-2,000*0.2+7,000*0.5+1,500*0.3)=3,550

기대 기회손실 기준

기회손실

대 안 약 세

P=0.2

보합세 P=0.5

강 세 P=0.3

섬 유 0 4,000 1,000

철 강 2,000 3,000 0

전 자 2,500 2,000 500

건 설 5,000 0 2,500

•EOL(섬유) 4,000*0.5+1,000*0.3=2,300

•EOL(철강) 2,000*0.2+3,000*0.5=2,300

•EOL(전자) 2,500*0.2+2,000*0.5+500*0.3=1.650

•EOL(섬유) 5,000*0.2+2,500*0.3=1,750

완전정보의 기대 값

•EV(섬유) (3,000*0.2+3,000*0.5+3,000*0.3)=3,000

•EV(철강) (1,000*0.2+4,000*0.5+4,000*0.3)=3,400

•EV(전자) (500*0.2+5,000*0.5+3,500*0.3)=3,650

•EV(섬유) (-2,000*0.2+7,000*0.5+1,500*0.3)=3,550

•EV= (3,000*0.2+7,000*0.5+4,000*0.3)=5,300

•EVPI = 5,300-3,650=1,650

예 제

경제 상황의 동향예측

대 안 고성장 보 통 저성장

주 식 100 65 -45

사 채 80 60 10

저 축 50 50 50

라플라스, 낙관적, 비관적, 후르비치, 새비지 기준에 따른 최선안을 결정하라. 단 낙관계수는 0.6이다.

3. 의사결정나무(Decision Tree)

의사결정나무(Decision Trees)는 분류 및 예측에 있 어서 자주 쓰이는 기법으로, 통계학적인 용어를 쓰지 않고도, DM(direct mail)의 응답여부 등에 영향을 미 치는 변수들과 변수들의 상호작용을 쉽게 설명할 수 있다는 것이 장점이다.

예측력을 높이는 것보다는 이유를 알아내는 것이 주 목표일 때 사용한다.

대출거절, 카드사용승인 거절과 같이 고객에게 그 이 유를 반드시 설명해야 하는 경우가 있다. 이 경우, ' 당신에게 대출을 거절하는 이유는 수입이 얼마 이하 이며 담보가치가 얼마이하이기 때문입니다'라는 식 의 근거이유를 제시할 수 있다.

의사결정나무의 예

A Decision Tree for “buys_computer”

A Decision Tree for “buys_computer”

age?

overcast

student? credit rating?

<=30 >40

no yes excellent fair

yes 31...40

no yes no yes

의사결정나무의 작성

의사결정나무(Decision Tree)는 이미 집단화가 되어있는 고객이나 제품들 을 구분해줄 수 있는 특성들을 단계별로 찾아주는 분석 방법.

직업

회사원 자영업 무직

결혼여부 학력 나이

결혼 미혼 고졸이상 고졸미만 20미만 20-50 50이상

나이

30미만 30이상

보통

보통 보통

우수

불량 불량 불량 우수

의사결정나무의 구성요소

뿌리마디(root node): 나무구조가 시작되는 마디로 전체 자료로 이루어져 있다.

자식마디(child node): 하나의 마디로부터 분리되어 나간 2개 이상의 마디 들

부모마디(parent node): 주어진 마디의 상위마디 끝마디(terminal node): 자식마디가 없는 마디

중간마디(internal node): 부모마디와 자식마디가 모두 있는 마디 가지 (branch): 한의 마디로부터 끝마디 까지 연결된 일련의 마디들.

깊이 (depth): 뿌리마디부터 끝마디까지의 중간마디의 수

의사결정나무의 구성요소

Credit status

Bad: 168 (52.0 %) Good: 155 (48.0%) Total: 323 (100.0%)

Income < 2130$

Bad: 143 (86.7 %) Good: 22 (13.3%) Total: 165 (51.1%)

Income >= 2130$

Bad: 25 (15.8 %) Good: 133 (84.2%) Total: 323 (48.9%)

Job: C,D,E,F

Bad: 143 (90.5 %) Good: 15 (9.5%) Total: 158 (48.9%)

Job: A,B

Bad: 0 (0.0 %) Good: 7 (100.0%) Total: 7 (2.2%)

Age < 25 yr

Bad: 24 (49.0 %) Good: 25 (51.0%) Total: 49 (15.2%)

Age >= 25 yr Bad: 1 (0.9 %) Good: 108 (99.1%) Total: 109 (33.8%)

Job: D,E,F

Bad: 5 (55.5 %) Good: 4 (45.5%) Total: 9 (2.8%)

Job: A,B,C

Bad: 19 (47.3 %) Good: 21 (52.7%) Total: 39 (12.4%)

뿌리마디

끝마디

중간마디

(1)

(2) (3)

(4) (5) (6)

(7)

(8) (9)

의사결정나무 구축을 위한 질문

앞에서 소개된 의사결정나무를 보면 다음과 같은 질문을 던질 수 있다.

뿌리마디의 질문이 왜 소득인가?

4번, 5번, 7번 마디들은 끝마디인 반면 6번 마디는 왜 중간마디인가?

7번 마디에 속하는 자료는 신용상태를 어떻게 결정하여야 하는가?

즉, 의사결정나무의 생성요소는 다음과 같다.

분할 기준 (splitting rule)의 선택

분할을 계속할 것인지 그만 할 것 인지를 결정 (stopping rule and pruning rule)

각 끝마디에 예측 값의 할당

의사결정나무의 형성과정

나무의 성장(growing):

각 마디에서 적절한 최적의 분리규칙을 찾아서 나무를 성장 시킨다. 정지규 칙을 만족하면 성장을 중단한다.

가지치기(pruning):

분류오류를 크게 할 위험이 높거나 부적절한 추론규칙을 가지고 있는 가지를 제거한다. 또한, 불필요한 가지를 제거한다.

타당성 평가:

이익도표(gain chart)나 위험도표(risk chart) 또는 검증용 자료 (test

sample)의 사용, 또는 교차타당성 (cross validation) 등을 이용하여 의사결 정나무를 평가한다.

해석 및 예측: 구축된 나무모형을 해석하고 예측모형을 설정.

의사결정나무의 장점

이해하기 쉬운 규칙을 생성시켜 준다.

분류작업이 용이하다.

연속형변수와 범주형 변수를 모두 다 취급할 수 있다.

가장 좋은 변수를 명확히 알아낸다.

(SAS E-Miner의 Variable selection노드에서 카이제곱 통계량을 이용한 변수 선택은 바로 CHAID를 이용한 것이다.)

이상치에 덜 민감하다.

모형의 가정 (선형성, 등분산성 등)이 필요 없다.

즉, 비모수적 모형이다.

의사결정나무의 단점

목표변수가 연속형인 회귀모형에서는 그 예측력이 떨어진다.

나무가 너무 깊은 경우에는 예측력의 저하뿐 아니라 해석도 하기가 쉽지 않다.

계산량이 많을 수 있다.

비사각영역에서 문제가 있다.

결과가 불안정하다.

선형성 또는 주효과의 결여

상충되는 상황하의 의사결정

2가지 이상의 선택대안이 존재하는 상황 하에서 의사 결정자들이 협상을 통해 최선의 대안을 선택

게임이론(Game Theory)

둘 이상의 참가자가 상충하는 목적을 추구하기 위해 전략을 사용

게임의 유형

1. Player 수에 따라 2인, 3인…….

2. Zero sum, Plus sum 게임

3. 동시진행과 교대행동, 가위바위보, 장

기, 바둑……

보상과 청산행렬

보상(payoff)은 경기자 한 쪽의 선택대안과 다른 한쪽의 선택대안에 의해 정해지게

된다.

이를 행렬로 나타낸 것을 청산행렬

(payoff matrix)이라 한다.