퍼지 QFD를 활용한 공공부문 정보화 성과
측정범주 중요도 도출
오진석*˚,송영일**
*국방대학교 국방관리학부, **국방대학교 국방관리학부
The Fuzzy QFD Approach to Importance the Public
Sector Information Performance Measurement Category
Oh, Jin-Seok, Song, Young-Il
Korea National Defense University, Korea National Defense University E-mail : [email protected], [email protected]
요 약 범정부 PRM은 정보화사업의 성과 평가를 위한 평가분류체계로써 측정범주는 제공하 고 있지만, 측정범주별 적용기준에 대한 상대적 중요도가 없다는 단점이 있다. 효율적인 정 보화사업을 관리하기 위해서는 성과에 대한 평가를 객관적으로 할 수 있는 정량적인 수치 화가 필요하다. 연구를 위한 다기준 의사결정의 방법론에 대해 살펴보고, 전문가의 의견을 수렴함에 있어 가장 적절한 연구방법론을 제시한다. 본 논문에서는 퍼지 QFD를 이용하여 범정부 PRM의 개발목적을 잘 반영할 수 있는 측정범주의 상대적 중요도를 도출한다.
1. 서 론
현재 정부 및 민간에서는 정보화 사업에 대한 성과측정에 많은 노력을 기울이고 있다. 범정부차 원에서는 성과참조모델(PRM : Performance Reference Model)이 2009년 12월에 ver. 2.0으로 개발되어 정 보화성과 측정을 위한 분류체계와 방향을 제시해 주고 있다. 범정부 PRM은 정부 및 공공기관으로 하여금 정보기술 투자의 결과와 정보기술 투자가 기관의 전략적 성과에 미치는 영향을 측정할 수 있게 함으로써 전략적 차원에서 기관 업무를 보다 잘 관리하고 통제할 수 있도록 지원한다. 범정부 성과참조모델은 평가분류체계, 표준 가시 경로 및 성과관리 표준 양식이라는 3가지 항목으 로 구성되어 있으며, 이를 통해 정보화사업성과 제 고 및 사업품질 향상을 위한 성과요소들을 분류하 고 인과관계를 정의하고 있다. 표준 가시경로 및 표준 양식은 평가분류체계를 근간으로 성과요소 식별 및 상호 관계성을 제공받는 것이므로, 평가분류 체계에 대한 개발이 무엇보다 중요하다.[2] 평가분류체계는 정보화 사업의 성과를 평가할 수 있는 정량적인 분석의 틀을 유지해야 한다. 정보화 사업을 관리하기 위해서는 성과에 대한 평가가 있 어야 하며, 평가를 위해서는 객관적으로 표현할 수 있는 정량적인 수치화가 반드시 필요하다. 범정부 PRM이 평가분류체계를 통하여 측정영역 과 측정범주는 제공해 주고 있지만, 성과평가에 있 어서 어느 정도의 중요도로 고려해야 하는지는 제 시하고 있지 않다. 범정부 PRM은 국내의 특성을 고려하여 개발되어졌으므로, 해당 분야의 전문가에 대한 자료수집과 통계적 분석을 수행하여 검증된 PRM의 측정영역 및 측정범주별 중요도에 대한 연 구가 필요하다. PRM의 평가분류체계에 대한 중요도를 도출하기 위해서는 고객의 요구사항이라고 할 수 있는 PRM 의 개발 배경 및 목적을 파악하는 것이 선행되어 야 한다. 요구사항에 따라 측정영역 및 측정범주가 구성되었으므로, 요구사항이 측정영역 및 측정범주② 기술특성 ① 고객의 요구사항 ③ 품질표 ⑤ 고객의 인지도 ⑥ 기술특성의 목표값 의 중요도를 결정하는데 가장 큰 고려요소임을 알 수 있다.
QFD(Quality Function Deployment)는 제품의 개발 및 생산단계에서 고객의 요구사항을 적절한 기술특성으로 전환시키기 위한 수단을 제공하는 분석방법으로 사용되는 의사결정도구이다. 고객의 요구사항에 대한 중요도결정을 위해서는 AHP (Analytic Hierarchy Process)를 주로 사용한다. 최 근에는 이러한 AHP에 응답자의 의견에 내포된 의 미가 다양하며, 판단과정의 모호성과 불확실성을 고려하여 퍼지이론을 접목한 퍼지 AHP가 많이 적 용되어지고 있다. QFD의 고객요구사항을 대신하여 범정부 PRM의 개발 배경 및 목적을 입력하고, 중요도의 평가대상 인 제품기술특성으로는 측정범주를 입력한다면, 고 객요구사항을 반영한 제품기술특성의 상대중요도 평가과정이 범정부 PRM의 개발목적에 충실한 측 정범주간의 상대중요도 평가과정으로 전환될 수 있을 것으로 판단된다. 이에 본 연구에서는 공공부문의 정보화 사업의 성과평가 목적을 고려하는 범정부 PRM 측정범주 의 상대중요도 평가 방법론을 제안하고자 하며, 이 를 위한 기본 분석틀로서 QFD를 이용하고자 한 다. 특히, QFD 분석과정에서 퍼지이론을 접목하여 응답자의 주관적인 판단과 모호함으로 인한 불확 실성을 최소화하여 QFD 분석결과의 신뢰도를 향 상시키고자 한다.
2. 이론적 고찰
본 연구는 QFD를 활용하여 PRM의 개발배경 및 목적이 최종적인 평가분류체계의 측정범주에 미치 는 영향에 따른 중요도를 산정하는 것이다. 전체적 인 연구의 틀인 QFD와 대안별 쌍대비교를 위한 퍼지 AHP, 중요도 도출을 위한 FPP에 대한 적용 근거와 논리에 대해서 다음과 같이 정리하였다.2.1 QFD(Quality Function Deployment)
품질기능전개는 동시공학 설계기법의 하나로서 제품 및 공정 특성들을 사용자 요구사항과 연관시 켜주며, 제품개발과 생산의 각 단계에 대한 사용자 의 요구사항을 적절한 기술적인 요구사항으로 전 환시켜 주는 수단이다. QFD를 구현하는 도구로 품질집(HOQ; House of Quality)를 사용하며, <그림-1>과 같은 구조와 구 성요소로 이루어져 있다. QFD는 HOQ를 활용하여 통상 4단계 절차로 실행되지만, 연구의 필요에 따라 적용단계와 구성요소의 축소 및 확대가 가능하다. <그림-1> 품질집(HOQ)의 구조 고객의 요구사항은 요구 속성을 정리하고 자료 를 분석하여 요구품질을 추출하는 것이다. 기술특 성은 요구품질을 만족시킬 수 있는 수단으로 선정 된다. 고객의 요구사항과 기술특성간의 관련정도를 표현한 것이 품질표이다. 기술특성간 상호관계는 연구에서 많이 활용되지 않는 분야이지만, 기술특 성간 상호 부정적 영향을 미칠 수 있는 사항이 있 을 수 있는 것을 파악할 수 있도록 해준다. 경쟁제 품에 대한 고객의 인지도를 통해서 중요한 고객의 요구를 찾아낸다. 기술특성의 목표값은 품질표에서 상대적인 중요한 기술특성을 파악하여 목표수준 설정시 활용한다. 본 연구에서는 상기 HOQ의 ④, ⑤, ⑥은 불필요하므로, 모형을 축소하여 적용하였다. 품질기능전개를 적용함에 있어 참여시킬 전문가 의 적정인원은 12~15명이고, 충실한 의견 수렴을 위하여 아무리 많아도 25명은 넘지 않아야 한 다.[1] 2.3 퍼지 AHP T. L. Saaty에 의해 개발된 AHP는 복잡한 다기 준 의사결정의 문제를 작은 문제로 계층화하여 합 리적인 의사결정이 가능하도록 체계적으로 분석하 는 기법이다. 쌍대비교 과정은 인간 판단의 불명확 하고 모호한 불확성이 내재되어 있기 때문에 최근 ④ 기 술 특성간의 상호관계
에는 이러한 불확실성을 다루기 위해 쌍대비교 결 과를 퍼지수(Fuzzy Number)로 취급하여 분석을 수 행하는 퍼지 AHP가 많이 적용되고 있다. 퍼지이론은 L.A.Zadeh(1965)이 보통집합의 전통적 개념을 일반화한 이론이며, M.Sugeno(1974)에 의해 퍼지측도 및 퍼지적분을 도입하면서 수학적 모델에 접근한 이론들이 산업분야에 적용되기 시작했다. 퍼지이론은 “0” 또는 “1”로 확실하게 표현되는 이 분법적 논리와는 달리 “0에 가깝다”, “아마도 그럴 것이다”와 같은 모호한 대상을 표현하는데 활용한 다. 즉, 인간의 언어나 사고와 같은 모호함을 표현 하는 질적이고 정성적인 자료를 정량적인 수치로 변환시킬 수 있기 때문에 모호한 불확실성을 본질 적으로 내포하고 있는 인간의 가치판단을 보다 정 확히 표현하는데 효과적이다. 퍼지수 은 변수 에 대응하는 퍼지집합을 의 미하며, 소속함수(Membership Function) M(X) : R → [0, 1]에 의해 정의된다. 소속함수는 가 에 속할 가능성의 정도를 나타내주는 것으로서, 함 수는 여러 가지 형태로 정의될 수 있으나, 본 연구 에서는 아래와 같이 개념적으로 접근하기 용이한 삼각퍼지수(Triangular Fuzzy Number)를 사용하 기로 한다. 삼각퍼지수 는 3개의 파라메타(, m, u)로 구성되며 의 소속함수 는 다음식으로 정의된다.
≤ ≤ ≤ ≤ 여기서 ≤ ≤ 이며, 과 u는 각각 삼각퍼지 수 의 하한값과 상한값을 의미한다. n개의 삼각 퍼지수 = ((i), m(i), u(i))의 평균퍼지수 Aave는 다음과 같이 산출된다. ⋯
= (, m, u) 이와 같이 계산된 평가항목은 crisp 수로 표현되 는 상대중요도로 계산되기 위해서 비퍼지화 과정 이 요구된다. 퍼지를 비퍼지화하는 방법에는 Mean of Maximum, Center of Area, a-cut 방법 등이 있으며, 본 연구에서는 이 중 널리 사용되는 Center of Area(면적 중심법)을 사용한다.[6] 면적중심법에 따르면, 삼각퍼지수 = (, m, u)의 비퍼지화된 값 a는 다음과 같이 계산된다. <표-1>은 AHP의 쌍대비교에서 활용되는 언어 표현 척도와 각각에 해당하는 삼각퍼지수의 예를 보여주고 있다.2.3 FPP(Fuzzy Preference Programming)모형 일반적인 쌍대비교 행렬로부터 중요도 결정을 위해서는 고유벡터법(Eigenvalue Method), 대수최 소자승법(Logarithmic Least Squares Method), 가 중최소자승법(Weighted Least Squares Method), 목적계획법(Goal Programming Method) 등의 방 법을 이용할 수 있다. 그러나 쌍대비교행렬이 퍼지수로 이루어지는 퍼 지 AHP에서는 이러한 방법을 사용할 수 없다. 퍼 지수의 역수가 이용됨에 따라 최종 중요도의 값이 왜곡될 수도 있고, 퍼지수의 상․하한값의 폭이 넓 어지거나 퍼지수의 순위를 결정하는 방법에 따라 서 우선순위가 바뀔 수도 있다.[3][4] <표-1> 쌍대비교 언어척도의 삼각퍼지수 언어척도 crisp 수 crisp 수의 역수 삼각퍼지수 삼각퍼지수의 역수 동일하다 1 - (1, 1, 2) 약간 중요하다 3 1/3 (2, 3, 4) (1/4, 1/3, 1/2) 상당히 중요하다 5 1/5 (4, 5, 6) (1/6, 1/5, 1/4) 매우 중요하다 7 1/7 (6, 7, 7) (1/7, 1/7, 1/6)
본 연구에서는 이러한 한계점들을 극복하기 위 하여 Mikhailov(2003)가 제안한 비선형 FPP(non- linear Fuzzy Preference Programming)방법론을 이용하기로 한다. 이 방법은 쌍대비교 설문치만을 이용하며, 설문된 퍼지수의 역수를 이용하는 완전 한 형태의 쌍대비교행렬을 요구하지 않는다.[5] FPP에서는 중요도를 계산시에 대안 1에 대한 대 안 2의 중요도 a12의 설문치만을 이용하며, a12의 역수인 대안 2에 대한 대안 1의 중요도는 계산에 이용하지 않는다. 중요도는 crisp수로 계산되어 추 가로 퍼지수의 순위결정 방법을 이용할 필요가 없 다. 이러한 FPP의 중요도는 다음과 같은 비선형 문 제로 수식화하여 간단히 계산되는 것이 장점이다. subject to (mij - ij)․․wj - wi + ij․wj ｝0, (uij - mij)․․wj + wi - uij․wj ｝0,
wk > 0, k = 1, 2, …, n, i=1, 2,…, n-1, j=2, 3,…, n, j > i3. 연구모형 설정 및 절차 수립
범정부 PRM의 측정범주에 대한 중요도를 도출 하기 위해서 상기 이론에 따른 연구모형 및 분석 절차를 다음과 같이 수립한다. 3.1 HOQ 구성요소 본 연구에서 QFD의 ‘①고객의 요구사항’에 해당 하는 PRM의 개발목적은 ‘범정부 PRM 2.0’과 ‘정 보시스템의 효율적 도입 및 운영등에 관한 법률’ 등에서 성과평가의 배경 및 목적을 종합하여 체계 화 하였다. 범정부 PRM의 개발목적은 해당항목별 로는 <표-2>와 같이 세분화하였다. QFD의 ‘②기술특성’에 해당하는 측정영역에 대 한 측정범주의 분류는 이석준․조숙진․오승운 (2008)이 성과참조모형 분류체계에 관한 실증연구 를 통하여 실무적으로 의미가 있는 13개 측정범주 를 정의하였으며, 범정부 PRM의 측정영역별 측정 범주 분류체계로 <표-3>과 같이 적용한다. <표-3> 측정영역별 측정범주 분류 측정영역 측정범주 기 술 - 비용 - 기술품질 - 성능 - 사용 - 정보 & 데이터 T-1 T-2 T-3 T-4 T-5 프로세스 및 활동 - 재무/비용 - 품질 - 관리 - 생산성 - 보안 P-1 P-2 P-3 P-4 P-5 고객 성과 - 고객만족- 서비스품질 - 서비스범위 C-1 C-2 C-3 3.2 연구모형 및 분석 절차 본 연구는 고객의 요구사항과 기술적 특성의 상 관관계를 비교하여 고객의 요구사항을 반영하는 정도에 따라 기술적 특성의 중요도를 산정할 수 있다. HOQ를 구성하면서 고객의 요구사항은 범정 부 PRM의 개발목적으로 하고, 기술적 특성은 측 정영역의 측정범주로 하였다. 이렇게 산출된 측정 범주의 중요도는 고객요구사항인 PRM의 개발목적 이 충분히 반영된 것으로 간주할 수 있다. <표-2> PRM 개발목적별 세부 항목 분류 개발목적 세부 항목 정보화투자 의사결정 향상 (R-1) 성과 정보 생성 지원 R-1.1 중복투자 예방 R-1.2 정보화 성과의 명확한 가시경로 제공 (R-2) 입력-출력-성과간 인과관계 명확화 R-2.1 계층별 성과의 연계 R-2.2 정보화 사업의 성과 개선 가능성 제고 (R-3) 성과의 가시화, 측정, 통제, 관리 R-3.1 정보화 사업의 개선 가능성 파악 R-3.2 정보화 성과관리를 위한 표준모형 제공 (R-4) 공동의 일관된 프레임워크 제공 R-4.1 성과정보와 예산 결정사안의 통합 R-4.2 업무 및 정책성과 기여토록 지원 (R-5) IT 자원의 효율적 관리 R-5.1 기관 내외 협력기회 제공 R-5.2본 연구는 QFD분석을 위하여 1개의 HOQ를 작 성하며, 분석절차는 2단계로 수행된다. 분석절차 1 단계는 PRM의 개발목적의 세부항목별로 설문받아 세부항목별 수준을 결정한다. 결정된 개발목적의 세부항목별 수준은 각 세부항목의 상대중요도를 가중치로 활용하여 개발목적의 수준으로 변환되고, 비퍼지화 방법론인 면적중심법을 통해 PRM 개발 목적의 상대중요도가 결정된다. 2단계에서는 측정영역별로 측정범주의 상대중요 도를 결정한다. 이를 위해 퍼지 AHP를 이용하여 각 개발목적에 대한 관련 측정영역 및 측정범주의 중요도를 결정하고, 1단계에서 결정된 속성요인의 상대중요도와 곱하여 측정영역 및 측정범주의 상 대중요도를 결정한다.
4. 퍼지 QFD 적용 및 분석 결과
4.1 설문을 통한 의견 수렴 본 연구는 공공부문을 대상으로 하고 있기 때 문에 피설문자는 공공기관 및 관련 연구소로 한정 하였다. 최적의 설문결과 수렴을 위하여 설문은 15 명의 전문가에게 수행하였으며, 다음과 같이 구성 하였다. 첫째, PRM의 개발목적별 세부항목에 대한 수준. 둘째, 측정영역별 측정범주의 쌍대비교이다. 4.2 개발목적별 세부항목 수준 측정 먼저 PRM의 개발목적별 세부항목에 대한 수준 은 <표-4>와 같은 양식으로 측정하였다. 측정결과 가 오른쪽(高)에 가까울수록 세부항목이 조직의 전 략적 성과에 큰 영향을 미치는 것이며, 왼쪽(低)에 가까울수록 세부항목이 조직의 전략적 성과에 미 치는 영향이 적다는 것을 의미한다. <표-4> 세부항목 수준 설문 양식 구 분 항목 수준 (低 ↔ 高) 목적 세부항목 매우 상당히 약간 보통 약간 상당히 매우 R-1 R-1.1 R-1.2 R-2 R-2.1 R-2.2 R-5 R-5.1 R-5.2 <표-4>와 같이 측정된 개발목표별 세부항목의 언어척도는 퍼지분석의 입력자료로 활용되기 위해 서 <표-5>에 의해서 삼각퍼지수로 변환된다. <표-5> 수준측정 언어척도의 삼각퍼지수 구 분 언어척도 삼각퍼지수 항목 수준 低 ↕ 高 매우 (0, 0, 1) 상당히 (0, 1, 2) 약간 (1, 2, 3) 보통 (2, 3, 4) 약간 (3, 4, 5) 상당히 (4, 5, 6) 매우 (5, 6, 6) 이와 같은 설문 및 퍼지수 변환을 통하여 PRM의 개발목적별 세부항목에 대한 수준을 측정하였다. <표-6> 개발목적별 세부항목 수준 측정 결과 개발 목적 세부항목 항목수준 목적수준 중요도상대 R-1 R-1.1 3.2541 2.8756 0.1590 R-1.2 2.5412 R-2 R-2.1 4.5264 3.8042 0.2103 R-2.2 3.1972 R-3 R-3.1 3.2675 3.3922 0.1875 R-3.2 3.5216 R-4 R-4.1 5.1642 4.1061 0.2270 R-4.2 3.2648 R-5 R-5.1 4.2584 3.9122 0.2163 R-5.2 3.5942 측정영역별 측정범주의 쌍대비교는 <표-3>의 분류를 통해서 <표-7>와 같은 양식으로 측정하였 다. <표-7> 측정범주 쌍대비교 설문 양식 A A가 중요 ↔ B가 중요 B 매우 상당히 약간 동일 약간 상당히 매우 C-1 C.2 C-1 C-3 C-2 C-3 측정영역에 대한 측정범주의 중요도를 도출하기 위해서 퍼지 AHP(비선형 FPP)를 이용하며, 이를 위해 공공부문 성과측정 전문가를 대상으로 쌍대 비교 설문을 받았다. 설문결과는 언어척도로 평가 되며, <표-1>에 따라 삼각퍼지수로 변환된다.<표-8> 개발목적에 의한 측정범주 중요도 산출 구분 중요도상대 T-1 T-2 T-3 T-4 T-5 P-1 P-2 P-3 P-4 P-5 C-1 C-2 C-3 R-1 0.1590 0.0487 0.0343 0.0453 0.0356 0.1122 0.0408 0.0796 0.0651 0.0766 0.0620 0.0960 0.1669 0.1370 R-2 0.2103 0.0553 0.0193 0.0338 0.0209 0.1223 0.0278 0.0791 0.0599 0.0751 0.0559 0.1008 0.1946 0.1550 R-3 0.1875 0.0680 0.0247 0.0376 0.0261 0.1165 0.0323 0.0780 0.0609 0.0745 0.0573 0.0974 0.1810 0.1457 R-4 0.2270 0.0015 0.0071 0.0286 0.0095 0.1284 0.0197 0.0962 0.0676 0.0903 0.0615 0.1286 0.1947 0.1663 R-5 0.2163 0.0644 0.0169 0.0317 0.0185 0.1228 0.0256 0.0784 0.0586 0.0743 0.0545 0.1007 0.1972 0.1565 상대 중요도 0.0464 0.0194 0.0347 0.0211 0.1211 0.0284 0.0827 0.0624 0.0785 0.0581 0.1057 0.1882 0.1533 우선순위 9 13 10 12 3 11 5 7 6 8 4 1 2 전문가에 의한 설문결과들을 하나의 삼각퍼지수 로 통합하기 위해서 기하평균을 이용하였다. 이와 같은 절차에 의해 측정범주에 대한 쌍대비교 수행 결과의 삼각퍼지수 변환 및 중요도 선정결과는 <표-8>과 같다. 퍼지 QFD를 적용하여 범정부 PRM의 평가분류 체계에 대한 정량적 분석을 2단계 절차로 수행하였 다. 1단계 분석결과, 범정부 PRM의 개발목적에서 는 “정보화 성과관리를 위한 표준모형 제공”이 상 대 중요도 22.7%로 가장 높았다. 2단계 분석에서는 측정영역인 “고객성과”에 포함되는 “서비스품질” 및 “서비스범위”가 각각 18.82%, 15.33%로 높은 상 대 중요도로 측정되었으며, 다음으로는 측정영역 “기술”에 해당하는 “정보 & 데이터”가 12.11%로 3번 째 우선순위를 보이는 측정범주로 선정되었다.
3. 결 론
범정부 PRM은 정부 및 공공기관의 정보화사업 성과평가를 위한 평가분류체계를 제공하고 있다. 하지만, 평가분류체계의 측정범주에 대한 중요도의 적용기준이 마련되어 있지 않아 기관별로 별도의 기준에 따라 정보화 성과평가가 이뤄지고 있다. 범 정부적인 정보화사업의 체계적인 관리를 위해서는 성과평가체계에 있어서도 동일한 적용기준이 마련 되어야 하며, 효율적 관리를 위해서는 정량적인 평 가기준이 마련되어야 한다. 본 연구에서는 범정부 PRM의 평가분류체계중 측정범주에 대한 상대 중요도를 도출하는 연구방법 론을 제시하였다. 기본적인 분석 틀로는 QFD의 절 차를 일부 변형하여 이용하였다. 대안별 쌍대비교 를 위해서 퍼지 AHP를 적용하므로써, 피설문자의 의견에 내재되어 있는 불확실성과 애매함을 최소화 할 수 있도록 노력하였다. 상대 중요도를 계산시 퍼지이론을 적용함에 따라 발생될 수 있는 문제점 을 해결하고자 FPP를 적용하였다. 범정부 PRM의 개발목적을 분석한 결과 “정보화 성과관리를 위한 표준모형 제공”이 가장 높은 중요 도로 도출되었다. 이는 PRM의 어떤 목적보다도 참 조모형으로서의 표준모형 제공이라는 기본적인 필 요성이 강조되고 있는 것을 확인 할 수 있었다. 범 정부 PRM의 개발목적에 따른 측정범주의 상대 중 요도를 측정해본 결과 고객성과 측정영역의 “서비 스품질”이 가장 높았다. 정보화사업은 최종 수익자 인 고객의 측면에서 받는 서비스의 품질을 최우선 으로 고려해야 함을 알 수 있다. 본 연구는 범정부 PRM의 평가분류체계의 측정 범주의 중요도를 도출하면서 개발목적을 잘 반영할 수 있도록 하였다는 점에서 중요한 의미를 부여할 수 있다. 또한, 전문가의 의견에 포함된 불확실성을 최소화할 수 있도록 하였으며, 퍼지이론의 문제점 을 해결하고자 하였다는 점에서 가치가 있다고 할 수 있다. 하지만, 본 연구에서는 측정범주에 제한되 어 측정지표에 대한 분석을 수행하지 못하였으며, 향후에 보완적인 연구가 수행되어야 한다.[참고문헌]
[1] 김영한 외 1명, 「품질만족 리엔지니어링」, 성 림, 1994. [2] 한국정보화진흥원, “범정부 성과참조모형 2.0”, 2009.Pairwise Comparison", International J. Approx. Reason. 21(1999):215-231.
[4] Dyer, J., "Remarks on the Analytic Hierarchy Process". Management Science 36(1990):274-275 [5] Mikhailov, L. "Deriving priorities from fuzzy
pairwise comparison judgements", Fuzzy sets and systems, 2003
[6] Zhao, R., Govind, R., "Algebraic characteristics of extended fuzzy number", Information Science, 1991, 54, 103.
