사용자 경험 측정 사용자 경험 측정 (Measuring User Experience) (Measuring User Experience)

(1)

사용자 경험 측정 사용자 경험 측정 (Measuring User Experience) (Measuring User Experience)

6. Self-Recorded Metrics

숙명여자대학교

임순범

(2)

6.1 자가 기록 데이터의 중요성

 사용자에게 제품 사용 경험 설명을 요청

 참여자에게 정보를 요구 => 자가 기록 메트릭

 전체 만족도 , 사용 편의성 , 내비게이션 효율성 , 특정 기능 , 용어 명확성 등

 객관식 질문이 사용성 척도로 사용

 주관적인 의견을 객관적인 데이터로

 자가 기록 데이터

 시스템에 대한 사용자의 이해

 인터랙션에 대한 가장 중요한 정보

 감성적 수준의 데이터 : 사용자의 느낌

(4)

6.2 자가 기록 데이터 수집하기

대표적 평가 척도



리커트 척도 (Likert Scales)

 긍정 / 부정적 문장에 동의하는 정도 (level of agreement): 5 점 or 7 점 척도

 1. 매우반대 , 2. 반대 , 3. 보통 , 4. 찬성 , 5. 매우 찬성

 동의 정도를 문장으로 표현 (“ 매우 , 극히 , 절대로” 등 심한 표현 조심 ),

 홀수 개의 항목



의미차이 판별법 (Semantic Differential Scales) : SD 법

 반대되는 한 쌍의 형용사 표현 , 5 점 혹은 7 점 척도

예 , 약한 ○ ○ ○ ○ ○ ○ ○ 강한

(5)

 자가기록 데이터 수집시기

 각 태스크의 마지막 ( 태스크 후 평가 ) : 문제 있었던 인터페이스에 초점

 전체 섹션의 마지막 ( 연구 후 평가 ) : 좀 더 깊이 있고 전반적인 평가

 수집방법

 구두 대답 : 태스크후 빠르게 평가 내릴 때 효과

 서면조사 : 빠른평가 / 일반평가 모두 적합 , 해석시 에러발생 가능

 온라인도구 : 빠른평가 / 일반평가 모두 적합 , 설문작성 도구 이용

 수집시 편향 (Bias) 방지

 사회적 규범 편향 (Social Desirability Bias)

 직접 질문하는 경우 익명보다 긍정적인 피드백

 진행자가 보지 않는 방법으로 테스트 후 자료 수집

 테스트 후 우편이나 이메일로 보낼 경우 숫자 감소 우려

(6)

 평가 척도에 대한 가이드

 매력도 , 신뢰도 , 반응성 등 속성은 여러 방법을 사용하는 것이 유리

 긍정 부정 표현하는 문장을 모두 포함

 중립적인 반응을 위해 홀수 척도 사용 . 단 , 약간 치우치게

 자가 기록 데이터 분석하기

 척도상 구간을 ‘ 구간 수위’ 로 가정 => 구간자료로 취급 가능

 상위데이터 / 하위데이터의 빈도 조사 => 동의 비율 , 반대 비율

 주관식 답변은 분석 어렵다 => 질문을 구체적으로 , 유사한 것끼리 정렬

(7)

6.3 사후 태스크 평가 (Post-task Rating)

 주 목적 : 어떤 태스크가 어렵다고 생각했는지 ? => 개선할 부분

 사용편이성 (Ease of Use)

 태스크가 쉬웠는지 어려웠는지 평가

 리커트 5점 /7 첨 척도

 의미차이 판별법

 사후 시나리오 설문 (ASQ)

 After-Scenario Questionnaire, Jim Lewis, 1991

 다음 세가지 유저빌리티에 7 점 척도

 태스크를 쉽게 완료하는데 만족 => 매우 동의 못함 1….7 매우동의

 태스크 완료에 걸린 시간에 만족 => …

 지원된 정보 ( 도움말 , 메시지 ) 에 만족 => …

=> 유효성 effectiveness (1), 효율성 efficiency (2), 만족도 satisfaction ( 모 두 )

(8)

 예상 측정 (Expectation Measure)

 Albert & Dixon 2003

 참여자의 사전생각과 실제 결과를 비교 : 어렵다 / 쉽다 7 점 척도

 태스크 수행 전 기대 평가 (expectation rating)

 태스크 수행 후 경험 평가 (experience rating)

 [ 그림 6.2] 태스크별 평가 결과 => 분산도표 (scatterplot)

 빨리 개선 (Fix it fast)

 비수정 (Don’t touch)

 홍보 (Promote it)

 큰 기회 (Big opportunity)

(9)



유저빌리티 중요도 평가

 Usability Magnitude Estimation, McGee (2004)

 평가자 스스로 “ 사용성 잣대 (usability scale)” 를 수립

 점진적으로 잣대 수립해 나가기도



사후 태스크 자가기록 메트릭의 비교 실험

 5 가지 평가방법을 비교 : 169 쪽 상황 (condition)1 ~ 상황 (condition)5

 1 (간단한 사후 평가 척도 )

 2 (태스크 유저빌리티에 중점 )

 3 (ASQ 중에서 2개 질문 )

 4 (기대측정 )

 5 (usability scale)

 6 가지 태스크 , 온라인 수행 1131 명 참여

 한가지 자가 기록 방법에 최소 210 명

(10)

 비교 결과 [ 그림 6.4~6.7]

 각 태스크별 효율성 ( 수정 횟수 )

 각 태스크별 자가기록 평균

 각 태스크별 자가기록 (5 개 상황 )

 표본수에 따른 데이터 상관관계

(11)

6.4 사후세션평가 (Post-session Rating)

 가장 단순한 방법

 시간 흐름에 따라 동일 측정 방식으로 기록 => 전체 지표로 사용 가능

 평가 방법

 각 태스크 후 자가기록 데이터 수집하여 평균 계산 , 혹은 마지막 부분에서 측정

 전체 유저빌리티 평가

 시스템 유저빌리티 척도 (SUS; System Usability Scale)

 컴퓨터 시스템 유저빌리티 설문 (CSUQ)

 Computer System Usability Questionnaire

 사용자 인터페이스 만족도에 대한 설문 (QUIS)

 Questionnaire for User Interface Satisfaction

 유용성 , 만족도 , 사용 편이성에 대한 설문 (USE)

 Usefulness, Satisfaction, Ease-of-Use Questionnaire

 제품반응카드 (Product Reaction Cards)

(12)

 시스템 유저빌리티 척도

(SUS; System Usability Scale)

 1986, John Brook, 디지털장비회사

 동의 수준을 평가하는 10 개 문장

 5 점 척도 , 긍정 / 부정 혼재

=> 전체가 결합된 평가가 목적

 최종 100 점 만점

 <50: Not acceptable

 50–70: Marginal

 >70: Acceptable

(13)

 컴퓨터 시스템 유저빌리티 설문 (CSUQ)

 1995, Jim Lewis(ASQ 개발 ), Computer System Usability Questionnaire

 PSSUQ(Post-Study System Usability Quest.) 와 유사

 4 개 카테고리 19 개 항목

 시스템 유용성

 정보 품질

 인터페이스 품질

 전체 만족도

 7 점 척도

 모두 긍정적 문항

(14)

 사용자 인터페이스 만족도에 대한 설문 (QUIS)

 1988, Maryland Univ. HCI Lab

 Questionnaire for User Interface Satisfaction

 5 개 분류

 전체 반응

 스크린

 용어 / 시스템 정보

 학습 , 시스템 능력

 27 개 평가 10 점 척도 ,

 양쪽에 반대되는 단어

(15)

 유용성 , 만족도 , 사용 편이성에 대한 설문 (USE)

 Usefulness, Satisfaction, and Ease-of-Use Questionnaire

 30 개 항목 , 7 점 척도

 4 개 카테고리 ( 유용성 , 만족도 , 사용편이성 , 학습용이성 ) 를 레이저 차트 로

(16)

 제품반응카드 (Product Reaction Cards)

 형용사 카드 118 개

 제품을 설명하는 카드 선택 후 , 상위 5 개 선정 이유 설명

 혹은 긍정 / 부정적 단어 개수 산출

(17)

 5 가지 방법 비교 실험

 시스템 관련된 것을 웹 / 웹사이트에 맞도록 변형 (2004, Tullis & Stetson)

 SUS, QUIS, CSUQ, Word( 제품반응카드 ), 자체설문지

 두 개 사이트를 평가 비교 => 사이트 1 을 확실히 선호한 비율 (123 명 참 여 )

 표본 6 일 때 : 30~40% 가 사이트 1 을 확실히 선호

 SUS 설문지 표본 8 일 때 75%, 10 일 때 80%, 12 일 때 100%

 SUS 가 우월한 이유

 긍정 / 부정 혼용으로 보다 집중

 상세한 요소 평가 배제

(18)

6.5 SUS 를 통한 디자인 비교

 서로 다른 디자인에서 유사한 태스크 수행을 비교할 때

 사례

 ‘ 성인층에게 친숙한’ 웹사이트 비교

 윈도우 ME 와 윈도우 XP 비교

 투표 용지의 비교

 SUS 점수의 판단 (187 쪽 )

(19)

6.6 온라인 서비스

 실시간 웹사이트에서 평가

 웹사이트 사용자로부터 얻는 피드백 : VOC(Voice of Customer)

 사후 자가 메트릭과 동일 프로세스

 대개 , 로그아웃 , 업무처리 완료 시점에 실시

 대표적인 온라인 서비스 목록

 웹사이트 분석과 측정 목록 (WAMMI)

 Website Analysis and Measurement Inventory

 미국 고객 만족도 인덱스 (ACSI)

 American Customer Satisfaction Index

 오피니언랩 (OpinionLab)

(20)

 웹사이트 분석과 측정 목록 (WAMMI)

 아일랜드 콕 대학 , Human Factors Research Group

 SUMI 에서 발전 , 20개 문장 5 점 척도

 5 가지 영역 : 매력도 , 통제가능성 , 효율성 , 유용성 , 학습성

 참조 데이터베이스를 기반하여 표준화 , 100 점 만점으로 환산

 WAMMI-www.wammi.com

(21)

 미국 고객 만족도 인덱스 (ACSI)

 www.ForeSeeResults.org : ACSI 방법론 적용

 웹사이트에 최적화된 14~20 개 질문

 만족도 관련 6 가지 품질요소로 구분 (10 점 척도 ) :

 콘텐츠 , 가능성 , 룩앤필 , 내비게이션 , 검색 , 퍼포먼스

 전반적인 만족도에 품질점수가 미치는 영향

(22)

 오피니언랩 (opinionLab)

 각 페이지별 긍정 / 부정 피드백

 화면 아이콘에서 -- - +- + ++ 입력

 실시간 사이트 설문 고려사항

 질문개수 20 개 이내

(23)

6.7 다른 종류의 자가기록 척도

 특정 속성의 진단 (Assessing Specific Attributes)

 특정한 X 자세로 X 접근하기 => 특정 속성 진단 ( 평가 )

 시각적 매력도 (Visual appeal)

 인지 효율성 (Perceived efficiency)

 신뢰성 (Confidence)

 유용성 (Usefulness)

 즐거움 (Enjoyment)

 진실성 (Credibility)

 용어 적합성 (Appropriateness of terminology)

 내비게이션 용이성 (Ease of navigation)

 반응성 (Responsiveness)

(24)



특정 속성을 측정하는 연구 사례 (198 쪽 )

 웹페이지의 시각적 매력 ( 첫인상 ) 에 어느정도 시간이 필요한지

 시각적 매력에 해당하는 5 가지 질문 ( 양극에 반대 단어 나열 )

 노출시간 50msec 와 500msec 두 가지 경우 결과 동일

 웹사이트 매력 평가

 매력의 정의 : 1) 흥미 / 호기심 자극 , 2) 사이트를 더 보고 싶음 , 3) 재방문 욕구

 양끝 5 점 척도 : “ 전혀 매력적이지 않다 … 매우 매력적이다”

 로딩시간에 대한 평가

 양끝 5 점 척도 : “ 전혀 허용 불가 … 완전히 허용 가능”

 척도의 양끝 ( 혹은 두개 ) 점수만 비교 분석

 웹사이트 신뢰도 평가

(25)

 특정 요소의 진단 (Assessing Specific Elements)

 특정한 요소로 X 접근하기 => 특정 요소 진단 ( 평가 )

 웹사이트의 특정 요소

 지시문 , FAQ, 온라인 도움말 , 홈페이지 , 검색기능 , 사이트맵 등

 특정 측면 / 속성 평가 방법과 동일

 사례 : 10 개 사이트맵 평가 ( 노만그룹 )

 6 가지 문장의 설문지 , 7 점 척도

 찾기쉽다 , 정보 유용 , 사용쉽다 , 쉽게 정보 발견 , 구조 이해 , 콘텐츠 이해

 사례 ; 웹사이트 디자인 평가 ( 툴리스 )

 5 가지 디자인 대상

 페이지 형식 , 매력도 , 컬러

 5 점척도 , 형편없는 … 훌륭한 : -2,-1,0,1,2

(26)

 주관식 질문 (Open-Ended Questions)

 Word Cloud 가 분석에 유용

 예 , 가장 좋은점 / 가장 나쁜 점 3~5 개 나열 => 동일한 항목 개수와 빈도

 인식 (Awareness) 과 이해 (Comprehension)

 웹사이트 방문 후 특징을 인식하는지 검사 :

 어떤 내용이 있었는지 아닌지 기억 여부

 ‘ 틀린 항목’ 도 포함해야 : 없었는데 있었던 것처럼

 웹사이트 콘텐츠에 대한 이해도 질문 : 부차적 학습 (incident learning)

 콘텐츠에 대한 이해력 테스트

(27)

 인식 (Awareness) 과 유용함 (Usefulness) 간의 차이 (Gap)

 차이가 큰 경우 홍보 혹은 강조 필요

 실험

 기능 알고 있었는지 ?

 사용후 얼마나 유용한지 ?

사용자 경험 측정 사용자 경험 측정 (Measuring User Experience) (Measuring User Experience)