UI/UX
UI/UX 평가 평가 UX Evaluation UX Evaluation
숙명여자대학교 임순범
1
사용자경험 리서치 매뉴얼
김승인 , 안지현 저 , 2018.1. 지앤선
엑셀로시작하는 정량적 사용자경험 측정
목차
1. 사용자경험 측정 방법의 이해
2. 데이터와 시각화
3. 피벗 기능을 이용한 데이터의 요약
4. 예제를 통해 배우는 통계분석
5. 설문지 작성 방법
6. 사용자경험 연구논문 실습
Ⓒsblim, 2018
Part 1.
1. 사용자 경험의 측정
사용자 경험 (User Experience)
제품의 상호작용을 통해 얻게 되는 경험
사용자 경험의 측정 => “ 사용성 평가”
사용자의 행동이나 태도를 관찰하거나 측정하는 것
정량적 (quantitative) 방법 : 실험 , 조사 자료수집 => 수량화 => 통계 분석
정성적 (qualitative) 방법 : 면접 , 관찰 => 기술 (narrative) 자료 분석
=> 혼합 (mixed) 방법을 많이 사용
사용자경험 리서치
사용자경험의 측정 과정
측정 목표가 불확실한 경우 의미 있는 결과 / 결론 도출이 곤란
마켓 리서치와는 차이
마켓 리서치 : 고객 / 시장 데이터에 의존 , 마케팅 관련 사항 결정
사용자경험 리서치 : 사용자 행동을 이해 요구 파악 , 사용방법 및 상호작용 설계
3
2. 분석대상을 고려한 사용자경험 측정방법
두가지 관점
측정 대상 : 자료출처
행동 vs. 태도 ( 생각 ,말 )
문제 해결 : 접근방식
어떻게 ( 원인 , 이유 , 방법 , 과정 ) vs. 얼마나 ( 빈도 , 점수 )
=> 정성적 ( 직접 관찰 및 측정 )
vs. 정량적 ( 서베이 등으로 간접 측정 )
Ⓒsblim, 2018
측정방법
연구 ( 조사 ) 주제 혹은 방향 결정 후 선택
유저빌리티 테스트와
사용자경험 스터디 구분해야 (??)
=> 모두 행동을 측정
유저빌리티 : 정성적 결과 도출
UX study: 정량적 측정이 더 중요시
사용자경험의 정량적 측정 방법
웹로그 분석
A/B 테스트
UX study : 행동 측정
서베이 : 태도 측정
5
3. 제품개발과정을 고려한 사용자경험 측정방법
[ 그림 1.3]
기회 탐색 단계 개발 단계 최종 평가 단계
목표 새로운 디자인 개발
방향 탐색 사용성 증가 , 최적의
디자인 선택 제품 자체 혹은 경쟁
력 측정 측정방법 서베이 ,
데이터 분석, 필드 스터디, 일기장 조사
UX 스터디 , 카드소팅 , 필드 스터디 , 유저빌리티 테스트
서베이, A/B 테스트
목적 제품별 유저빌리티 측
정 , 런칭제품 / 경쟁제품 대비 개선점 도출
기대 대비 유저빌리티 평가 ,
최적의 시안 평가
제품 유형별 유저빌리 티 측정 ,
개선점 도출
Ⓒsblim, 2018
4. 사용자경험 측정 목적별 분석 방법
기회탐색단계
7
구분 측정 목적 / 대상 행동 분석 태도 분석
제품유형별 유저빌리티 평가
내비게이션 형태 혹은 정보 구조 가 복잡한 제품
( 웹사이트, 소프트웨어 , 전자 제품의 메뉴)
∙ 성공수준 비율
∙ 효율성 ( 완료 단계수 vs.
최소완료 단계수 )
∙ 에러발생 수
-
일상 생활에서 반복적으로 사용 제품 ( 가전제품, 자동차 , 모바 일앱, 웹사이트 등 )
∙ 성공률 , 완료시간
∙ 효율성 ( 액션단계 , 페이지 수 )∙ 학습성
∙ 사전 인지율
∙ 유용성
생명 관련 제품
( 심폐소생기, 비상탈출 , 응급 실 )
∙ 에러율
∙ 시간내 성공률
∙ 효율성 ( 시간대비 완료수 ) -
감성적 제품
(iPod, 스마트워치 , SNS, 가 구 )
- ∙ 만족도 , 유용성 ,
∙ 사용편이성 ,
∙ 구입의향 , 추천의 향
제품 유저빌 리티 개선점 도출
런칭된 제품의 유저빌리티 문제
점 탐색 ∙ 문제별 빈도 / 비율
∙ 중요도 평가
( 디자인 우선 개선 사항 )
∙ VOC(Voice of Customer) 분석
개발 단계 ( 프로토타입 평가 )
최종 평가 단계 => 비교 / 향후 개선점
구분 측정 목적 행동 분석 태도 분석
기대대비 태스크
완료 평가 예상대로 태스크 수행 여부
∙ 성공수준 비율
∙ 효율성 ( 액션단계 , 페이지 수 , 시간대비 완료수 )
∙ 기대 만족도 대비 체감 만족도 ,
∙ 향후 이용 의향 최적의 시안 평가 가장 좋은 시안? ∙ 중요도에 따른 빈도 , 비율
∙ 성공률 , 완료시간 ∙ 선호도 , 편이성
∙ 시각적 매력도
구분 측정 목적 행동 분석 태도 분석
경쟁 제품과 비교
하기 기존 디자인과 비교시
제품의 유저빌리티 ∙ 성공 수준 비율
∙ 효율성 ( 완료시간 , 액션단계 , 페이지 수)
∙ 만족도
제품 유저빌리티 개선점 도출
Ⓒsblim, 2018
Part 2. 데이터와 시각화 1. 데이터의 종류와 특징
척도 (scale) 의 종류
연산 불가 연산 불가 연산 가능 연산 가능
명목 ▶ 서열 ▶ 간격 ▶ 비율 ==> 정보의 양이 많아진다 .
정보의 양이 많을수록 측정 비용과 노력이 더 필요
9
2. UX 측정에서 이용되는 데이터 형태
유저빌리티 측정 서베이
1. 태스크 성공 ,
2. 성공한 태스크 완료 시간 , 3. 에러
4. 태스크 효율성 , 5. 학습성 ,
6. 문제 중요도 ( 심각도 )
1. 제품 유용성 , 2. 선호도 , 3. 사용 편이성
4. 시각적 매력도 , 5. 만족도 ,
6. 이용 의향 , 구입 의향 7. 추천 의향 ,
8. VOC 분석
Ⓒsblim, 2018
[ 참고 ] ISO 9241: Usability
extent to which a system, product or service can be used by specified users to achieve specified goals with effectiveness, efficiency and satisfaction in a specified context of use
Effectiveness
accuracy and completeness
with which users achieve specified goals.
Efficiency
resources expended in relation to the accuracy and completeness with which users achieve goals.
Satisfaction
Freedom from discomfort and positive attitudes towards the use of the product
11
Measuring Usability
Measuring Usability
[ 참고 ] 사용성 이란 ?
[ISO 9241-11] 쌍방향 제품 (Interactive product) 에서 고객이 ' 원하는 목적을 제대로 달성 (Useful)' 했는가와 그러한 목적을 ' 가능한 편리하게 수행 (Usable)' 했는가 그리 고 ' 전반적인 사용 만족도 (Satisfiable)' 는 어떠하였는가와 같은 측정 요소들을 가지는 복합적인 개념
제품이란 웹사이트 , 어플리케이션 , 물리적 제품 ( 노트북 , 휴대폰 등 ) 을 총칭
A. 유용성 (Effectiveness)
사용자 요구 목적에 적합한 정보 / 기능 제공
안정적이고 신뢰성 있는 제품
B. 효율성 (Efficiency)
사용 방법을 학습하기 쉬운 제품
사용자의 실수를 줄여주는 제품
C. 만족도 (Satisfaction)
차별화된 경험을 제공하는 제품
사용자의 감성적인 성향에 부합하는 제품
Ⓒsblim, 2018
[ 참고 ] 사용성 항목에 따른 측정 지표
A. 유용성 (effectiveness), B. 효율성 (efficiency), C. 만족도 (satisfaction)
13
유저빌리티 측정 사용성 지표 서베이 사용성 지표
1. 태스크 성공 ,
2. 성공한 태스크 완료 시간 ,
3. 에러
4. 태스크 효율성 , 5. 학습성 ,
6. 문제 중요도 ( 심각도 )
1. 제품 유용성 , 2. 선호도 , 3. 사용 편이성
4. 시각적 매력도 ,
5. 만족도 ,
6. 이용 / 구입 의향
7. 추천 의향 ,
8. VOC 분석
3. 유저빌리티 측정
3.1 태스크 성공 (task success)
측정지표
단순 성공률 (simple success rate) : 주어진 태스크 완료 여부
성공의 수준 (level of success) : 얼마나 효과적으로 완료 ?
분석 방법 : 성공률 평균 , 신뢰구간 , 수준별 성공률
보통 5~20 명 피실험자 => 신뢰구간 , t- 검정 , ANOVA : 4 장에서 설명 성공률 (success rate) 성공여부 1= 성공 , 0= 실패
성공의 수준별 비율 (level of success rate)
성공수준 (3 단계 ) 1= 성공 , 0.5= 부분성공 , 0= 실패 UX 관점 성공수준
(4 단계 ) 1= 문제없음 , 2= 경미한 문제 , 3= 중대한 문제 , 4= 실패 / 포기
Ⓒsblim, 2018
3.2 성공한 태스크의 완료시간
완료시간
태스크별 완료 시간
=> 기술 통계 ( 평균 , 표준편차 , 신뢰구간 )
태스크별 완료 시간 구간별 비율
=> 시간 구간별 빈도 , 비율 (p.44)
태스크별 완료 시간 한계치내 비율
=> 시간내 완료한 빈도 , 비율 (p.45)
15
3.3 에러 (error)
한가지 에러 확인
개별 태스크별 에러의 빈도 , 비율 (p.48)
태스크별 전체 평균 에러 비율 (p.48)
한계치 이상의 에러율을 보인 태스크 비율 (p.49)
Ⓒsblim, 2018
다양한 에러 발생
태스크별 에러 발생 빈도 , 비율 (p.50)
태스크별 한계치 이상의 에러율을 보인 비율 (p.51)
특정 에러가 나타난 태스크 비율 (p.52)
태스크별 피실험자가 다를 경우 보정방법
에러수 / 피실험자 *100
17
3.4 태스크 효율성 (efficiency)
물리적 노력의 효율성
태스크별 행동 수의 평균 , 신뢰구간 (p.58)
시간에 의한 효율성
시간과 성공을 고려 , 태스크성공률 / 평균시간 => 평균 , 빈도 분석 (p.58)
인지적 노력의 효율성
=> 뒤쪽
Ⓒsblim, 2018
인지적 노력의 효율성
태스크의 난이도 수준의 비교 , 성공 태스크 수 / 시간 (p.59)
피실험자별 태스크 수행시 행동 손실률 (p.60)
19
3.5 학습성
측정지표 : 완료시간 , 실행단계수 , 에러수 등
측정 방법 : 횟수 3~4번 , 연속 진행 / 일정 휴식후 진행 / 하루 간격
학습성 : 측정 횟수별 학습 수준 , 제품 능숙때까지 횟수 , 필요 학습량
Ⓒsblim, 2018
3.6 유저빌리티 문제의 중요도 ( 개선사항 )
디자인을 개선하는 과정에서
발견되는 개선 사항 => 중요도 파악
UX 에 미치는 영향
문제발생 비율
비즈니스에 미치는 영향
21
사례 : 중요도 비율 , 발생비율 , 복합분석
Ⓒsblim, 2018
4. 서베이
태도에 대한 평가 방법
학습성 : 사용속도 및 사용편리성 증가
유용성 : 기능 , 요소의 유용성
선호도 : 브랜드 , 기능 , 요소의 절대적 / 상대적 선호의 정도
사용편리성
시각적 매력도
중요도 : 구입 또는 이용시 브랜드 , 기능 , 요소의 중요도
만족도 : 제품의 기능 , 요소에 대한 만족도 및 제품 전반적인 만족도
향후 제품 이용의향 또는 구입의향
향후 추천 의향
VOC 분석 : 불만족점 또는 개선해야 할 내용 예 , p.75~76
23
