사용자 경험 측정 사용자 경험 측정 (Measuring User Experience) (Measuring User Experience)
5. Issue-Based Metrics
숙명여자대학교
임순범
5.1 유저빌리티 이슈 확인하기
유저빌리티 이슈 (Usability Issue)
디자인 개선 사항 제공이 목적
대부분 정성적 : 참여자가 경험한 문제 , 원인 평가 , 개선 방안 제시
그러나 , 측정 가능하며 , 프로세스 지연 없이 디자인에 가치 추가가 가능
유저빌리티 이슈 확인하기
무엇이 이슈인지 , 무엇이 이슈가 아닌지 확인하기
사용성 전문가의 능력
제품과 유저빌리티 사항을 파악하기
제품을 잘 알수록 이슈 파악이 용이
참여자의 행동을 주의 깊게 살펴보기
열린 마음으로 청취 / 관찰 , 세밀히 주의할 수록 이슈를 쉽게 파악
5.2 유저빌리티 이슈란 ?
유저빌리티 이슈를 특징짓는 예제
태스크 완료를 방해
예상 방향에서 이탈
혼동 야기
에러 발생
눈에 띄어야 하는데 보이지 않는 것
잘못된 것을 옳다고 여김
완료 안된 태스크를 완료로 간주
잘못된 행동
콘텐츠 일부를 오역
내비게이션 이해 부족
…
유저빌리티 이슈 정의시 고려 사항
어떻게 쓰일까 ?
제품 개선을 위해 디자인 프로세스를 반복할 때
개선사항을 지적하는 이슈가 유용
즉 , 합리적으로 실행에 옮길 수 있는 이슈
구체적인 이슈의 예 , 129 쪽
Bad: “ 애플리케이션의 멘탈 모델과 사용자 멘탈 모델이 불일치”
Good: “많은 참여자들이 상위 레벨 내비게이션 메뉴로 인해 혼란 야기 . 다른 섹션으로 자 주 이동”
긍정적인 이슈
사용편이성 , 효율성 , 만족도 등
긍정적인 이슈를 포함 => 발견 결과 (findings) 라고 하기도 , 예 . p.130
잘된 인턴페이스를 계속 유지시키고 강화
실제 이슈 vs. 허위 이슈
문제와 단순 탈선의 구분하여 파악해야
쉽게 파악할 수 있는 ‘ 간단한’ 이슈 vs. 불명확한 이슈
불명확성
실제 이슈인지 확신이 부족한 경우
예 , 참여자 10 명 중 한 명이 콘텐츠에 대해 혼동
=> 대규모 표본에서도 동일한 문제가 일어날 가능성은 ?
참여자 행동이 논리적으로 타당한지 , 일관성 있는지 ?
아니면 , 단지 우연히 발생한 문제로 간주 , 특이 사항
사례 , 잘못된 링크를 클릭 => 종료 후 이유 질문
단순히 눌렀는지 ? 타당한 이유로 오인했는지 ?
5.3 이슈 확인 방법
대면연구 ( 직접 참여자와 상호작용 )
think aloud 방법으로 쉽게 확인 가능
감정 변화 및 확신 / 주저함의 언어 표현 , 반응 , 비언어 표현의 관찰 . P.132
자동화 연구
성공 , 시간 , 사용편이성 평가 , 사용자 코멘트 수집
코멘트 분석이 이슈 이해에 도움 : 특정 단어 , 패턴 분석 등으로 구체화
이슈의 시작과 종료 지점
시작 : 태스크 시작 시점 , 의문을 품은 시점 , 또는 프로세스 이탈 지점 등
종료 : 태스크 실패 , 다른 이슈가 시작될 경우 , 이슈에서 복귀 지점
상세함 (granualarity)
상세한 수위 및 포괄적 수위 모두에서 이슈 확인해야
다양한 관찰자 : 최소 2~3 명
5.4 심각도 평가 (severity rating)
“ 엄격한 평가” X => “ 심각도 평가” O
사용자 경험에 기반한 심각도 평가
다섯 단계
5( 사소한 에러 ), 4( 거슬리는 ), 3( 보통수준 ), 2( 심각한 문제 ), 1( 파괴적 )
세단계
낮음 ( 짜증 및 좌절만 ), 중간 ( 태스크 실패 유발 ), 높음 ( 실패의 직접적 요인 )
다양한 요소에서 심각도 평가
사용자 경험 (2 점 척도 )
+ 빈도 (2 점 척도 ) => 3 단계
심각성 평가 (4 점 )
+ 발생 빈도 (4 점 ) => 2~8 범위
3 가지 3 점 척도 => 3~9 범위
사용자 경험에 미치는 영향 , 발생 빈도 , 목표에 미치는 영향
사용자 경험에
적은 영향 사용자 경험에 많은 영향
소수가 경험 낮은 심각도 중간 심각도
다수가 경험 중간 심각도 높은 심각도
심각도 평가 시스템 고려사항
일관성 필요 , 특히 , 심각도 평가 수위의 차이에 대해
평가 수위가 무슨 뜻인지 정확한 의미 전달
한 명 이상의 사용성 전문가에게 의뢰
버그 트래킹 시스템의 일부에 속할지는 논쟁
심각도 평가에 대한 경고
완벽하지 않지만 여전히 유용
5.5 이슈 메트릭스 분석과 보고
유저빌리티에 대한 질문
전반적인 사용성 ? 제품이 어떻게 동작하고 있는지 파악
디자인 반복시 사용성이 개선 ? 각 디자인과정에서 사용성 변화 파악
어디에 집중하여 디자인 개선 ? 리소스 배분에 유용
개별 이슈 빈도분석
전체 개수보다 서로 다른 이슈의 개수가 중요 : 디자인 반복에 따라 감소
심각도에 따른 그룹핑 : 높은 심각도에서 많은 감소 있어야
참여자에 따른 이슈의 빈도
참여자당 이슈 개수
디자인 반복시 개별 이슈의 개수 감소가 중요
참여자의 빈도
특정 이슈를 경험한 참여자 빈도 / 비율
특정 문제가 해결되는지는 파악 곤란
카테고리에 의한 이슈
유용한 카테고리 (3 ~ 8 개 정도 )
어떤 부분을 중점적으로 개선할지 파악
태스크에 의한 이슈
태스크 별 이슈의 개수
태스크 별 특정 이슈를 경험한 참여자 빈도
긍정적인 이슈
유대감 고려하여 필요 . 최소 한가지 이상
효과적인 부분 파악 , 긍정적 측면은 계속 유지
신뢰도 상승
5.6 일관성 : 생략
5.7 편의 (BIAS) => “ 편향”
편향을 만드는 원인
참여자 , 태스크 , 평가방법 , 제품 , 환경 , 진행자
실험 : CUE-4 보고서 분석
참여자 5~15, 태스크 5~14, 이슈 29~50, 중요한 사용성 문제 보고 106 건
단순 사용자 수보다 신중한 참여자 모집 + 많은 태스크 적용이 더 중요
5.8 참여자의 수
5 명이면 충분
이슈의 80% 가 5 명에 관찰
5 명으로 불충분
사례 : 다양한 제품을 구입하는 사이트에서 처음 5 명이 35% 의 이슈 발견
제안 : 조건부로 5 명 적용
제한된 기능만 평가 , 20~30 개의 웹페이지 , 5~10 개의 태스크에 해당
사용자가 잘 정의되어 있고 , 참여자가 이를 대표할 때
사용자 그룹이 다르면 각기 5 명씩
