2011, Spring
사용성 평가분석 최종보고서
[Toto’s diary UX개발]
2011년 6월 13일
㈜ S-Moon
팀원: 서승아 / 원지수 / 이경주
1. 프로젝트 개요
1.1.
프로젝트 명 : Toto’s diary UX 개선1.2.
목적본 프로젝트는 스마트폰 일정관리 어플리케이션인 Toto’s diary(이하 Toto)의 사용자 인터페이스를 개선하는 것을 목적으로 하며 이를 통해 사용자들이 쉽고 간편하게 이용할 수 있게 함으로써 일정관리 어플리케이션의 이용자수를 높이고자 한다.
1.3.
문제점 및 해결방안 프로젝트의 내용은 다음과 같다.1) 인터뷰를 통한 작업분석과 사용성 평가, 프로토타입 제작 등으로 사용자들이 자주 사용하지 않는 복잡한 메뉴, 불편한 기능, 불명확한 이미지와 메뉴명 등에 대한 요구사항을 분석.
2) 이를 통해 간소화된 주 메뉴 구조와 접근성을 높인 하위메뉴의 UX가이드라인을 제안 1 직관적이지 못한 아이콘 수정 등 UI 개선
2 일정등록 및 수정기능 간소화 및 사용자에게 통제권 부여
3 일정보기기능 개선 – flexibility 제공, 옵션의 사용으로 개인화 가능 4 메모기능 추가
2. 사용성 평가 및 분석
2-1. 평가목적
Toto’s diary의 디자인개선사항이 제대로 이루어졌는가에 대해 다음의 사항을 평가한다.
- 사용자의 목적을 이루는데 방해가 되거나 비효율성을 초래하는 가장 심각한 유저빌리티 이슈는 무 엇인가?
- 사용자들이 잘 이용하는 측면은 무엇인가?
- 어떤 태스크가 가장 어려운가?
- 사용자들이 가장 흔히 하는 실수는 무엇인가?
- 새로 추가된 기능에 대해 만족하는가?
2-2. 평가방법
페이퍼 프로토타입 사용자평가에서 사용한 작업지시서를 통해 수행 메트릭 평가 중에서 태스크 성공과 시 간, 학습용이성을 채택하여 평가하고 태스크 수행 중에 관찰을 통한 이슈 기반 메트릭을 평가한다. 또한 설 문조사서를 통한 자가기록 메트릭으로 만족도를 평가한다.
태스크
성공 시간 학습성 이슈기반
메트릭 자가기록
메트릭
1. 작업 완료하기 ○ ○ ● ●
2. 잦은 사용 평가 ○ ○ ●
3. 인지 증가시키기 ●
4. 문제 발견하기 ● ●
5. 사용성 극대화 ○ ○
6. 긍정적 경험 창출 ●
7. 디자인 시안 비교 ○ ○ ● ●
1) Performance 메트릭 평가
본 프로젝트는 인터렉티브 프로토타입의 사용성을 평가하는 것이므로 수행 메트릭 중 다음 3가지를 선 택하여 평가한다.
1 태스크 성공
- 성공 메트릭을 수집하기 위해서 성공 기준을 정의한다.
- 성공 기준은 아래의 작업지시서를 토대로 작업을 완료하는 것을 성공 기준으로 정의한다.
- 성공 수위는 다음과 같이 정의한다.
참여자가 태스크를 완료하는 범위, 정도에 기반하여 태스크 진행 중 도움 받거나 힌트 받았는지에 따라 정의한다.
- 측정데이터 : 독립변수 -> 어플 사용경험자와 미경험자의 성공율 종속변수 -> 성공여부의 이진 값
- 예상결과 : 어플 등록 수정 등 간소화 되고 직관적인 UI로 인해 어플 사용 경험자와 미경험자의 성공 율에는 차이가 없을 것이다.
- 분석 결과 : Task1 : 일정등록
Task2 : 일정 수정 후 보기 Task3 : 기간 있는 일정 등록 Task4 : 메모 등록
Task5 : 해야 할 일 (to-do) 등록
태스크 수행 결과, task2와 task 3에서 에러가 나는 것을 보였다. 태스크에 따른 수행 결과를 보면 다음과 같다.
분석결과 일정 수정과 기간 있는 일정 등록이 어려운 것으로 나타났다.
이에 대한 문제는 이슈 분석을 통해 수정하기로 판단하였다.
2 시간
녹화 시 타임 스탬프를 사용하여 태스크 별로 사용자가 태스크를 완료하는 시간을 측정한 후 분석 시 중앙값과 최저/최고치를 기록한다.
- 측정데이터 : 독립변수 -> 각 태스크 별 완료 시간 종속변수 -> 이용시간 값
- 예상결과 : 태스크 수행에는 어플 사용자보다 미사용자가 약간의 시간이 더 걸릴 것이다. . - 분석결과 :
그래프에서 p1, p2, p3은 사용 경험자이고, p4, p5, p6은 사용 미경험자,
어플의 이전 사용 경험이 크게 영향을 미치지는 못하는 것으로 드러났다.
다음의 그래프는 태스크별로 걸린 시간을 중앙값과 최대, 최소 값으로 나타낸 그래프이다.
태스크 성공 결과 분석과 비슷하게, task3번인 기간 있는 일정 등록에 걸리는 시간이 긴 것으 로 나타났다.
따라서 기간 있는 일정 등록에 대한 태스크 시나리오 분석이 추가적으로 필요한 것으로 보인다.
3 학습용이성
짧은 기간 동안 반복 테스트를 시행한다.
- 동일 섹션 내에서 시도 : 태스크 간 휴식시간이 없다.
- 태스크 시간 수행 메트릭을 조사한다.
- 시도 횟수를 측정한다.
- 측정데이터 : 독립변수 -> 참여자별 태스크 성공여부, 태스크 소요시간, 종속변수 -> 시도회수
- 예상결과 : 태스크 시도 횟수가 증가할수록 태스크 성공 확률은 높아지고 소요시간은 짧아질 것이 다.
- 분석결과
어플리케이션 미 경험자 그룹의 사용자 3명에게 반복 테스트를 진행하여 태스크 소요 시간을 분석하였다. 경험자 그룹은 처음 시도와 반복 시도간의 큰 차이를 보이지 않아서 테스트 과정에
서 제외시켰다. 에러 횟수 또한 측정 결과, 에러의 개수가 없거나 많으면 1개의 수준에 불과해 서 반복에 따른 변화는 무의미하다고 판단하여 분석에서 제외시켰다.
다음은 태스크를 모두 수행하는데 걸리는 시간의 변화 그래프와 각 태스크 별 시간 변화 그래프 이다.
평균 소요 시간이 첫번째 시도는 252초, 4번째 시도는 151초로 나타났는데 참여자들이 초기에는 약 1.6 배 정도 시간이 더 걸렸다는 것을 알 수 있다.
이것을 보면 차이가 꽤 크게 나타나 초기에 사용하기 어렵다고 볼 수 있지만 2 번째 시도 부터 이미 4번째 시도와 거의 비슷한 시간을 보이고 있기 때문에 시스템을 2 번 사용으로 금방 학습할 수 있다는 것을 의미한다.
2) 이슈기반 메트릭 평가
다음과 같은 일이 일어나면 이슈로 정의한다.
- 태스크 완료를 방해하는 것 - 예상 방향을 벗어나게 하는 것 - 혼동을 일으키는 것
- 에러를 발생시키는 것
- 눈에 띄어야만 하는 데 보이지 않는 것 - 잘못된 것을 옳다고 여기는 것
- 완료되지 않은 태스크가 완료되었다고 여기는 것 - 잘못된 행동을 하는 것
- 콘텐츠의 일부를 오역하는 것 참여자들의 빈도 메트릭을 채택한다.
- 특정 이슈를 경험한 참여자의 빈도나 비율 관찰한다.
- 특정 이슈를 확인하는 기준이 일정하게 하여 이슈를 정확하게 특징짓는다.
- 선정이유 : 특정 디자인 요소의 유저빌리티를 개선했는지 아닌지에 초점을 맞추어야 할 때 유용한 메트릭이므로 평가 목적에 부합하다고 판단하여 선정하게 되었다.
발견 이슈
- Issue1 : 기간 있는 일정 등록 시 헤맴 - Issue2 : 월 이동 버튼 그림 에러
- Issue3 : 날짜 선택하여 일정 등록해도 날짜 재선택
분석 결과 :
이슈 분석 결과, 실험자 대부분이 기간 있는 일정을 등록 할 때, 등록 순서를 인지하지 못해 에 러를 발생시켰다.
기간 있는 일정을 등록할 시에 체크 박스를 눌러 종료날짜를 활성화시켜야 하는데, 대부분 시작 날짜를 먼저 눌러 등록하려는 경향을 보였다. 이러한 실험 결과에 따라, 시작날짜를 먼저 등록 하게 한 뒤, 종료 날짜는 체크박스 버튼을 통해 활성화하는 것이 사용성을 증가하는 데 더 나을 것이라 판단하였다.
두번째 이슈에서 월 이동 버튼 그림의 경우, 인터랙티브 프로토타입 제작 시의 오류로 버튼에 – 만 표시되게 되었는데, 대부분의 경우 버튼의 위치를 통해 다음 달로 가는 버튼임을 인지했다.
그러나 두 명의 참가자가 버튼을 찾지 못하고 헤매는 것을 보였다. 이에 따라, 버튼의 그림을 인 지하기 쉬운 화살표로 바꾸기로 하였다.
마지막 이슈의 경우, 날짜를 선택하여 바로 일정을 추가할 수 있도록 기능을 제공하였으나, 날 짜를 선택하여 일정 등록 페이지에 가도 날짜는 아무것도 뜨지 않는 문제를 보였다. 이에 따라, 날짜를 선택할 시에는 선택한 날짜가 바로 지정되어 있도록 바꾸기로 하였다.
3) 자가 기록 매트릭 평가
사후 연구 평가 매트릭 중 유용성, 만족도, 사용 편이성에 대한 설문 (USE) 활용
USE 설문지를 구성하고 있는 30개의 평가 척도는 유용성, 만족도, 사용편의성, 학습용이성이라는 네 개의 카테고리로 나뉜다. 각각은 ‘이 제품을 친구에게 추천할 것이다.’와 같이 긍정적인 문장이 며 5점 리커트 척도로 사용자의 동의 수준을 평가한다.
‘매우 동의한다’ - ‘매우 동의하지 않는다’ 까지 5점 척도
유용성 - 더 효과적이 되도록 도와준다.
- 더 생산적이 되도록 도와준다.
- 유용하다.
- 삶에서의 활동을 더 잘 컨트롤할 수 있게 해준다.
- 성취하려는 일들을 더 쉽게 이룰 수 있게 해준다.
- 시간을 절약해준다.
- 니즈를 충족시켜준다.
- 기대했던 모든 것들이 다 있다.
사용편의성 - 사용하기 쉽다.
- 사용하기 간단하다.
- 사용자에게 친근하다.
- 원하는 것을 이루는 데 가능한 최소한의 단계만을 요구한다.
- 유연하다.
- 사용에 있어서 노력이 많이 들지 않는다.
- 글로 쓰여진 지시문을 보지 않고도 사용할 수 있다.
- 사용하면서 모순된 점을 발견하지 않았다.
- 가끔 사용하는 사람이나 정기적으로 사용하는 사람 모두 좋아한다.
- 실수를 빠르고 쉽게 복구할 수 있다.
- 매번 성공적으로 사용할 수 있다.
학습용이성 - 사용하는 법을 빨리 배웠다.
- 사용하는 법을 쉽게 기억할 수 있다.
- 사용하는 법을 쉽게 배울 수 있다.
- 빨리 숙련되게 사용할 수 있게 되었다.
만족도 - 만족한다.
- 친구에게 추천하고자 한다.
- 사용하는데 재미를 느낀다.
- 원한 방식대로 동작한다.
- 훌륭하다.
- 갖고 싶다.
- 사용하기에 즐겁다.
선정이유 : 인터렉티브 프로토타입으로 평가하는 것이기 때문에 시스템의 전반적인 평가를 하는 SUS는 적합하지 않다고 판단하였다. 또한 10가지의 평가항목은 적은 개수로 너무 general한 항 목만 포함하여 정확한 평가가 어렵다. 컴퓨터 시스템 유저빌리티 설문 (CSUQ)과 사용자 인터페이 스 만족도에 대한 설문 (QUIS)은 시스템 전반적인 내용과 인터페이스의 구성을 중점적으로 보고 있어서 프로토타입 평가에 적합하지 않다. USE는 4개의 카테고리가 우리가 중점적으로 개선하려 고 했던 부분들과 맞아떨어지고 30개의 평가 척도로 보다 정밀한 분석이 가능하다고 판단하여 선 정하게 되었다.
자가 데이터 수집은 모든 태스크를 완료한 후 서문조사양식에 응답을 기록하게 한다.
결과 분석 방법
1점부터 5점까지 점수를 주어 합산, 평균을 내어 각 카테고리 별로 백분율 환산한다. 그래서 각 카 테고리를 비교하여 어떤 카테고리가 더 문제점인지 판단하여 그 부분을 중점적으로 수정한다.
- 분석결과
유용성 만족도 사용편이성 학습용이성
P1 38 52 20 33
P2 34 45 18 31
P3 37 51 19 33
P4 27 41 16 21
P5 32 47 19 28
P6 31 41 19 21
평균 33.2 46.2 18.5 27.8
* 전체평균 백분율
유용성 만족도 사용편이성 학습용이성
82.9 83.9 92.5 79.5
- 사용자 그룹별 결과 1) 어플 미 사용자
유용성 만족도 사용편이성 학습용이성
P4 27 41 16 21
P5 31 41 19 21
P6 32 47 19 28
평균 30 43 18 23.3
백분율 75.0 78.2 90.0 66.7
2) 어플 사용 경험자
유용성 만족도 사용편이성 학습용이성
P1 38 52 20 33
P2 34 45 18 31
P3 37 51 19 33
평균 36.3 49.3 19.0 32.3
백분율 90.8 89.7 95.0 92.4
- 분석 결과
초보자와 경험자 모두 예상했던대로 사용편이성과 만족도가 높게 나타났다.
그에 반해 유용성면에서는 약간 낮은 점수를 받았는데 이는 사용자 테스트 대상자가 일정 관리 어플리케이션이 필요한 사람들인지를 고려하지 않았기 때문에 낮은 점수를 받은 것 으로 분석된다.
사용 경험자가 초보자보다 전체적인 점수가 높았는데 이것은 어플리케이션을 사용할수
록 금방 편리해지고 만족감을 줄 수 있다는 것을 나타낸다.
학습 용이성에서 초보자와 경험자간의 큰 차이를 보였는데 경험자는 비슷한 어플리케이 션을 사용했던 경험이 본 어플리케이션을 사용하는데 많은 도움을 주었다고 판단된다.
4가지 측면들이 크게 차이나지 않고 고른 점수를 받아서 성공적으로 UI 가 개선되었다고 생각할 수 있다.
2-3. 세부고려사항 평가인원
및 대상자
평가 대상자를 6명으로 구성한다.
사용자그룹은 전문가 그룹으로 단일구성으로 하고 모집 기준은 일정어플 사용경험자 (P1~P3)와 미사용 경험자(P4~P6)로 구분한다.
평가기간 2011년 6월7일 ~6월11일 6일간 평가방법 랩테스트.
참여자에게 해당 제품에서 수행할 태스크를 주고 진행자는 참여자의 행동과 반응을 기 록한다.
데이터 수집 및 정리방법
데이터 수집은 Excel을 이용하고 데이터 형식은 숫자 형식으로 입력한다.
데이터 정리는 데이터 이상값 걸러내고 데이터의 일관성을 확인한 후 Excel을 이용하여 데이터를 변환한다.
<작업지시서>
1. 일정 추가 + 수정
4월 25일 5시 ‘UI 과제’ 라는 제목으로 일정을 등록한다. 카테고리는 ‘개인’으로 지정하고 상세내용 은 ‘작업분석’이라고 쓴다. 그 후 달력(월간보기)에서 방금 등록한 일정을 찾아서 날짜를 29일로 수 정한다. 그리고 2시간 전으로 알람을 등록한다.
2. 일정 확인
추가된 일정을 월간/주간/일간 보기로 확인해본다.
3. 5월 6일 AM9시 ~ 5월 7일 PM1시에 학과 LT 일정을 등록한다. 이 때 ‘학교’ 카테고리를 만들어서 추가하고 카테고리를 ‘학교’로 설정한다. 상세내용에는 ‘제2창학 집합, 세면도구 챙기기’ 라고 쓴다.
4. 메모에 회의 사진을 선택하여 넣고 첫 회의라고 등록한다.
5. 해야 할 일에 ‘TOEIC 학원 찾기’와 ‘쇼핑몰 검색(구두)’를 등록한다. 그 후 TOEIC 학원 찾기를 완료 해서 없앤다.
<USE 설문지>
매우 동의하지 않는다 (1점) – 보통 (3점) – 매우 동의한다 (5점)
평가 1 2 3 4 5
더 효과적이 되도록 도와준다.
더 생산적이 되도록 도와준다 유용하다.
삶에서의 활동을 더 잘 컨트롤할 수 있게 해준다.
성취하려는 일들을 더 쉽게 이룰 수 있게 해준다.
시간을 절약해준다.
니즈를 충족시켜준다.
기대했던 모든 것들이 다 있다.
사용하기 쉽다.
사용하기 간단하다.
사용자에게 친근하다.
원하는 것을 이루는 데 가능한 최소한의 단계만을 요구한다.
유연하다.
사용에 있어서 노력이 많이 들지 않는다.
글로 쓰여진 지시문을 보지 않고도 사용할 수 있다.
사용하면서 모순된 점을 발견하지 않았다.
가끔 사용하는 사람이나 정기적으로 사용하는 사람 모두 좋아한다.
실수를 빠르고 쉽게 복구할 수 있다.
매번 성공적으로 사용할 수 있다.
사용하는 법을 빨리 배웠다.
사용하는 법을 쉽게 기억할 수 있다.
사용하는 법을 쉽게 배울 수 있다.
빨리 숙련되게 사용할 수 있게 되었다.
만족한다.
친구에게 추천하고자 한다.
사용하는데 재미를 느낀다.
원한 방식대로 동작한다.
훌륭하다.
갖고 싶다.
사용하기에 즐겁다.