UI UI 평가 및평가 및 분석분석

(1)

UI UI 평가 및 평가 및 분석 분석

UI 설계 및 평가

(2011 년 1 학기 )

숙명여자대학교

임순범

(2)

3 장 . 사용성 연구 계획하기

 사용성 연구 목적 : 구성 vs. 평가

 사용자의 목표 : 수행 (performance) vs. 만족 (satisfaction)

 Metrics 선택

 사용성 연구 시나리오 10 가지 구분에 따라 metrics 선택

=> 뒤 페이지

 세부 고려사항

 예산 , 기간

 평가 방법 : 랩테스트 , 설문조사 , 온라인테스트 등

 참여자 : 구성연구 6~8 명 , 평가연구 50~100 명

 데이터 수집

 데이터 정리

(3)

 10 가지 사용성 연구 시나리오와 메트릭스 선택

태스크

성공 태스크

시간 에러 효율성 학습성 이슈기반

메트릭 자가기록 메트릭

1. 작업 완료하기

○ ○ ● ●

2. 제품 비교하기 ○ ○ ●

3. 잦은 사용 평가

○ ○ ○ ○ ●

4. 정보구조 평가

○ ○ ○

5. 인지 증가시키기 ●

6. 문제 발견하기

● ●

7. 사용성 극대화

○ ○ ○

8. 긍정적 경험 창출 ●

9. 미묘한 변화 평가

10. 디자인 시안 비교 ○ ○ ● ●

(4)

4 장 . Performance( 성능 ) 메트릭

1. 태스크 성공 : 성공 측정 방법

 이진 성공 측정 => 성공분포 , 성공 수위 측정 => 누적 비율

2. 시간 기반 태스크

 시간 데이터 분석 : 완료시간 , 시간범위 , 한계치 이상 , 분포

 고려사항 : 성공한 태스크만 ? Think aloud 방식의 경우

3. 에러

 에러 측정 타임 , 원인 , 에러의 측정 및 분석

4. 효율성

 태스크 완료를 위한 노력의 양 ,

 수집 / 측정 방법 , 분석 방법 , 성공과 시간의 결합

5. 학습성

 학습성 데이터 수집 / 측정 , 학습 시도

(5)

5 장 . 이슈 기반 메트릭

 사용성 이슈란 ? 129 쪽

 이슈 확인 방법

 대면 연구 , 자동화 연구 , 시작 /끝 , 상세함 , 다양한 관찰자

 엄격한 평가 필요

 사용자 경험 기반 , 다양한 요소 기반 , 평가 시스템 사용

 사용성 이슈 분석과 보고 방식

 개별 이슈의 빈도

 참여자에 따른 이슈의 빈도

 참여자들의 빈도

 카테고리에 의한 이슈

 태스크에 의한 이슈

 긍정적인 이슈 보고하기

(6)

6 장 . 자가 기록 메트릭

 자가 기록 데이터 수집

 리커트 척도 : 5 점 척도

 의미차이판별법 : 반대되는 한 쌍의 형용사

 수집시기 : 각 태스크 후 , 연구 후 평가

 수집방법 : 구두 , 서면 조사 , 온라인

 수집 편의성과 익명성

 사후 태스크 평가 방법 소개

 사용 편이성 평가

 사후 시나리오 설문 (3 가지 : 쉽게 완료 , 시간 , 지원 정보에 만족하는지 ?)

 예상 측정 : 수행전 ‘ 기대평가’ , 수행후 ‘ 경험평가’ => 분산 그래프

 사용성 중요도 평가

 사후 태스크 자가 기록 메트릭의 비교 : 5 가지 상황을 테스트하여 분석

(7)

 사후 연구 평가 : 전체 사용성을 평가할 목적

 시스템 유저빌리티 척도 (SUS) – 그림 6.8

 10 개 평가 , 5 점 척도 , 긍정 / 부정 혼재

 컴퓨터 시스템 유저빌리티 설문 (CSUQ) – 그림 6.9

 19 개 평가 , 7 점 척도 , 긍정 문항

 4 개 카테고리 : 시스템 유용성 , 정 보품질 , 인터페이스 품질 , 전체 만족도

 사용자 인터페이스 만족도에 대한 설문 (QUIS) – 그림 6.10

 5 개 카테고리 : 전체 반응 , 스크린 , 용어 / 시스템 정보 , 학습 , 시스템 능력

 27 개 평가 10 점 척도 ( 양쪽에 반대되는 단어 )

 유용성 , 만족도 , 사용 편이성에 대한 설문 (USE) – 그림 6.11

 4 개 카테고리 ( 유용성 , 만족도 , 사용편이성 , 학습용이성 ), 30 개 , 7 점 척도

 제품반응카드 – 그림 6.12

 형용사 카드 118 개 , 긍정 / 부정 단어 개수 , 상위 5 개 선정 이유

(8)

 온라인 서비스

 웹사이트 분석과 측정 목록 (WAMMI) – 그림 6.17

 5 가지 영역 (5 점척도 ) : 매력도 , 통제가능성 , 효율성 , 유용성 , 학습성

 미국 고객 만족도 인덱스 (ACSI) – 그림 6.19

 6 가지 요소 (10 점 척도 ) : 콘텐츠 , 가능성 , 룩앤필 , 내비게이션 , 검색 , 퍼포 먼스 )

 오피니언랩

 실시간 사이트 설문

(9)

프로젝트 #6

 과제목적

 각 팀별 인터랙티브 프로토타입에 대해 다양한 사용성 평가와 분석

 과제 내용

 Performance( 성능 / 수행 ) 메트릭 평가

 5 가지 구분 중에서 3 가지 분야에서 메트릭을 선택

 이슈 기반 메트릭 평가

 1 단계 평가와 병행하여 평가 도중 관찰한 모든 사용성 이슈

 분석 방법은 “ 사용성 이슈 분석과 보고 방식” 중에서 선택

 자가 기록 메트릭 평가

 사후연구평가 메트릭에서 한가지 선택 , 1 단계 평가 종료 후 자가평가

 평가 계획을 수립

 평가 목적 , 평가 방법 ( 실험 방법 , 평가 메트릭 ), 측정 데이터 ( 독립변수 및 종속변수 ), 인원 / 대상자 , 기간 , 데이터 수집 및 정리 방법 ( 예상 결과 )

(10)

 과제 제출 방법

 평가분석 계획서 : 제출일 6/7( 화 )

 계획서 1 부 ( 간단한 설명 , 별도의 PPT 발표자료 필요 없음 )

 평가분석 보고서 : 제출일 6/13( 월 )

 최종 보고서 1 부 및 평가결과물 ( 설명없이 보고서만 제출 )

 제출 방법

 팀별 제출

 이메일 제출 + 출력물 제출