사용자 경험 측정 사용자 경험 측정 (Measuring User (Measuring User
Experience) Experience)
9. Special Topics
숙명여자대학교
임순범
목차
9 장 . 특수한 주제
9.1 LIVE WEBSITE DATA
9.1.1 Server Logs
9.1.2 Click-Through Rates
9.1.3 Drop-Off Rates
9.1.4 A/B Tests
9.2 CARD-SORTING DATA
9.2.1 Analyses of Open Card-Sort Data
9.2.2 Analyses of Closed Card-Sort Data
9.2.3 Tree Testing
9.1 실시간 웹사이트 데이터 1) 서버 로그
방문자가 사이트에서 취하는 행동 파악 목적
초기 : 서버로 보내지는 리퀘스트 개수
보다 정확한 계산 방법 : page view, 혹은 visit
기본적인 웹 분석 기준 (Basic web analytics)
Visitors : “new visitors” , 웹사이트 방문자 수
Visits : “sessions”, 웹사이트 접근 횟수 , 복수 방문 가능
Page views : 개별 페이지 접근 횟수 , 페이지 재 로드시에도 하나 증가
Landing page or entrance page : 웹사이트 방문 때 첫 페이지
Exit page : 웹사이트 떠날 때 마지막 페이지
Bounce rate : 웹사이트 방문시 하나의 페이지만 보고 떠나는 비율
Exit rate (for a page) : 웹사이트 떠날 때 마지막 페이지가 되는 비율
Conversion rate : 단순 방문에서 특정 행위를 하는 방문자로 변하는 비율
사례 ,
홈페이지 변경 후 ( 링크에 대한 설명 추가 ), 페이지 뷰 증가
계절별로 특정 페이지 뷰 숫자에 차이
Search bot 도 사이트 통계에 영향 : 뉴스나 이벤트 영향
예제 ,
2 주간의 페이지 뷰 숫자
paired t-test 로 분석
2) 클릭율 (click-through rates)
링크의 효율성 측정
노출 대비 클릭한 방문자 비율
웹 광고의 효율성 측정 , 어떤 링크에도 적용 가능
사례 ,
클릭율 차이가 있는지 분석
링크 1 클릭율 : 1.4 = 145 / (145 +10289)
링크 2 클릭율 : 1.7 = 198 / (198 + 11170)
=> 차이 있는가 ?
카이제곱 검정
기대 빈도표 (expected frequency)
기대 빈도 :
164.2 = (343 x 10434) / 21802 178.8 = (343 x 11368) / 21802
CHITEST p=0.037
3) 탈락율 (drop-off rates)
사용성 문제 있는 곳 발견 목적
계정 생성 , 구입 완료 등 프로세스
완료한 사용자 비율 => 각 페이지 별 탈락율
4) A/B Tests
두 개의 시안 비교
무작위로 A, B 할당
같은 시간에 서로 다른 버전 테스트
요령
작은 차이 측정
유의성 검증 (significance test): 카이제곱 검정
Be agile
데이터를 신뢰 ( 특정인 신뢰 말고 )
A/B/C tests
9.2 카드 소팅 데이터
1980 년대부터
메인프레임 OS 메뉴 구성 ( 튤리스 , 1985)
최근 , 웹사이트 정보구조 결정에 사용
실물 인덱스 카드 사용 => 온라인 가상 카드 사용
다양한 메트릭이 카드 소팅에 적용 가능
두 가지 방법
Open card-sorts : 참여자들 스스로 그룹 생성하며 카드 분류
Closed card-sorts : 참여자들에게 그룹 이름을 주고 카드를 분류
1) 오픈 카드 소팅
예제 ,
인지거리 (perceived distance) 매트릭스
예 , 참여자 #1
크고 둥근 : 사 , 오 , 복 , 토 작다 : 딸 , 포 , 체 , 자
재미있다 : 바 , 배
참여자 #1 거리 행렬식
전체 거리 매트릭스 ( 유사성 매트릭스 )
여러가지 방법으로 분석
계층적 군집 분석
다차원크기조정 (MDS)
계층적 군집 분석 (Hierarchical cluster analysis)
트리 다이어그램 작성
카드들이 ‘ 서로 결합하는‘ 지점 관찰
일찍 결합하는 카드가 더 유사도 높다
여러 알고리즘 가능 : 그룹평균 이용 사례 =>
장점
카드 구성 방법에 직접적 정보 제공
그룹핑 형성과정 예상 가능
파생된 그룹에 대한 적합도 (goodness of fit) 검사
참여자 #1dml 적합도
두 가지 모두 실행하면 유용
한 쪽에서 안보이는 것 다른 쪽에서 보일수도
카드가 외톨이 (outlier) 되는 이유
정말로 다른 그룹과 차이
두 개 이상 그룹에 속할 때
적정 참여자 수
변곡점 위치 : 10~20
2) 닫힌 카드 소팅
분류 그룹 이름까지 제시
기획안과 실험 결과가 얼마나 일치하는지 확인
예제
각 그룹으로 분류한 참여자 비율
한 그룹으로 분류되는 경우 비율 높고 , 여러 그룹에 나누어질때는 차이 적다
9.3 접근성 데이터
Accessibility, 접근성
사례 , Neilson 2001
사용자 그룹 : 리딩 SW 사용 , 확대 SW 사용 , 일반 사용자
4 가지 사용성 척도 적용 : 성공율 , 시간 , 에러 , 주관적 평가
Web Accessibility Guideline
W3C, Web Contents Accessibility Guideline(WCAG)
3 가지 범주
Priority 1: must satisfy 16 checkpoints
priority 2: should satisfy 30 checkpoints
priority 3: may address 19 checkpoints
페이지 내의 심각도로 분류
페이지당 에러 개수로 분류
9.4 투자 수익률 데이터
ROI (Return On Investment)
사용성 개선과 연관된 비용 확인 , 재정적 이익과 비교
예제
두 버전의 웹사이트 비교
10 개 태스크
시간 , 완료율 , 자가기록 등
ROI 계산
가정 설정 이후 연쇄 추론
주 거주자 270 만명 중 ¼ 이 최소 한달에 한번 웹사이트 사용
각 사용자가 79 초를 절약하면 , 매년 5300 만초 (14,800 시간 ) 절약
노동비용 ( 주 40 시간 ) 으로 환산하면 매달 7 명의 일 절약
주 거주민의 평균 연봉은 14,700 달러
120 만 달러의 연간 이익
증가된 수입계산
새로운 사이트 실패율 5%, 이전 사이트 28%
10 만명 사용자가 최소 한달에 한번 , 거래당 2 달러 서비스 비용 지불 예상
23% 성공율 증가는 매년 55.2 만 달러의 추가 이윤 발생
사용성 ROI 계산시 문제점
사용자가 회사 직원일 때 계산 용이
사용자가 고객인 경우 사용성 ROI 계산은 더 어렵다
