사용자 경험 측정 사용자 경험 측정 (Measuring User Experience) (Measuring User Experience)

사용자 경험 측정 사용자 경험 측정 (Measuring User Experience) (Measuring User Experience)

2. Statistis Background

숙명여자대학교

임순범

목차

 연구 계획하기

 참가자 선택 , 표본 크기 , 대상 내 / 간 검증 , 균형 맞추기 , 독립 / 종속변수

 데이터 종류

 명목자료 , 서열자료 , 구간자료 , 비율자료

 메트릭스와 데이터

 기술통계

 중심경향측정 , 변량측정 , 신뢰구간

 추론통계

 평균비교 : 독립표본 , 짝지워진 표본 , 두 표본 이상 비교

 변수들간의 관계 : 상관관계 ( 분산분석 )

 비모수검정 : 카이제곱검정

 데이터를 그래프로 나타내기

 컬럼그래프 / 막대그래프 , 선그래프 , 산점도 , 파이차트 , 누적막대그래프

2.1 연구계획하기

 참가자 선택

 표본 크기

 대상 내 검증 , 대상 간 검증

 균형 맞추기

 독립변수 , 종속변수

참가자 선택시 고려사항

 타겟 사용자의 반영

 가능하면 타겟을 대표하는 사용자 모집 , 피치 못하면 근접한 참여자

 참가자의 구분 ( 그룹핑 ) 여부

 전문지식 ( 초 , 중 , 전문 ), 사용빈도 , 경험기간 , 인구통계 , 특정 기능의 사용

 표집 ( 샘플링 ) 전략

 임의표집 (random sampling)

 모집단 모든 사람이 선택 가능성 동일할 때 , 전체에 대한 무작위 추출

 계통표집 (systematic sampling)

 미리 정한 기준 ( 리스트에서 각 10 번째 줄에 있는 사람 )

 층화표집 (stratified sampling)

 전체 모집단의 subsample 에 특정 크기 설정 (50% 남 , 50% 여 )

 편의표집 (samples of convinience) : 임의의 표본

표본크기 고려사항

 연구목적

 유저빌리티 이슈 확인에는 3~4 명도 가능 – 중대한 이슈 발견

 디자인 완성 단계로 갈수록 많은 참여자 필요 (5 장 . 표본크기 )

 오차범위

 표본크기에 따른 신뢰구간 차이

대상 내 검증 , 대상 간 검증

 대상 내 검증 (Within-subjects Study)

 동일한 참여자로부터 수집

 동일한 참여자들이 특정 상품의 사용성 측정에 주로 사용 , 작은 표본

 이월효과 (carryover effects) : 미리 연습 , 피곤 등에 따라 결과 증대 / 감소

 대상 간 검증 (Between-subjects Study)

 서로 다른 참여자 간 수집 : 초보자 - 숙련자 , 남 - 여 , 등

 참여자 그룹간 더 많은 변화가 있으므로 대규모 표본 필요

 이월효과의 영향을 적게 받는다

 혼합 (Mixed)

 대상 내 검증 요인 + 대상간 검증 요인

 예 , 남여가 + 각기 다른 태스크를 수행

균형맞추기 (Counter-balancing)

 균형맞추기 (count balancing)

 태스크 순서에 따른 영향을 제어

=> 무작위 혹은 다양한 태스크 순서로 실험

 태스크 간 전혀 관련 없거나 , 자연스런 순서 존재할 때는 적용 안 함

독립변수 / 종속변수

 독립변수 (independent variables)

 실험설계자가 조절하는 변수

 리서치 질문에 기반하여 선택 ( 다루고자 하는 것 )

 예 , 남성 / 여성 간 , 초보자 / 숙련자 간 , 두 가지 디자인 간

 종속변수 (dependent variables)

 산출물 / 반응변수 ( 측량할 것 ),

 실험 결과 ( 독립변수에 따라 측정한 값 )

 예 , 성공률 , 에러 횟수 , 만족도 , 시간 등 대부분의 메트릭 ( 측정값 )

 목표 ⇒독립변수⇒종속변수 간 논리적 관계 중요

 예 , 10 시간 이상 수면시 평균수명 단축 되는가 ?

 수면시간 : 독립변수 , 평균수명 : 종속변수

2.2 데이터의 종류

 명목자료 (nominal data, category)

 서열자료 (ordinal data, ranks)

 구간자료 (interval data)

 비율자료 (ratio data)

 명목자료 (nominal data, category)

 동일한 특성의 데이터가 순서없이

 예 , 남성 / 여성 , 거주 지역 ( 독립변수 ), 태스크 성공 ( 종속변수 )

 분석 방법 => 개수 (counts), 빈도 (frequencies)

 명목자료를 다룰 때는 코드화 할 것

 서열자료 (ordinal data, ranks)

 순서가 있는 데이터의 그룹

 측정구간 , 즉 순위간 거리는 의미가 없다 . 등급의 순서만 중요

 예 , 설문지 자가 기록 데이터 , 심각도 점수

 분석 방법 => 빈도수 ( 비율 )

 평균값은 통계적 의미 없음

 구간자료 (interval data)

 측정값 간의 차이점이 의미를 갖는 구간 , 절대적인 영점은 없다 .

 예 , 섭씨 / 화씨 온도 , 유저빌리티 척도 (SUS)

 분석 방법 => 더 넓은 범위의 기술 통계 ( 평균 , 표준편차 등 )

 서열자료와 구간자료의 구분

 더 명백히 구간자료화

 비율자료 (ratio data)

 구간자료와 동일 , 단 절대 영점이 존재

 예 , 나이 , 키 , 완료 시간 등 에서는 0 및 배율이 유의미

2.3 메트릭스와 데이터

데이터 타입 일반 메트릭스 통계 처리 명목자료 이진 태스크 성공율 ,

에러 , 상위 2 그룹 점수 빈도 , 교차분석

(crosstabs), 카이제곱

서열자료 심각도 평가 , 등급 빈도 , 교차분석 , 카이제곱 , 순위합 검정 , 순위상관검정 구간자료 리커트 척도 , SUS 점수 모든 기술통계 , t 검정 ,

ANOVA, 상관관계 , 회귀분 석

비율자료 완료시간 , 시간 , 평균

태스크 성공 모든 기술통계 , t 검정 ,

ANOVA, 상관관계 , 회귀분

석

2.4 기술통계

 모집단 관계

 기술통계 : 데이터로만 설명

 추론통계 : 결론 도출 , 상 / 하 대규모 집단 혹은 모집단 언급

* 엑셀에서 가능

 중심경향측정 (measures of central tendency)

 중앙 (middle) 또는 중심 (central) 이 되는 것

 평균 (mean) : 가장 일반적인 통계값

 중앙 (median) : 분포에서 가운데 , 이상값이 있는 경우 , 예 , 월급

 최빈값 (mode) : 가장 흔하게 발생된 값



2.5 평균 비교하기

평균 비교시 고려사항

 동일한 참가자 내 ? 다른 참가자들과 대조 ?

 다른 참가자 => 독립 표본 (independent samples), 예 , 남 / 여

 동일한 참가자 => 반복측정분석 , 짝지워진 표본 (paired samples)

 표본 크기

 30 이하 => t 검정

 30 이상 => z 검정

 표본 비교 개수

 2 개 => t 검정

 3 개 이상 => 분산분석 (ANOVA)

독립표본

 비교되는 그룹이 상이한 경우

 예 ) 숙련가와 초보자간의 만족도 비교

 t-test

 분산이 같다는 가정 옵션 ( 분산이 동일하다는 검증이 필요 )

 영 - 가설 (null hypothesis) :

 양측검정 (two-tailed test, two-sided test) : 평균에 차이가 없다

 단측검정 (one-tailed test, one-sided test) : A 가 B 보다 크다

 알파레벨 0.05 : 5% 오차 허용 (95% 신뢰도 )

 p-value ( 측정치와 결론이 틀릴 확률값 ) 보다 작아야 입증

 예제

 양측검정 p<0.05:

=> 차이가 있다

z-test ( 참고 )

 30 개 이상 대량표본

 z 검정은 분산을 알고 있을 경우 , t 검정은 분산을 모를 경우

 예제

 모 전구회사는 새로운 신형 형광등을 개발 하였다 . 기존의 형광등과 평균수명에서 차이가 나는지 검정하기 위해 각각의 형광등에서 표본을 30 개씩 추출하여 다음과 같은 자료를 얻 었다 . 각각의 분산은 12,960,000, 17,640,000 이다 . 평균수명에서 차이가 있는지 유의 수준 5% 에서 검정하라 .

짝지워진 표본 (Paired Sample)

 동일한 참가자 내에서 평균을 비교할 때

 예 ) 두 가지 프로토타입 간의 차이점 분석

 짝지워진 표본 t- 검정

 짝지원진 표본에서는 반드시 비교값의 갯수가 동일하여야 한다 .

 예제

 P < 0.05: 명백한 차이가 있다

두 표본 이상 비교

 ANOVA(ANaysis Of VAriance)

 3 개 이상의 그룹간에 차이가 있는지를 비교할 때

 엑셀 => 단일 요인 ANOVA

 F 값 : 차이가 있다고 인정할 기준비율

 F 기각치가 F 값보다 작으면 변수간에 유의미한 차이가 있다

 P 값은 통계적으로 의미가 있음을 확인

2.6 변수들 간의 관계

 상관관계 (correlation)

 산점도 (scatterplot), 추세선 (trend line)

 상관계수 (correlation coefficient) 또는 r 값 (r value) : -1~1

 연관관계가 강할수록 1,-1 에 근접 , 약할수록 0 에 근접

2.7 비모수검정

 명목자료나 서열자료의 분석

 변수간 의미를 비교 , 모집단분포 ( 분산 ) 가 동일하지 않다 .

 카이제곱검정 (chi-square test)

 관찰값 (observed value) 과 기대값 (expected value) 의 차이가 우연인지 ?

 엑셀 , CHITEST(actual_range, expected_range)

 예 , 초급 , 중급 , 전문가 그룹간의 태스크 성공률에 차이가 있는지 검정

 각 그룹간 20 명씩 , 총 60 명

=> 0.028 < 0.05 : 그룹간 차이가 있다

2.8 그래프로 나타내기

 5 가지 기본적인 데이터 그래프

 막대그래프 , 선그래프 , 산점도 , 파이차트 , 누적막대그래프

 그래프 사용 팁

 축과 단위에 라벨을 분명하게

 필요 이상의 상세한 데이터 피할 것

 정보전달을 위해 컬러만 단독 사용 말 것

 가급적 라벨은 수평으로

 가급적 신뢰구간 보여줄 것

 그래프를 과도하게 쓰지 말 것

 3D 그래프 사용에 주의할 것

 컬럼그래프 ( 수직 )/ 막대그래프 ( 수평 )

 기본 원칙

 분리된 항목 / 카테고리에 대한 연속적인 데이터 표현

 연속변수의 축은 0 에서 시작 ( 막대의 길이가 좌표값을 의미 )

 최대값보다 축이 높아지지 않도록

 안 좋은 예 : 수직라벨 시작 , 라벨 표시값 , 신뢰구간

 선그래프

 선그래프와 막대그래프

 다른 연속변수에 따라 하나의 연속변수의 값을 표현할 때

 데이터 지점을 보여준다 . 선이 아니라 데이터 지점이 더 중요

 적절한 두께의 선 사용 , 하나 이상의 선의 경우 범례 사용

 수직축이 중간 값에서 시작할 수도 , 이 경우 적절한 표시

 안 좋은 예 : 데이터 지점 , 범례 , 가는 선 , 신뢰구간

 산점도 (scatterplot)

 한 쌍의 값들 , 적절한 척도 사용할 것

 두 가지 변수 모두 연속적

 두 변수간의 관계를 보여주기 : 추세선 (trend line), R 제곱근 ( 적합도 )

 안 좋은 예 : 수직축 척도 , 추세선 , 적합도

 파이차트 (pie chart)

 전체에서 차지하는 비율

 더해서 100% 되도록

 세그먼트 개수 최소화 (6 개 이내 )

 각 세그먼트에 대한 비율과 라벨 , 표시선

 안 좋은 예 : 세그먼트 개수 , 범례 , 비율

 누적막대 그래프 (stacked bar graph)

 막대 형태 내에 파이차트 보여주기

 연속된 항목의 합이 100%

 일련의 항목은 카테고리 구성

 세그먼트 개수 최소화 (3 개 이내 적절 )

 친숙한 컬러 코드 사용

 안 좋은 예 : 세그머트 개수 , 컬러코딩 , 수직축 라벨