UX 정량 평가

UX 정량 평가는 사용성 테스트, 로그 분석, 히트맵, 자기보고 데이터 등 수치화된 측정 방법으로 사용자 경험을 평가하는 방식이다. 정성 평가가 '왜'를 규명한다면, 정량 평가는 '얼마나'를 측정해 현상의 규모를 파악하고 의사결정을 뒷받침하는 근거 자료를 제공한다. 디지털 맥킨지 같은 조직에서는 정량 데이터를 분석해 비용 대비 가장 효율적인 문제에 집중하는 방식을 취하며, 경영진이 UX의 ROI(투자 대비 수익)를 요구할 때 핵심 성과 지표(KPI)와 연계한 측정치로 응답할 수 있다.

정량 평가를 위한 참가자 수는 목적에 따라 달라진다. 디자인 초기 단계에서 빠른 반복 개선이 목적이라면 6~8명으로 충분하고, 두드러지게 다른 사용자 그룹이 있다면 그룹당 4명을 권장한다. 제품 전반을 평가하거나 결과가 모집단을 대표해야 하는 경우에는 50~100명의 대표 사용자가 필요하다. 양쪽의 한계를 보완하기 위해 대규모 표본으로 사용자 그룹을 구분한 뒤, 각 그룹의 대표 사용자를 따로 모집해 심층 인터뷰를 진행하는 혼합 접근법을 사용하기도 한다.

표본 선정에서는 실제 사용자에 최대한 근접한 참여자를 모집하는 것이 원칙이다. 참여 자격 기준(신규 vs 숙련 사용자 등)을 먼저 설정하고, 해당 분야 지식 수준·사용 빈도·경험 기간·인구 통계·특정 기능 사용 여부 등의 기준으로 그룹을 구분한다. 사용성 문제의 분류 시에는 소수(10명 중 1명)가 겪는 문제라도 그 행동이 논리적으로 타당하고 일관성이 있다면 실제 사용성 문제로 간주해야 한다. 반대로 참여자의 행동에 일관성이 없어 설명이 불가능하다면 우연한 발생으로 처리한다.

신뢰 구간은 수치의 의미를 판단하는 핵심 도구다. 만족도 점수처럼 여러 항목의 평균값을 비교할 때, 단순히 높고 낮음만 보면 잘못된 결론에 이를 수 있다. 오차 막대(신뢰 구간)를 함께 표시해 두 값의 범위가 겹치지 않을 때만 통계적으로 유의미한 차이가 있다고 판단할 수 있다. 살짝 겹치는 경우에는 T검정 같은 추가 통계 검정이 필요하다. Jacob Nilsen은 정량 평가가 인사이트보다 숫자 수집 자체에 집중하기 쉽다고 경고하며, 정성 자료와 종합해 의사결정의 근거로 활용하는 자세가 중요하다고 강조한다.

핵심 내용

정량 평가의 3대 활용 가치: 현상 파악 → 의사결정 설득 → UX ROI 계산
참가자 수는 목적에 따라 6~8명(초기 반복 개선)에서 50~100명(대표성 확보)까지 다양
혼합 접근법: 대규모 표본으로 그룹 구분 후 각 그룹 대표 사용자 심층 인터뷰
표본 그룹 기준: 도메인 지식 수준, 사용 빈도, 경험 기간, 인구 통계, 기능 사용 여부
소수가 겪더라도 논리적·일관된 행동이면 실제 사용성 문제로 분류
신뢰 구간 표시 필수: 오차 막대가 겹치지 않아야 통계적 유의미성 인정
정량 데이터는 정성 자료와 함께 사용할 때 가장 효과적

출처

사용성 비교 평가 도전기 2편. 정량 평가 — 2018-05-10, 박재현 (Jaehyun Park)

UX 정량 평가

핵심 내용

관련 개념

출처