사용성 비교 평가

사용성 비교 평가(Comparative Usability Evaluation)는 경쟁사 대비 자사 제품·서비스가 얼마나 사용하기 편리한지 평가하는 방법으로, 경쟁력 평가라고도 불린다. 서비스 전반을 비교할 수도, 특정 기능·콘텐츠·디자인 요소에 초점을 맞출 수도 있다. 목적은 일반 사용성 평가와 마찬가지로 제품의 사용성 향상이지만, 경쟁사가 같은 디자인 문제를 어떻게 풀고 있는지를 함께 파악해 가져가야 할 장점과 피해야 할 단점을 동시에 드러낸다는 점이 특수하다. 내부 이해관계자에게 제품 사용성 개선의 필요성을 설득하는 근거 자료로도 활용된다.

비교 평가에는 단독 평가로는 얻기 힘든 두 가지 장점이 있다. 첫째, 사용자가 두 제품을 나란히 사용하면 "괜찮아요, 불편한 점 없어요" 같은 중립적 답변에서 벗어나 장단점을 더 분명하게 이야기하는 경향을 보인다. 둘째, 단일 제품의 점수만으로는 그 값이 좋은지 나쁜지 판단할 기준이 없지만, 경쟁사 점수와 나란히 놓으면 객관적으로 판단 가능한 기준점이 생긴다. 비교 평가가 특히 유용한 시점은 신제품 출시·개편 직후의 검증, 다음 제품 기획을 위한 인사이트 도출, 시장 점유율 정체·하락의 원인 파악(FGI와 병행), 평가 기준 자체가 부재해 평가 프레임을 새로 설계해야 할 때다.

실행 단계에서 가장 중요한 것은 목적을 구체화하는 일이다. 목적이 막연하면 자사·경쟁사의 모든 기능을 다 보려다 테스트 시간만 늘어난다. Nielsen Norman Group에 따르면 1인 테스트가 90분을 넘으면 참가자의 집중력이 떨어지므로, 걱정되는 사용자 그룹과 가장 사용하기 어려운 기능을 먼저 좁혀 측정 가능한 지표로 만들어야 한다. 실행 방식은 전문가 평가와 사용자 평가를 병행하는 경우가 많다. 전문가는 디자인 가이드라인·휴리스틱·경력에 비추어 중립적으로 판단하며, 사용자가 "설명할 수 없지만 불편하다"고만 느끼는 문제를 빠르게 짚어낸다. 반면 사용자 평가는 실제 사용 중 발생하는, 전문가도 예상 못한 니즈·감정·불편을 드러낸다. UX Matters의 실무자 제안처럼, 먼저 전문가 평가로 가이드라인을 벗어난 문제를 쉽게 걸러낸 뒤, 남은 예산과 시간을 정말 찾기 어려운 사용자 사용성 문제에 집중하는 순서가 비용 대비 효율이 높다.

가장 중요한 실행 원칙은 '승자'에 집착하지 않는 것이다. 비교 평가는 흔히 정량 평가를 병행하기 때문에 점수로 승패가 갈리는 순간 결과 자체가 목적처럼 느껴지기 쉽다. 하지만 자사가 높은 점수를 받았더라도 그것은 평균값일 뿐이며, 실제로 중요한 것은 사용자의 행동과 의견을 종합해 앞으로 취할 전략과 채워야 할 갭을 찾는 일이다. 평가 후에는 "경쟁자의 가장 큰 강점은 무엇인가", "전체적으로 보이는 경향성은 없는가", "경쟁사가 창의적으로 문제를 해결한 지점이 있는가", "콘텐츠·기능에서 채울 수 있는 틈이 있는가"와 같은 질문을 던져 결과를 전략으로 전환해야 한다.

평가를 실제로 실행하는 단계에서는 관찰과 녹화 세팅이 결과의 설득력을 좌우한다. 이해관계자가 결과에 동의하도록 만들려면 백 번 설명하는 것보다 사용자가 어려움을 겪는 화면과 반응을 직접 눈으로 확인하게 하는 편이 효과적이기 때문이다. 이를 위해 평가실(모더레이터·참여자)과 관찰실(팀원·이해관계자)을 분리하고, 참여자 디바이스 화면을 스크린 미러링 소프트웨어(애플 AirPlay, 삼성 SmartView 계열)로 관찰실 모니터에 실시간으로 띄우며, 평가실에는 비디오 카메라를 두어 참여자의 표정과 음성까지 함께 전달하는 구성이 일반적이다.

미러링 소프트웨어를 고를 때는 와이파이 연결 안정성, 서로 다른 기종(안드로이드·아이폰 혼용)을 동시에 연결했을 때의 안정성, 내장 녹화 기능의 화질·저장 속도 세 가지를 실제 평가와 유사한 조건에서 미리 테스트해야 한다. 실무에서 비교한 세 제품은 트레이드오프가 뚜렷했다 — Reflector 3은 iOS·Android 동시 연결에 강하지만 녹화 저장 속도가 느리고, Mobizen은 안드로이드 전용이지만 PC에서 기기를 직접 조작할 수 있으며, AirServer는 iOS 연결이 가장 안정적이다. 화면 녹화는 미러링 화면을 QuickTime 등으로 PC에서 캡처하는 방법 외에, 디바이스 자체 내장 녹화 기능(iOS 11 이상, Mobizen)이나 비디오 카메라로 직접 촬영하는 방법도 병행할 수 있다. 실제로 30명 이상을 2개 지역에서 평가한 사례에서는 참여자가 10명을 넘어서자 새로 관찰되는 문제가 줄고 기존 문제가 반복 지적되는 경향이 나타났는데, 이는 소규모 인원을 테스트하고 문제를 빠르게 프로토타입에 반영한 뒤 다시 소규모로 테스트하는 반복 방식이 효율적일 수 있음을 시사한다.

핵심 내용

사용성 비교 평가(경쟁력 평가): 경쟁사 대비 자사 제품의 사용성을 비교 측정하는 방법
장점: 비교를 통해 사용자 의견이 분명해지고, 경쟁사 점수가 판단의 기준점이 됨
활용 시점: 출시/개편 직후 검증, 차기 제품 인사이트 도출, 점유율 정체 원인 파악, 평가 기준 부재 시
목적을 구체화해야 테스트 시간(90분 한도)과 참가자 집중력을 낭비하지 않음
전문가 평가(가이드라인·휴리스틱 기반)와 사용자 평가(실사용 문제 발견)는 상호 보완적 — 전문가 평가로 쉬운 문제를 먼저 거른 뒤 사용자 평가에 집중
핵심 원칙: 승패 점수 자체보다 전략과 갭 도출에 집중해야 함
평가실/관찰실을 분리하고 스크린 미러링(AirPlay, SmartView)으로 관찰실에서 실시간 확인, 비디오 카메라로 참여자 반응 기록
미러링 소프트웨어 선정 기준: 와이파이 안정성, 다기종 동시 연결 안정성, 녹화 화질·저장 속도 (Reflector 3 / Mobizen / AirServer 비교)
참여자가 10명을 넘으면 신규 문제 발견율이 급감 → 소규모 반복 테스트가 효율적

출처

사용성 비교 평가 도전기 1편. 목적과 장점 — 2018-04-13, 박재현 (Jaehyun Park)
사용성 비교 평가 도전기 3편. 관찰과 녹화 — 2018-12-21, 박재현 (Jaehyun Park)

사용성 비교 평가

핵심 내용

관련 개념

출처