theinnovators아래 글은 Unmoderated Usability Studies Evolved: Can GPT Ask Useful Follow-upQuestions? 논문을 요약 및 해설한 아티클입니다.
AI 기반 비대면 UX 테스트, 어디까지 왔나?
전통적인 UX(사용자 경험) 테스트에서는 진행자가 직접 참여자의 행동을 관찰하고 피드백을 유도하며, 필요한 경우 추가 질문을 던지는 방식으로 진행됐다. 하지만 비대면(비모더레이터) 테스트가 증가하면서, 이러한 직접적인 피드백을 보완하는 방법이 필요해졌다.
최근 GPT-4를 활용한 자동화된 후속 질문 시스템이 UX 연구에서 새로운 가능성을 열고 있다. 슬로바키아 기술 대학교와 UXtweak 연구팀이 진행한 연구에서는, GPT-4가 실시간 후속 질문을 생성해 UX 테스트의 깊이를 더할 수 있는지를 실험했다.
연구 개요: AI 기반 후속 질문, 효과 있을까?
이 연구에서는 60명의 참가자를 대상으로 4가지 조건에서 UX 테스트를 진행했다.
- 후속 질문 없음
- 연구자가 사전 작성한 질문 제공
- GPT-4가 실시간 후속 질문 제공
- 사전 질문 + GPT-4 질문 혼합
이 테스트는 전자상거래 웹사이트 프로토타입을 사용해 진행됐으며, 참가자들은 제품 검색 및 결제 프로세스를 경험하고 피드백을 남겼다. AI 기반 후속 질문이 피드백의 질을 높일 수 있는지 검토하기 위해, 연구진은 응답의 정보량, 반복성, 감정적 반응 등을 분석했다.
결과: GPT-4, 보완은 가능하지만 만능은 아니다
기대한 것: 더 많은 UX 문제 발견? → X
GPT-4가 후속 질문을 통해 기존 문제를 더 깊이 탐색하는 데는 효과적이었지만, 완전히 새로운 UX 문제를 발견하는 경우는 적었다. 사전 질문보다 더 많은 이슈를 찾아내는 능력은 다소 부족했다.
예상치 못한 문제: 반복성과 피로감 증가
GPT-4의 후속 질문이 참가자의 응답을 지나치게 반복하거나, 불필요한 추가 설명을 요구하는 경우가 많았다.
예를 들어, 참가자가 이미 ‘결제 과정이 복잡했다’고 답했음에도, AI가 반복적으로 “어떤 부분이 더 불편했나요?” 같은 질문을 던지는 경우가 있었다.
이로 인해 참가자들은 AI 후속 질문을 “비합리적”으로 느끼는 경향이 있었으며, 반복된 질문에 대해 짜증을 표현하기도 했다. 실제로, GPT-4 기반 후속 질문을 경험한 참가자들의 질문 만족도 점수는 낮았다(5점 vs. 6.6점).
개선 방향: AI 기반 UX 연구의 미래
이 연구는 GPT-4가 UX 테스트에서 기존 피드백을 심화하는 데 유용하지만, 질문 품질과 사용자 경험을 고려한 최적화가 필요하다는 점을 시사한다.
앞으로의 과제는?
- 후속 질문의 컨텍스트 이해
- 기존 응답을 중복하지 않고, 진정으로 새로운 정보를 이끌어내는 질문 설계
- AI의 피드백 맥락 조정
- 연구 목표와 참가자의 답변 패턴을 반영해 AI의 질문을 동적으로 최적화
- UX 연구에서 AI의 보조적 역할 정립
- 인간 연구자의 역할을 완전히 대체하기보다는, 보완하는 방향으로 AI를 활용
AI 기반 UX 연구는 이제 시작 단계다. GPT-4와 같은 AI 기술이 UX 테스트에서 효과적으로 사용되려면, AI의 질문이 참가자의 피로감을 유발하지 않도록 자연스럽고 맥락에 맞게 설계하는 것이 핵심 과제다.
AI와 UX의 만남, 어디까지 진화할까?
GPT-4를 활용한 UX 연구는 인간 중심의 테스트 방식에 새로운 가능성을 열고 있다. 다만, AI의 질문이 단순한 반복이 아니라 진짜 “유용한 질문”이 될 수 있도록, 보다 정교한 설계가 필요하다.
TI Tech Lab 이유진 연구원
Source
- Unmoderated Usability Studies Evolved: Can GPT Ask Useful Follow-upQuestions?
- https://www.smashingmagazine.com/2025/02/human-centered-design-ai-assisted-usability-testing/
Add comment