[9월 TIL #2] UT 회고: 사용자는 쉽게 자신의 기준을 꺼내놓지 않는다

오늘도 UT를 진행하면서 또 다른 관점을 발견했다.

연구자들은 논문을 고를 때 생각보다 많은 기준을 이미 가지고 있었다. 최신 논문인지, 특정 저널인지, 어떤 방법론을 사용하는지, 내 주장에 근거로 쓰기 적절한지 등이다.

그런데 문제는 그 기준을 검색 과정에서 꺼내놓을 생각을 잘 하지 못한다는 것이었다.

예를 들어 결과를 보면서는 “이건 너무 오래된 논문이라 별로예요”, “이런 방법론을 쓴 논문을 찾고 있었어요”라고 말하지만, 검색을 시작할 때부터 그런 기준을 검색 조건으로 활용해야겠다고 생각하지는 않는다.

그래서 이번에 생긴 질문은 이것이었다.

사용자의 머릿속에 있는 기준을 어떤 순간에, 어떤 방식으로 밖으로 꺼내게 만들어야 할까?

이걸 이해하기 위해 Preference Elicitation, Berrypicking, Mixed-Initiative Interaction을 조금 찾아봤다.

---

1. Preference Elicitation, 머릿속의 기준을 끌어내기

먼저 Elicitation은 ‘끌어내다’라는 뜻이다. 그래서 Preference Elicitation은 말 그대로 사용자 머릿속에 있는 선호나 기준을 밖으로 끌어내는 과정이다.

Simplified classification of preference elicitation methods used in health economics.

이미지 출처

추천 시스템에서 많이 등장하는 개념인데, 사용자가 무엇을 좋아하는지 알아내는 방법이 꼭 “원하는 것을 입력해주세요”처럼 직접 묻는 것만 있는 것은 아니다.

크게 보면 두 가지 방식으로 생각할 수 있었다.

Stated Preference는 사용자가 자신의 선호를 직접 말하게 하는 방식이다.

최신 논문을 더 중요하게 보시나요?
특정 저널을 선호하시나요?

반대로 Revealed Preference는 사용자의 실제 행동을 보고 선호를 추론하는 방식이다.

최근 논문만 계속 열어본다.
특정 저널의 논문만 저장한다.

즉 사용자의 기준을 알아내는 방법에는 직접 질문하는 것뿐 아니라, 선택하게 하거나 행동을 관찰하는 방법도 있다.

처음에는 연구자에게 “논문을 찾을 때 어떤 기준이 중요한가요?”라고 물어서 그 기준을 필터로 만들면 되지 않을까 생각했다.

하지만 Preference Elicitation 관점에서는 질문이 조금 달라진다.

사용자가 자신의 기준을 직접 말하게 해야 할까?
선택을 통해 드러내게 해야 할까?
아니면 행동을 통해 시스템이 알아내야 할까?

사용자 머릿속의 기준을 꺼내는 것 자체가 하나의 인터랙션 디자인 문제가 되는 것이다.

2. 그런데 기준은 처음부터 완성돼 있을까? Berrypicking

여기서 또 하나 생각해볼 부분이 있었다. 사용자가 기준을 가지고 있다고 해서, 검색을 시작하기 전에 그 기준이 모두 명확하게 정리되어 있는 것은 아닐 수 있다.

실제로 결과를 하나 보고 나서야

“생각보다 최신 논문이 중요하네.”
“이 방법론은 빼야겠네.”
“이 분야의 논문을 찾고 있었던 것 같네.”

같은 기준을 새롭게 발견하기도 한다.

이 부분에서 Berrypicking이라는 개념도 알게 되었다. Berry picking은 말 그대로 열매를 하나씩 따는 행동이다. Marcia Bates는 정보 탐색도 이와 비슷하다고 설명했다. 관련 한국어 글

사람은 처음부터 완벽한 검색어와 완성된 요구사항을 가지고 한 번에 정답을 찾는 것이 아니라, 정보를 하나씩 얻으면서 자신이 원하는 것이 무엇인지 계속 수정해나간다.

예를 들어 처음에는 단순히 attention을 검색했지만, 결과를 보면서 최신 연구가 중요하다는 걸 발견하고, Psychology 분야가 더 관련 있다는 걸 알게 되고, 특정 방법론은 제외해야겠다고 생각할 수 있다.

즉 실제 탐색은 이런 식으로 진행된다.

검색 → 결과 확인 → 기준 발견 → 다시 탐색 → 기준 수정

이렇게 보면 사용자는 두 가지 상태를 모두 가질 수 있다.

하나는 이미 기준을 가지고 있지만 그 기준을 검색에 활용할 생각을 하지 못한 상태이고, 다른 하나는 탐색 과정에서 새로운 기준을 발견하는 상태다.

그래서 모든 기준을 검색 시작 전에 요구하는 방식이 항상 자연스럽지는 않을 수 있다. 오히려 중요한 건 ‘사용자가 기준을 떠올리거나 발견하는 순간을 어떻게 포착할 것인가’에 더 가까워 보였다.

3. 그렇다면 시스템도 먼저 말을 걸 수 있지 않을까? Mixed-Initiative Interaction

여기까지 생각하고 나니 마지막으로 연결된 개념이 Mixed-Initiative Interaction이었다.

Initiative는 ‘주도권’이라는 뜻이다. 그래서 Mixed-Initiative Interaction은 사용자와 시스템 중 한쪽이 계속 인터랙션을 주도하는 것이 아니라, 상황에 따라 서로 번갈아 주도권을 가지는 방식을 말한다.

일반적인 검색은 대부분 사용자가 주도한다.

사용자가 검색한다 → 시스템이 결과를 보여준다 → 사용자가 다시 검색한다

하지만 사용자가 자신의 기준을 검색에 활용해야겠다는 생각을 하지 못하거나, 탐색하면서 새로운 기준을 발견하는 상황이라면 시스템이 먼저 계기를 만들어줄 수도 있다.

예를 들면 시스템이 먼저 질문을 던질 수 있다.

“최근 논문을 더 중요하게 보고 계신가요?”
“이 논문과 비슷한 연구를 더 볼까요?”
“특정 방법론은 제외할까요?”

여기서 중요한 건 시스템이 사용자의 기준을 대신 결정하는 것이 아니다. 사용자가 자신의 기준을 인식하고 표현할 수 있도록 시스템이 먼저 인터랙션의 주도권을 잠깐 가져오는 것에 가깝다.

그리고 검색을 시작하자마자 계속 질문한다면 오히려 시작 비용만 높아질 수 있다. 반대로 사용자가 이미 결과를 충분히 탐색한 뒤라면 시스템의 도움 자체가 필요하지 않을 수도 있다.

그래서 앞으로는 이런 방식들을 실험해볼 수 있을 것 같다.

• 몇 개의 결과를 본 뒤 기준 후보를 질문하기, “최근 연구가 더 중요한가요?”
• 두 개의 결과를 비교하게 하기, “어느 논문이 찾던 것에 더 가까운가요?”
• 사용자의 행동을 보고 기준을 추론해 제안하기, “최근 5년 논문을 주로 보고 있어요. 이 조건으로 결과를 좁힐까요?”

4. 그래서 어떤 실험을 해볼까

어제는 검색 결과가 만족스럽지 않은 순간을 포착해 필터를 제안하는 것이 좋지 않을까 생각했다.

오늘은 거기서 조금 더 확장됐다.

불만족은 시스템이 개입할 수 있는 여러 순간 중 하나일 뿐이고, 꼭 불만족하기 전이라도 사용자의 행동이나 선택을 통해 기준을 발견하게 만들 수 있지 않을까?

다음 UT에서는 단순히 ‘언제 필터를 보여줄 것인가’보다, 어떤 타이밍에 어떤 인터랙션으로 사용자의 머릿속 기준을 밖으로 꺼낼 수 있는가를 조금 더 다양하게 실험해보고 싶다. 굿!