[5월 TIL #16] EXL 26 공유회 후기: 인간과 AI가 시너지를 내는 실험이란

EXL 26 공유회는 런던에서 열린 글로벌 그로스·실험 컨퍼런스 EXL, 현재 Circus로 리브랜딩된 Speero 주최 행사의 주요 인사이트를 국내 그로스 커뮤니티에 공유하는 자리입니다.

https://luma.com/cqx4cxou?locale=ko

Circus(전 EXL)는 CRO, 실험 문화, 그로스, 데이터 기반 의사결정, AI 시대의 제품 실험을 중심으로 다루는 전문 컨퍼런스입니다. 이번 공유회에서는 현장에 직접 다녀온 국내 그로스 실무자들이 글로벌 실험 조직들의 최신 고민과 사례를 소개하고, AI 시대에 조직이 어떻게 더 정확하게 가설을 세우고 실험을 설계해야 하는지에 대한 관점을 나눴습니다.

주제: 글로벌 그로스 컨퍼런스 리뷰 — AI 시대, 성장의 덫을 피하는 ‘진짜’ 실험법
일시: 2026년 5월 28일 목요일, 오후 6시 30분–9시 30분
형식: 오프라인 공유회
관련 컨퍼런스: 런던 Speero Circus 2026
주요 키워드: CRO, Experimentation, Growth, Agentic AI, A/B Test, 실험 조직, 데이터 기반 의사결정

 
주요 내용

1. AI로 실험의 속도와 범위는 이미 확장되고 있다.
2. 정성 리서치, 가설 생성, 베리언트 제작, 실험 품질 관리까지 AX될 수 있다.
3. 그럴수록 실험 조직은 더 강한 Quality Gate와 측정 신뢰성을 갖춰야 한다.

핵심은 단순히 'AI가 실험을 대신한다' / '대신할 수 없다' 같은 1차원적인 경고가 아니었습니다. 실험의 속도와 범위는 이미 AI로 확장되고 있으며, 이제 중요한 질문은 그 확장된 실험 시스템을 어떻게 신뢰 가능하게 설계할 것인가였습니다. 즉, 인간의 판단과 그 판단이 더 빠르고 일관되게 작동하도록 돕는 AX된 실험 운영 방식이 주요하게 다뤄졌습니다.

---

①  AI 시대, PMF와 Distribution은 어떻게 바뀌는가

첫 번째 세션에서는 AI가 Product-Market Fit과 Distribution이라는 성장의 두 축을 어떻게 바꾸고 있는지 다뤘습니다. AI로 인해 제품을 만드는 비용과 시간이 크게 낮아지면서, 이제 누구나 비슷한 기능을 빠르게 만들 수 있게 되었습니다. 그 결과 제품 자체만으로 차별화하기는 더 어려워졌고, 고객은 수많은 대안 중에서 우리의 솔루션을 빠르게 판단하게 되었습니다.
 

핵심 변화

1. 제품 제작의 진입장벽 하락
   AI로 인해 제품을 만들고 개선하는 속도가 빨라졌습니다. 하지만 동시에 경쟁자도 같은 속도로 빨라졌습니다.
2. 첫인상과 문제 정의의 중요성 증가
   기능 자체보다 고객이 처음 마주하는 메시지, 포지셔닝, 문제 정의가 더 중요해졌습니다.
3. Local Decision의 함정 ⭐️
   버튼 위치, 랜딩 페이지 문구, 작은 UI 개선처럼 세부 최적화에만 집중하면 전체 방향을 놓칠 수 있습니다.
4. Meta Decision의 필요성 ⭐️⭐️⭐️
   지금 더 중요한 질문은 “우리가 풀고 있는 문제가 정말 중요한가?”, “이 시장에서 우리가 가야 할 방향이 맞는가?”에 가깝습니다.

로컬 최적화에 취해 더 나은 직선 경로를 보지 못한다

Red Queen Effect

이 세션에서 가장 인상적인 개념은 Red Queen Effect였습니다. PMF를 개선하고 GTM을 강화하기 위해 끊임없이 달려도, 경쟁 환경 전체가 동시에 빨라지고 있기 때문에 실제로는 제자리를 유지하는 데 그칠 수 있다는 것입니다. AI 시대의 실험은 단순히 더 많이, 더 빨리 실행하는 문제가 아닙니다. 오히려 무엇을 테스트할지, 어떤 고객 문제를 파고들지, 어떤 가설이 진짜 중요한지를 더 잘 정하는 방향으로 AI를 활용해야 한다는 점이 강조되었습니다.

더 빨리 나빠지지 않기 위한, 즉 품질을 위한 고민들

②  AI 기반 실험 자동화 - 정성 리서치도 AX될 수 있다

두 번째 세션에서는 AI를 활용한 실험 자동화 사례가 보다 구체적으로 소개되었습니다. 인상적이었던 점은 AI가 단순히 “더 많은 실험안을 만드는 도구”로 쓰이는 것이 아니었다는 점입니다. 오히려 AI는 정성 리서치를 더 잘 구조화하고, 고객 이해를 실험 가능한 가설로 연결하는 도구로 활용되고 있었습니다.
 

AI가 개입하는 실험 과정

• 고객 대화 분석: 제품 내 AI 챗봇이나 고객 문의 데이터를 분석해 반복적으로 등장하는 문제를 발견합니다.
• 인사이트 추출: 고객이 어떤 상황에서 막히는지, 어떤 질문을 반복하는지, 어떤 표현으로 문제를 설명하는지 정리합니다.
• 가설 생성: 발견된 패턴을 바탕으로 실험 가능한 가설을 만듭니다.
• 베리언트 제작: 하나의 아이디어에서 여러 메시지, UI, 플로우 베리언트를 생성합니다.
• 정성 자료 재활용: 기존 인터뷰 자료, 고객 대화, 리서치 기록을 다시 분석해 새로운 실험 아이디어로 연결합니다.

 

챗봇 데이터가 리서치 엔진이 되는 방식

예를 들어 제품 안에 탑재된 AI 챗봇의 대화를 분석하면, 고객이 반복적으로 묻는 질문이나 헷갈려 하는 지점을 발견할 수 있습니다. 이 데이터는 단순한 고객 문의 기록이 아니라, 실험 가설을 만들기 위한 리서치 데이터가 됩니다. 여기에 여러 전문 에이전트가 역할을 나눠 리서치 목표를 분석하고, 기존 인터뷰 자료와 고객 데이터를 함께 활용해 정성적 인사이트를 도출하는 구조도 소개되었습니다. 이 사례가 흥미로웠던 이유는, 정성 리서치와 AI 활용이 충돌하지 않는다는 점을 보여주었기 때문입니다. 오히려 AI는 고객 이해를 더 넓고 깊게 확장하는 방식으로 활용될 수 있었습니다.

 

Quality Gate: AI가 만든 실험안을 그대로 믿지 않기

AI가 많은 가설과 실험안을 만들어낼수록, 품질 관리 시스템은 더 중요해집니다. 이때 소개된 개념이 Quality Gate였습니다. AI가 생성한 실험안이 실제로 실행할 만한 수준인지 판단하기 위해 다음 기준을 통과하도록 만드는 방식입니다.
 
1. Success Metric: 성공을 어떤 지표로 판단할 것인가?
2. Hypothesis Structure: 가설이 명확한 구조를 가지고 있는가?

가설을 위한 Qualiy Gate

 
3. Guardrail Metric: 좋아지는 지표 외에, 나빠지면 안 되는 지표는 무엇인가?

Variant 평가를 위한 설계

 
4. KPI/OKR Alignment: 이 실험이 회사의 비즈니스 목표와 연결되어 있는가?
 
결국 AI 기반 실험 운영의 핵심은 자동화 자체가 아니었습니다. 중요한 것은 자동화된 산출물이 신뢰 가능한 의사결정으로 이어지도록 만드는 구조였습니다.

③ Velocity Confidence Gap - 빨라진 실행과 느린 확신 사이

세 번째 세션에서는 AI 도입 이후 실험 조직이 마주하는 새로운 문제인 Velocity Confidence Gap이 소개되었습니다. AI는 배포 속도와 실험 실행 비용을 크게 낮춥니다. 하지만 잘못된 실험이나 잘못된 해석이 조직에 미치는 비용은 여전히 큽니다. 즉, 더 빨리 실행할 수 있게 되었지만, 더 빨리 확신할 수 있게 된 것은 아닙니다.
 

AI 도입 이후 생기는 문제들

• 배포 속도 급증: 개발팀이 크지 않아도 실험과 배포 속도는 크게 빨라집니다. 하지만 유효한 배움이 같은 속도로 늘어나는 것은 아닙니다.
• 리뷰 깊이 감소: 만들어지는 산출물이 많아지면 리뷰가 얕아질 수 있습니다.
• 롤아웃 중첩: 여러 실험이나 에이전트가 같은 영역을 건드리면서 충돌이 발생할 수 있습니다.
• 트래킹 오류와 할루시네이션: AI가 생성한 이벤트 트래킹이나 분석 과정에서 오류가 누적되면 잘못된 신호를 만들 수 있습니다.
• 의사결정 혼란: 빠르게 나온 결과가 많아질수록 오히려 무엇을 믿고 결정해야 할지 어려워질 수 있습니다.

신뢰 가능한 실험을 위한 4가지 기반

이 문제를 해결하기 위해 필요한 신뢰의 기반으로는 네 가지가 제시되었습니다.

1. Measurement Integrity: 이벤트 트래킹과 attribution이 정확해야 합니다.
2. Safe Exposure: A/B 테스트의 할당과 노출이 정확하게 관리되어야 합니다.
3. Interpretability: 무엇이 언제 왜 움직였는지 해석할 수 있어야 합니다.
4. Auditable Decisions: 나중에 의사결정 과정을 다시 검증할 수 있어야 합니다.

실험 플랫폼의 진화

이 세션의 핵심 역시 “AI를 조심하자”에 그치지 않았습니다. 오히려 실험 플랫폼은 AI를 전제로 진화하고 있었습니다. AI는 실험 실행 전 단계에서 가설을 비판하고, 다양한 베리언트를 생성하며, 합성 유저 테스트로 아이디어를 미리 검증하는 데 활용될 수 있습니다. 전통적인 5:5 A/B 테스트를 넘어 실시간 데이터에 따라 트래픽을 동적으로 배분하거나 여러 베리언트를 조합해 최적점을 찾아가는 방식처럼, 각 조직은 자신의 프로덕트와 성장 단계에 맞는 실험 운영 방식을 선별해 가져갈 필요가 있다는 점도 함께 강조되었습니다.

---

소감: AI는 실험을 대신하는 것이 아니라, 더 나은 사고를 증강해야 한다

이번 공유회에서 가장 인상 깊었던 점은, 전반적으로 “인간의 역할”을 이야기하면서도 실제 사례들은 굉장히 AX된 실험 운영 방식을 보여주고 있었다는 점이었습니다. 단순히 AI로 더 많은 실험을 더 빠르게 돌리는 이야기가 아니었습니다. 오히려 정성 리서치, 유저 인터뷰, 가설 생성, 실험 설계, 품질 관리처럼 인간의 판단이 중요하다고 여겨졌던 영역에 AI를 어떻게 결합할 수 있는지가 핵심에 가까웠습니다.
 

비슷한 고민을 하고 있었다

우리 팀도 최근 실험을 하면서 비슷한 고민을 해왔습니다.

우리가 너무 Local Decision에만 머무르고 있는 건 아닐까?

 
버튼 위치를 바꾸거나, 랜딩 페이지 문구를 바꾸거나, 작은 플로우를 개선하는 실험도 물론 중요합니다. 하지만 이런 실험만 반복하다 보면 유저가 진짜로 겪고 있는 문제나 제품이 가야 할 더 큰 방향을 놓칠 수 있습니다. 그래서 우리도 일부러 조금 더 정성적이고 고전적인 방법들을 시도했습니다.

1. 유저 인터뷰
2. 유저 스토리 매핑
3. 고객의 실제 사용 맥락 이해
4. 숫자로 바로 드러나지 않는 불편과 니즈 탐색

이런 시도들은 결국 더 좋은 실험 가설을 만들기 위한 과정이었습니다. 실험은 빠르게 돌리는 것도 중요하지만, 그 전에 무엇을 실험할 것인가가 훨씬 중요하다고 느꼈기 때문입니다.
 

그런데, 정성 리서치와 AI 활용을 너무 분리해서 보고 있었다

다만 돌아보면, 저는 정성적인 방법과 AI 활용을 조금 양극단으로 바라보고 있었던 것 같습니다. 정성 리서치는 유저의 말을 깊이 듣고 맥락을 이해하는 일이기 때문에, 여기에 AI가 개입하면 오히려 오염될 수 있다고 생각했던 부분도 있었습니다. 그래서 AI를 활용할 수 있겠다는 생각은 했지만, 적극적으로 실험해보지는 못했습니다.
 
그런데 이번 공유회에서 소개된 사례들은 달랐습니다. 정성 리서치의 중요성을 알고 있기 때문에, 오히려 그 과정을 더 잘하기 위해 AI를 활용하고 있었습니다. 예를 들어 고객 대화 데이터를 분석해 반복적으로 등장하는 문제를 찾고, 기존 인터뷰 자료와 고객 데이터를 바탕으로 가설을 만들고, 그 가설이 실행할 만한 수준인지 Quality Gate로 검토하는 방식이 소개되었습니다. 이 지점이 특히 인상 깊었습니다.

AI가 정성 리서치를 대체하는 것이 아니라, 정성 리서치가 더 잘 실험으로 연결되도록 돕고 있었다.

 

AI는 더 빠르게 가게 만들지만, 나쁜 방향으로도 더 빠르게 갈 수 있다

Red Queen Effect도 강하게 남았습니다. 우리는 계속 만들고, 실험하고, 개선하고 있지만, 경쟁 환경 전체가 함께 빨라지고 있다면 그렇게 달려야 겨우 제자리를 유지할 수 있습니다.
 
하지만 AI가 높여준 속도가 반드시 더 나은 학습이나 더 좋은 의사결정으로 이어지는 것은 아닙니다. 오히려 잘못된 방향으로 더 빨리 갈 수도 있습니다. 이 점이 최근 우리 팀의 고민과도 연결되었습니다. 우리 팀은 무언가를 만들어내는 속도가 매우 빨라졌지만, 동시에 리뷰 과정에서 병목이 생기고 있습니다. 속도는 빨라졌는데, 그 속도를 소화하고 검토하고 판단하는 과정은 여전히 사람에게 남아 있습니다.
 
그래서 요즘 우리는 계속 이런 질문을 하게 됩니다.

1. 빠르게 만드는 것과 잘 만드는 것을 어떻게 함께 가져갈 수 있을까?
2. 리뷰의 병목을 줄이면서도 품질을 지킬 수 있을까?
3. 더 많은 실험이 더 많은 배움으로 이어지게 하려면 무엇이 필요할까?

이번 공유회를 들으며 이런 고민이 우리만의 특수한 문제가 아니라는 점에서 안심이 되기도 했습니다. 큰 조직들도 똑같이 빨라진 실행 속도와 느린 확신 사이의 갭을 고민하고 있었기 때문입니다.
 

중요한 것은 ‘대체’가 아니라 ‘증강’이다

함께 공유회에 참석한 팀원들과 나눈 대화에서도 결국 비슷한 결론에 도달했습니다. AI는 인간의 사고를 대신하는 방향이 아니라, 인간의 사고를 증강하는 방향으로 쓰여야 합니다. 최근 회사 안에서도 영향을 받고 있는 엔겔바트의 철학처럼, 좋은 도구는 사람이 생각하지 않아도 되게 만드는 것이 아니라 사람이 더 잘 생각하도록 도와야 한다고 느꼈다는 팀원의 말도 인상 깊었습니다.
 
실험 시스템에서도 마찬가지입니다. AI가 대신 가설을 정하고, 대신 결론을 내리고, 대신 의사결정을 해주는 방식이 아니라, 사람이 더 좋은 질문을 던지고 더 넓은 가능성을 보고 더 일관되게 판단할 수 있도록 도와야 합니다. 이 관점을 또다른 팀원은 우리 제품인 문라이트를 바라보는 방식과도 연결해 이야기해줬습니다. 문라이트가 사랑받는 이유는 연구를 대신해주기 때문이 아니라, 연구자가 논문을 기반으로 아이디어를 더 잘 발산하고, 논문 자체를 더 깊이 이해하도록 돕기 때문이라고 생각한다는 의견을 공유해줬습니다. 즉, 연구자의 사고를 우회하게 만드는 것이 아니라, 연구자의 역량이 더 커지도록 돕는 도구이기 때문에 가치가 생기는 것이겠지요.
 

실험 결과를 자산으로 쌓아야 한다

마지막으로 크게 남은 생각은, 실험을 조직의 자산으로 쌓아야 한다는 점이었습니다. 좋은 실험은 단순히 전환율을 5%, 10% 올리는 데서 끝나지 않습니다. 성공했든 실패했든, 그 과정에서 유저 행동에 대한 이해가 하나라도 쌓이고, 그 배움이 다음 실험과 제품 의사결정에 다시 쓰일 때 더 큰 의미가 생깁니다. 그렇기 때문에 결국 실험의 목적은 단기 지표 개선만이 아니라, 유저에 대한 이해를 계속 축적하는 데 있습니다. 그리고 이 축적의 과정을 더 잘 구조화하는 데 AI를 활용할 수 있다면, 그것은 인간의 영역을 침범하는 것이 아니라 오히려 인간이 더 잘 배우도록 돕는 일이 될 수 있습니다.
 
유저 이해와 실험의 배움을 어떻게 구체적으로 시스템화할 수 있는지, 그리고 그 과정에서 AI를 어떤 방식으로 설계하면 좋은지에 대해서는 더 자세히 듣고 싶어졌습니다. 동시에 그 지점이 앞으로 우리가 직접 고민하고 기여할 수 있는 영역이라는 생각도 들었습니다. 예전 같았으면 “이건 인간의 영역이니 AI가 개입하면 안 된다”고 생각했을 부분에 대해서도, 이제는 질문을 바꿔볼 수 있을 것 같습니다. 참 적절한 시기에 알맞은 공유회에 참석했다는 생각이 듭니다. 자극, 반성, 동기부여, 영감을 받은 유익한 시간이었습니다!