채팅 버튼과 채팅 창 A/B 테스트(베타)

채팅 버튼, 채팅 창과 홈 화면 텍스트의 실험안을 최대 다섯 개 비교하고 어떤 실험안이 더 많은 방문자를 대화로 이끄는지 측정합니다.

어떤 채팅 버튼 레이블이 대화를 더 많이 유도할까요? 사이드 패널이 떠 있는 창보다 효과적일까요? A/B 테스트는 방문자마다 다른 실험안을 보여 주고 성과를 측정합니다.

A/B 테스트는 베타로 표시됩니다. 사이드 메뉴의 설정 → A/B 테스트, 주소 /app/ab에 있습니다. 워크스페이스 전체에 적용되며 각 테스트는 하나의 프로젝트에 속합니다. 생성과 변경에는 프로젝트 변경 권한이 필요합니다.

테스트 가능한 항목

테스트 대상에서 채팅 버튼, 채팅 창 또는 둘 다를 선택합니다. 실험안별로 다음을 변경합니다.

색상 – 주 색상, 강조색, 배경, 말풍선 표면, 텍스트, 보조 텍스트, 구분선, 모서리 반경과 글꼴입니다.
채팅 버튼 – 형태, 크기, 휴대전화 크기, 레이블, 두 번째 줄, 표시와 아이콘입니다.
스타일 – 창 크기, 사이드 패널, 배경, 애니메이션 등 채팅 창의 모든 설정입니다.
텍스트 – 채팅 버튼 레이블과 두 번째 줄(launcher.text, launcher.subtext), 홈 화면 인사말과 시작점(home.greeting, home.start, home.start_sub), 헤더 제목과 두 번째 줄(header.title, header.subtitle_online)입니다. 텍스트당 최대 300자입니다.

실험안에서 변경하지 않은 것은 프로젝트 설정을 유지합니다.

테스트 생성

/app/ab/new에서 설정합니다.

이름(최대 120자)과 가설(최대 1000자) – 기대하는 내용과 이유입니다.
실험안 – A부터 E까지 2–5개입니다. A는 항상 대조군, 즉 변경하지 않은 프로젝트입니다. 실험안 이름은 최대 60자입니다.
가중치 – 실험안별 0–100 비율이며 합은 100입니다. A는 0보다 커야 합니다.
참여 방문자 – 방문자의 1–100%입니다.
기기 – 모두, 데스크톱만 또는 모바일만입니다.
언어 – 최대 20개이며 비워 두면 모두입니다.
페이지 – “이곳에서만”과 “이곳 제외” 각각 최대 20개 패턴, 패턴당 최대 200자입니다. 제외가 포함보다 우선합니다.
주요 지표 – 성공 측정 기준입니다.
open – 채팅을 여는 방문자 비율입니다. 채팅 버튼의 직접 효과입니다.
msg – 메시지를 작성하는 방문자 비율입니다.
lead – 연락처 정보(이메일)를 남기는 방문자 비율입니다.
goal – 자체 목표에 도달하는 방문자 비율입니다(아래 참조).
csat – 긍정 평가 비율입니다.
감지할 최소 효과 – 1–100%, 기본값 10%입니다. 계정이 이를 바탕으로 필요한 표본을 계산합니다.
종료 – 종료일 또는 방문자 수입니다.
결과가 명확하면 자동 종료 – 7일 이전에는 종료하지 않으며 필요한 표본에 도달해야 합니다.
승리 실험안을 프로젝트 브랜드 설정으로 자동 적용 – 승리 실험안이 프로젝트 설정이 됩니다.

실험안은 임시 저장 상태에서만 변경할 수 있습니다. 프로젝트당 실행 중이거나 일시 중지된 테스트는 한 번에 최대 하나입니다. 시작 후 1분 안에 방문자에게 적용됩니다.

실험안 배정

배정은 서버에서 이루어지며 방문자별로 고정됩니다. 실험안 B를 한 번 본 사람은 다음 방문에도 B를 봅니다.

스니펫에 자체 브랜드 설정, 즉 색상, 모서리 반경과 채팅 버튼 형태·크기 외에 다른 항목이 있는 data-rc-brand가 포함된 페이지는 테스트에 참여하지 않습니다. 색상, 글꼴과 테마를 참조합니다. 프로젝트 동의가 필수이면 방문자 동의 없이 집계하지 않습니다.

특정 실험안 보기

위젯이 실행되는 페이지 주소에 ?rc_ab=B를 추가하면 실험안 B를 봅니다. 이때는 아무것도 집계하지 않습니다.

https://www.example.com/preise?rc_ab=B

자체 목표 보고

주요 지표 goal에는 페이지에서 목표를 보고합니다. 예를 들어 구매 후 감사 페이지에서 호출합니다.

ReactiveChat('abGoal');

자체 분석 도구에 전달하는 경우처럼 방문자가 어떤 실험안을 보는지 조회할 수 있습니다.

var v = ReactiveChat('abVariant');   // { test, variant, qa } or null

ReactiveChat('on', 'ab', function (e) {
  // e.test, e.variant, e.qa
});

코드가 위젯 로드 전에 실행될 수 있으면 앞에 기술 연동의 큐 줄을 넣습니다.

결과

/app/ab/{id}/results에서 실험안별로 확인합니다.

주요 지표와 나머지 모든 지표의 비율,
95% 신뢰 구간이 포함된 대조군 A와의 차이,
실험안이 여러 개이면 Bonferroni 보정한 p값,
최선의 실험안일 확률,
방문자 분포가 가중치와 일치하는지 검사,
검정력 80%에서 필요한 표본.

지표는 CSV로 다운로드할 수 있습니다(/app/ab/{id}/csv).

테스트에 데이터가 수집되지 않는 경우

실행 중인가요? 프로젝트당 테스트 하나만 실행할 수 있습니다.
페이지가 일치하나요? 기기, 언어와 페이지 패턴을 확인합니다.
스니펫에 자체 브랜드 설정이 있나요? 그러면 페이지는 참여하지 않습니다.
동의가 “필수”인가요? 동의 없이 집계하지 않습니다.
?rc_ab=…로 호출했나요? 이 호출은 의도적으로 집계하지 않습니다.

최종 업데이트: 2026-10-25