A/B-тесты кнопки и окна чата (бета)

Какая подпись кнопки приводит к большему числу разговоров? Работает ли боковая панель лучше плавающего окна? A/B-тесты показывают разным посетителям разные варианты и измеряют, какой эффективнее.

A/B-тесты отмечены как Бета. Они находятся в боковом меню в Настройка → A/B-тесты, адрес /app/ab. Действуют во всём рабочем пространстве; каждый тест относится к одному проекту. Для создания и изменения нужно право изменять проект.

Что можно тестировать

В Что тестируется? выберите Кнопка чата, Окно чата или оба. Для каждого варианта можно менять:

• Цвета — основной цвет, акцент, фон, фон облачков, текст, вторичный текст, линии, а также скругление и шрифт.
• Кнопка чата — форма, размер, размер на телефонах, подпись, вторая строка, показ, значок.
• Стиль — все переключатели из Окна чата, например размер окна, боковая панель, фон и анимация.
• Тексты — подпись и вторая строка кнопки (launcher.text, launcher.subtext), приветствие и входная точка главного экрана (home.greeting, home.start, home.start_sub), заголовок и вторая строка вверху (header.title, header.subtitle_online). Не более 300 символов на текст.

Всё, что вариант не меняет, остаётся как в проекте.

Создание теста

В /app/ab/new:

• Название (до 120 символов) и Гипотеза (до 1000 символов) — что вы ожидаете и почему.
• Варианты — от 2 до 5, A–E. A всегда контроль, то есть неизменённый проект. Имена вариантов до 60 символов.
• Веса — доля каждого варианта от 0 до 100, сумма 100. A должен быть больше 0.
• Участвующие посетители — от 1 до 100 % посетителей.
• Устройство — все, только компьютеры или только мобильные.
• Языки — до 20; пусто означает все.
• Страницы — до 20 шаблонов для «Только на» и «Не на», до 200 символов каждый. «Не» имеет приоритет над «Только».
• Основная метрика — чем измеряется успех:
• open — доля посетителей, открывших чат. Прямой эффект кнопки.
• msg — доля написавших сообщение.
• lead — доля оставивших контактные данные (электронную почту).
• goal — доля достигших вашей цели (см. ниже).
• csat — доля положительных оценок (палец вверх).
• Минимальный обнаруживаемый эффект — от 1 до 100 %, по умолчанию 10 %. По нему аккаунт вычисляет нужную выборку.
• Конец — дата окончания или число посетителей.
• Автоматически завершить при ясном результате — не раньше 7 дней и только после набора нужной выборки.
• Автоматически применить победителя к оформлению проекта — выигравший вариант становится настройкой проекта.

Варианты можно менять только в Черновике. В проекте одновременно может идти не более одного теста (работающего или приостановленного). После запуска тест доходит до посетителей в течение минуты.

Кто какой вариант видит

Назначение выполняется сервером и закрепляется за посетителем: увидевший однажды B увидит его и при следующем посещении.

Страницы с собственным оформлением в коде, то есть data-rc-brand с чем-то помимо цвета, скругления, формы и размера кнопки, не участвуют в тесте. См. Цвета, шрифт и тема. Если согласие в проекте обязательно, без согласия посетителя ничего не учитывается.

Просмотр конкретного варианта

Добавьте ?rc_ab=B к адресу страницы с виджетом, чтобы увидеть вариант B. При этом ничего не учитывается.

https://www.example.com/preise?rc_ab=B

Сообщение о собственной цели

Для основной метрики goal сообщите достижение цели со страницы, например со страницы благодарности после покупки:

ReactiveChat('abGoal');

Узнать вариант посетителя, например для передачи собственной аналитике, можно так:

var v = ReactiveChat('abVariant');   // { test, variant, qa } or null

ReactiveChat('on', 'ab', function (e) {
  // e.test, e.variant, e.qa
});

Если код может выполняться до загрузки виджета, добавьте перед ним строку очереди из Технической интеграции.

Результаты

В /app/ab/{id}/results для каждого варианта показаны:

• доля основной и всех остальных метрик;
• разница относительно контроля A с 95 % доверительным интервалом;
• p-значения с поправкой Бонферрони при нескольких вариантах;
• вероятность быть лучшим вариантом;
• проверка соответствия распределения посетителей весам;
• требуемая выборка при мощности 80 %.

Показатели можно скачать как CSV (/app/ab/{id}/csv).

Если тест не собирает данные

• Он запущен? Одновременно может идти только один тест на проект.
• Подходит ли страница? Проверьте устройство, язык и шаблоны страниц.
• Собственное оформление в коде? Тогда страница не участвует.
• Согласие обязательно? Без него ничего не учитывается.
• Вызов с ?rc_ab=…? Такие вызовы намеренно не учитываются.