A/B-тести кнопки й вікна чату (бета)

Який підпис кнопки чату приносить більше розмов? Чи бічна панель працює краще за плавуче вікно? A/B-тести показують різним відвідувачам різні варіанти й вимірюють, який працює краще.

A/B-тести позначені як Бета. Вони є в бічному меню в розділі Налаштування → A/B-тести, адреса /app/ab. Діють для всього робочого простору; кожен тест належить одному проєкту. Для створення й зміни тестів потрібне право змінювати проєкт.

Що можна тестувати

У Що тестується? ви обираєте Кнопка чату, Вікно чату або обидва. Для кожного варіанта можна змінити:

• Кольори — основний, акцентний, тло, поверхню бульбашок, текст, другорядний текст, лінії, а також радіус кутів і шрифт.
• Кнопку чату — форму, розмір, розмір на телефонах, підпис, другий рядок, показ, значок.
• Стиль — усі перемикачі з розділу Вікно чату, наприклад розмір вікна, бічна панель, тло або анімація.
• Тексти — підпис і другий рядок кнопки (launcher.text, launcher.subtext), привітання й точку входу головного екрана (home.greeting, home.start, home.start_sub), назву й другий рядок заголовка (header.title, header.subtitle_online). Щонайбільше 300 символів на текст.

Усе, чого варіант не змінює, залишається як у проєкті.

Створення тесту

У /app/ab/new:

• Назва (щонайбільше 120 символів) і Гіпотеза (щонайбільше 1000) — що ви очікуєте й чому.
• Варіанти — від 2 до 5, A–E. A завжди контроль, тобто незмінений проєкт. Назви варіантів щонайбільше 60 символів.
• Ваги — частка кожного варіанта від 0 до 100, сума 100. A має бути понад 0.
• Учасники — від 1 до 100 % відвідувачів.
• Пристрій — усі, лише комп’ютери або лише мобільні.
• Мови — до 20; порожнє поле означає всі.
• Сторінки — до 20 шаблонів окремо для «лише на» та «не на», щонайбільше 200 символів кожен. «Не» має пріоритет над «лише».
• Основна метрика — чим вимірюється успіх:
• open — частка відвідувачів, що відкривають чат. Прямий ефект кнопки чату.
• msg — частка відвідувачів, що пишуть повідомлення.
• lead — частка відвідувачів, що залишають контактні дані (електронну пошту).
• goal — частка відвідувачів, що досягають власної цілі (див. нижче).
• csat — частка позитивних оцінок (великий палець угору).
• Найменший ефект для виявлення — від 1 до 100 %, стандартно 10 %. За ним обліковий запис розраховує потрібну вибірку.
• Завершення — дата або кількість відвідувачів.
• Автоматично завершити за чіткого результату — не раніше 7 днів і лише після досягнення потрібної вибірки.
• Автоматично застосувати переможця до оформлення проєкту — переможний варіант стає налаштуванням проєкту.

Варіанти можна змінювати лише в Чернетці. Одночасно в проєкті працює щонайбільше один тест (запущений або призупинений). Після запуску тест доходить до відвідувачів протягом хвилини.

Хто бачить який варіант

Призначення відбувається на сервері й фіксується для відвідувача: той, хто вже бачив варіант B, знову побачить B під час наступного відвідування.

Сторінки, фрагмент яких містить власне оформлення, тобто data-rc-brand із чимось більшим за колір, радіус, форму й розмір кнопки, не беруть участі. Див. Кольори, шрифт і тема. Якщо згода в проєкті обов’язкова, без згоди відвідувача нічого не враховується.

Перегляд певного варіанта

Додайте ?rc_ab=B до адреси сторінки з віджетом, щоб побачити варіант B. Такий перегляд не враховується.

https://www.example.com/preise?rc_ab=B

Повідомлення власної цілі

Для основної метрики goal ви повідомляєте ціль зі сторінки, наприклад на сторінці подяки після покупки:

ReactiveChat('abGoal');

Так можна отримати варіант відвідувача, наприклад для передавання власному інструменту аналітики:

var v = ReactiveChat('abVariant');   // { test, variant, qa } or null

ReactiveChat('on', 'ab', function (e) {
  // e.test, e.variant, e.qa
});

Якщо код може виконатися до завантаження віджета, додайте перед ним рядок черги з розділу Технічна інтеграція.

Результати

У /app/ab/{id}/results для кожного варіанта видно:

• частку основної та всіх інших метрик,
• різницю від контролю A з 95 % довірчим інтервалом,
• p-значення з поправкою Бонферроні за кількох варіантів,
• імовірність бути найкращим варіантом,
• перевірку відповідності розподілу відвідувачів вагам,
• потрібну вибірку за потужності 80 %.

Показники можна завантажити як CSV (/app/ab/{id}/csv).

Якщо тест не збирає даних

• Чи запущений він? Лише один тест на проєкт може працювати.
• Чи відповідає сторінка? Перевірте пристрій, мову й шаблони сторінок.
• Власне оформлення у фрагменті? Тоді сторінка не бере участі.
• Згода «обов’язкова»? Без згоди нічого не враховується.
• Викликано з ?rc_ab=…? Такі виклики навмисно не рахуються.