Testes A/B para o botão e a janela do chat (beta)

Qual rótulo do botão do chat gera mais conversas? Um painel lateral funciona melhor do que uma janela flutuante? Com testes A/B, você mostra variantes diferentes a visitantes diferentes e mede qual tem melhor desempenho.

Os testes A/B estão identificados como Beta. Você os encontra no menu lateral em Configuração → Testes A/B, endereço /app/ab. Eles se aplicam ao espaço de trabalho inteiro; cada teste pertence a um projeto. Criar e alterar testes exige permissão para alterar o projeto.

O que você pode testar

Em O que será testado?, escolha Botão do chat ou Janela do chat, ou ambos. Por variante, você pode alterar:

• Cores – cor primária, destaque, fundo, superfície da bolha, texto, texto secundário, linhas, além do raio dos cantos e da fonte.
• Botão do chat – forma, tamanho, tamanho em celulares, rótulo, segunda linha, exibição, ícone.
• Estilo – todas as opções de Janela do chat, como tamanho da janela, painel lateral, fundo ou animação.
• Textos – rótulo e segunda linha do botão do chat (launcher.text, launcher.subtext), saudação e ponto de entrada da tela inicial (home.greeting, home.start, home.start_sub), título e segunda linha do cabeçalho (header.title, header.subtitle_online). No máximo 300 caracteres por texto.

Tudo o que uma variante não alterar permanece como configurado no projeto.

Criar um teste

Em /app/ab/new:

• Nome (no máximo 120 caracteres) e Hipótese (no máximo 1.000 caracteres) – o que você espera e por quê.
• Variantes – de 2 a 5, de A a E. A é sempre o controle, ou seja, seu projeto sem alterações. Nomes de variantes com no máximo 60 caracteres.
• Pesos – proporção por variante de 0 a 100, somando 100. A deve ser maior que 0.
• Visitantes participantes – de 1 a 100 % dos visitantes.
• Dispositivo – todos, somente computadores ou somente celulares.
• Idiomas – até 20; vazio significa todos.
• Páginas – até 20 padrões para “somente em” e para “não em”, com no máximo 200 caracteres cada. “Não” tem prioridade sobre “somente”.
• Métrica principal – como o sucesso é medido:
• open – proporção de visitantes que abrem o chat. O efeito direto do botão do chat.
• msg – proporção de visitantes que escrevem uma mensagem.
• lead – proporção de visitantes que deixam dados de contato (e-mail).
• goal – proporção de visitantes que alcançam sua própria meta (veja abaixo).
• csat – proporção de avaliações positivas (polegar para cima).
• Menor efeito a detectar – de 1 a 100 %, padrão 10 %. A partir disso, a conta calcula a amostra necessária.
• Término – uma data final ou um número de visitantes.
• Encerrar automaticamente com resultado claro – não antes de 7 dias e somente quando a amostra necessária for atingida.
• Aplicar automaticamente a variante vencedora à marca do projeto – a variante vencedora se torna a configuração do projeto.

Variantes só podem ser alteradas em um Rascunho. No máximo um teste por projeto pode estar em execução ou pausado por vez. Depois de iniciado, o teste chega aos visitantes em até um minuto.

Quem vê qual variante

A atribuição acontece no servidor e é fixa por visitante: quem viu a variante B uma vez volta a ver B na próxima visita.

Páginas cujo código de incorporação contém uma marca própria, ou seja, um data-rc-brand com mais do que cor, raio e forma e tamanho do botão do chat, não participam do teste. Veja Cores, fonte e tema. Se o consentimento no projeto estiver como obrigatório, nada é contado sem a concordância do visitante.

Ver uma variante específica

Adicione ?rc_ab=B ao endereço de uma página com o widget para ver a variante B. Nada é contado nesse caso.

https://www.example.com/preise?rc_ab=B

Informar sua própria meta

Para a métrica principal goal, você informa a meta pela página, por exemplo, na página de agradecimento após uma compra:

ReactiveChat('abGoal');

Você pode consultar qual variante um visitante vê desta forma, por exemplo, para passá-la à sua própria ferramenta de análise:

var v = ReactiveChat('abVariant');   // { test, variant, qa } or null

ReactiveChat('on', 'ab', function (e) {
  // e.test, e.variant, e.qa
});

Se seu código puder ser executado antes de o widget carregar, coloque antes dele a linha de fila de Integração técnica.

Resultados

Em /app/ab/{id}/results, você vê por variante:

• a taxa da métrica principal e de todas as outras métricas,
• a diferença em relação ao controle A com intervalo de confiança de 95 %,
• valores-p, com correção de Bonferroni quando há várias variantes,
• a probabilidade de ser a melhor variante,
• uma verificação de que a distribuição de visitantes corresponde aos pesos,
• a amostra necessária com poder estatístico de 80 %.

Os números podem ser baixados como CSV (/app/ab/{id}/csv).

Se um teste não coletar dados

• Ele está em execução? Só pode haver um teste em execução por projeto.
• A página corresponde? Verifique dispositivo, idioma e padrões de página.
• Marca própria no código de incorporação? Nesse caso, a página não participa.
• Consentimento como “obrigatório”? Sem concordância, nada é contado.
• Acesso com ?rc_ab=…? Esses acessos não contam, intencionalmente.