チャットボタンとウィンドウのA/Bテスト(ベータ版)
チャットボタン、ウィンドウ、ホーム画面のテキストを最大5つのバリアントで比較し、どれがより多くの訪問者を会話につなげるか測定します。
どのボタンのラベルが会話を増やすのでしょうか。サイドパネルはフローティングウィンドウより効果的でしょうか。A/Bテストでは、訪問者ごとに異なるバリアントを表示し、効果を測定します。
A/Bテストにはベータの表示があります。サイドメニューの設定 → A/Bテスト、アドレス/app/abにあります。ワークスペース全体に適用され、各テストは1つのプロジェクトに属します。作成と変更には、プロジェクトの変更権限が必要です。
テストできる内容
テスト対象で、チャットボタン、チャットウィンドウ、または両方を選びます。バリアントごとに、次を変更できます。
- 色 – メインカラー、アクセント、背景、吹き出しの表面色、テキスト、補助テキスト、区切り線に加え、角の丸みとフォント。
- チャットボタン – 形、サイズ、スマートフォン用サイズ、ラベル、2行目、表示、アイコン。
- スタイル – ウィンドウサイズ、サイドパネル、背景、アニメーションなど、チャットウィンドウのすべての設定。
- テキスト – ボタンのラベルと2行目(
launcher.text、launcher.subtext)、ホーム画面のあいさつと入口(home.greeting、home.start、home.start_sub)、ヘッダーのタイトルと2行目(header.title、header.subtitle_online)。各最大300文字。
変更しない項目は、プロジェクトの設定のままです。
テストを作成する
/app/ab/newで設定します。
- 名前(最大120文字)と仮説(最大1,000文字) – 期待する結果と理由。
- バリアント – A~Eの2~5個。Aは常にコントロールで、変更していないプロジェクトです。名前は最大60文字。
- 重み – 各バリアント0~100で、合計100。Aは0より大きい必要があります。
- 参加する訪問者 – 訪問者の1~100%。
- 端末 – すべて、デスクトップのみ、モバイルのみ。
- 言語 – 最大20個。空ならすべて。
- ページ – 「指定ページのみ」と「除外」に各最大20パターン、各200文字まで。「除外」を優先します。
- 主要指標 – 成功の測定基準。
- open – チャットを開いた訪問者の割合。ボタンの直接的な効果です。
- msg – メッセージを書いた訪問者の割合。
- lead – 連絡先(メールアドレス)を残した訪問者の割合。
- goal – 独自の目標を達成した訪問者の割合(下記参照)。
- csat – 肯定的な評価の割合。
- 検出する最小効果 – 1~100%、既定10%。これを基に必要なサンプル数を計算します。
- 終了 – 終了日または訪問者数。
- 結果が明確なら自動終了 – 7日経過後、必要なサンプル数に達した場合だけです。
- 勝ったバリアントをプロジェクトのブランド設定に自動適用 – 勝ったものがプロジェクトの設定になります。
バリアントを変更できるのは下書きだけです。1プロジェクトで同時に実行できるテストは、実行中または一時停止中を合わせて1つです。開始後、1分以内に訪問者へ反映されます。
訪問者への割り当て
サーバーで割り当て、訪問者ごとに固定します。一度Bを見た人は、次回もBを見ます。
スニペットに独自のブランド設定があるページ、つまりdata-rc-brandに色、角の丸み、ボタンの形とサイズ以外を含むページは参加しません。色、フォント、テーマを参照してください。同意を必須にしている場合、同意なしでは何も計上しません。
特定のバリアントを表示する
ウィジェットが動くページのアドレスに?rc_ab=Bを付けると、Bを表示します。この場合は何も計上しません。
https://www.example.com/preise?rc_ab=B
独自の目標を通知する
主要指標のgoalでは、購入後の完了ページなどから目標を通知します。
ReactiveChat('abGoal');
訪問者のバリアントを取得し、独自の分析ツールへ渡すこともできます。
var v = ReactiveChat('abVariant'); // { test, variant, qa } or null
ReactiveChat('on', 'ab', function (e) {
// e.test, e.variant, e.qa
});
ウィジェットの読み込み前に実行される可能性がある場合は、技術的な連携のキューの行を前に置いてください。
結果
/app/ab/{id}/resultsに、バリアントごとに次を表示します。
- 主要指標とその他すべての指標の率
- コントロールAとの差と95%信頼区間
- 複数バリアントの場合、Bonferroni補正付きのp値
- 最良のバリアントである確率
- 訪問者の分布が重みと一致するかの確認
- 検出力80%で必要なサンプル数
数値はCSVでダウンロードできます(/app/ab/{id}/csv)。
テストでデータが集まらない場合
- 実行中ですか? 1プロジェクトで実行できるのは1つだけです。
- ページは一致していますか? 端末、言語、ページのパターンを確認してください。
- スニペットに独自のブランド設定がありますか? そのページは参加しません。
- 同意が「必須」ですか? 同意なしでは計上しません。
?rc_ab=…付きで開きましたか? この場合は意図的に計上しません。
最終更新: