レポート
会話、待ち時間、引き継ぎ、評価の主要指標、不満レーダー、自動品質評価、エラー事例、A/Bテスト、成果、閲覧ログを説明します。
アカウント上部のレポート(/app/reports)では、プロジェクトで起きたことや、顧客の待ち時間を確認できます。プロジェクトを閲覧できる人は、レポートも閲覧できます。
概要
上部で期間(7日、30日、90日)と、プロジェクトまたはすべてのプロジェクトを選びます。比較対象は常に、その直前の同じ長さの期間です。時刻はすべてUTCです。
主要指標は次のとおりです。
- 会話
- 引き継ぎなしで解決 – 人間への引き継ぎなしで対応できた会話の割合
- 最初の返信 – 通常はアシスタントの返信で、中央値とp90(会話の90%はこれより早く返信)を表示
- 人間による最初の返信 – チームの担当者が最初に返信するまでの時間。同じく中央値とp90を表示
- 肯定的な評価 – 肯定的な評価の割合
さらに、日別の会話、時間帯別の会話、状態(対応中、ボット対応中、待機中、担当者不在、割り当て済み、終了)のグラフと、ボットが確信を持てなかった、顧客が人間を希望した、受付時間外、ルールによる、という引き継ぎの理由が表示されます。
会話、訪問者、チーム、AIとナレッジ、不満レーダーのタブには、オペレーター、上位ページ、流入元とキャンペーン、国、端末、ブラウザー、言語、チャネル、ナレッジベースの状態などのタイルが表示されます。タイルを選択で表示内容を設定します。選択はワークスペース全体に適用されます。絞り込みでは、チャネル、状態、国、端末、ブラウザー、ページ、オペレーターで絞り込めます。
CSVでダウンロードは、同じ絞り込み条件でエクスポートします(セミコロン区切り、UTF-8)。すべてのエクスポートを、ワークスペースの監査ログに記録します。
期間が非常に長い場合は、直近の会話を表示し、その旨を案内します。
レポートでオペレーターを実名で表示するか、仮名化するか、個別には表示しないかは、所有者がセキュリティで決めます(チーム、アカウント、セキュリティを参照)。
不満レーダー
不満レーダータブ(「顧客がつまずく場所」)には、不満のシグナルが多いWebサイトのページを表示します。連続クリック、JavaScriptエラー、離脱の意図、無操作、購入意図を数えます。訪問者・種類・ページごとに10分間で最大1回計上します。連続クリックとエラーに最も大きな重みを付けます。
各ページについて、前週との傾向の比較、その後に会話が始まった回数、訪問者が離れた回数が分かります。よくある話題は、タグや最初のメッセージを基に、AIを使わず会話の話題をまとめます。週次メールもここで有効にします(対応状況、折り返し電話、通知を参照)。
品質(AutoQA)
/app/reports/qualityでは、訪問者がアンケートに答えなくても、終了した各会話に1~5のスコアを付けます。解決(2倍の重み)、返信時間、口調、ボットの引き継ぎを評価します。訪問者が肯定的に評価した場合は最低4、否定的に評価した場合は最高2です。
- 会話が終了するか、6時間動きがないと評価します。訪問者が戻る可能性を考慮し、スコアは72時間暫定のままです。
- ページには、評価済みの会話、平均、ボットと人間の内訳、分布、各基準の平均が表示されます。
- オペレーター別の表を閲覧できるのは、所有者と管理者だけです。オペレーター別の評価は完全に無効にできます。その場合、誰が会話を担当したかも保存しません。ページには、チームへの周知と、該当する場合は従業員代表組織の関与を促す案内が表示されます。
- 有料プランでは、ボットだけで対応した会話について、AIによる評価も利用できます。AIの利用枠に計上されます。
個別の会話のスコアは、オペレーター画面の状況情報欄でも確認できます。
エラー事例
エラー事例(/app/errors)には、訪問者がWebサイトで実際に遭遇したJavaScriptエラーをグループ化し、ブラウザー、ページ、スタックとともに表示します。発生頻度または最終発生日時で並べ替えられます。
事例には、関連する会話が表示され、訪問者の同意があればセッション録画の該当箇所も表示されます。GitHubやJiraとの連携があれば、ここから課題を作成できます。その際、録画のアドレスは送信しません。事例は、最後に検出されてから90日後に期限切れになります。
訪問者がチャットの前にこのようなエラーに遭遇していた場合、オペレーター画面のエラー事例カードに表示されます。
A/Bテスト(ベータ版)
A/Bテスト(/app/ab)では、チャットボタン、チャットウィンドウ、または両方のバリアントを比較できます。形、サイズ、ラベル、アイコン、色、テキスト、レイアウト、アニメーションが対象です。プロジェクトを閲覧できる人はテストを閲覧でき、所有者と管理者は作成、開始、適用できます。
主な点は次のとおりです。
- 1プロジェクトで同時に実行できるテストは1つで、バリアントは2~5個です。バリアントAは、変更していないコントロールです。
- 参加する訪問者の割合、端末、言語、ページと、測定対象(チャットを開く、メッセージ、連絡先、独自の目標、肯定的な評価)を選びます。
- 結果には、率、差、信頼区間、確率、必要なサンプル数を、デスクトップとモバイルに分けて表示します。結果ページには、CSVエクスポートと、勝ったバリアントをプロジェクトのブランド設定にする適用があります。希望すれば、両方を自動実行できますが、開始から少なくとも7日後です。
- 開始後は、バリアントや対象グループを変更できません。変更するには複製します。
- プロジェクトで同意を必須にしている場合、同意がなければ何も計上しません。
テストの作成とバリアントのデザイン方法は、カスタマイズで説明しています。
成果
/app/projects/…/value(成果と業種別パック)では、7日、30日、90日の期間について、問い合わせ、顧客が解決を確認した件数、未解決と再開の件数、アシスタントのアクションの結果別内訳、サービス目標の違反を確認できます。成果レポートをダウンロードは、数値をJSONで出力します。ページ自体にも、技術的な成功だけでは顧客満足を証明できない旨が表示されます。
業種別パック(オンラインショップ、ソフトウェアとSaaS、サービス事業者)では、アシスタントのテスト実行に適した質問を追加できます。
プロモーションカード
チャット内でプロモーションカードが表示された回数とクリックされた回数は、その設定のすぐ横に表示されます。チャット内のプロモーションカードを参照してください。
閲覧ログ
Agencyプランでは、オペレーター画面、ライブコンソール、AIログで、誰がいつどの会話を開いたか、どのエクスポートに含めたかをreactive.chatが記録します。所有者と管理者は、/app/projects/…/read-logや、オペレーター画面の閲覧者カードで確認でき、絞り込みとCSVエクスポートを利用できます。保存するのは、人、会話、時刻、経路で、IPアドレスは保存しません。Agencyプラン以外では何も記録しません。
一方、ワークスペースで変更した内容は、セキュリティの監査ログに記録します。チーム、アカウント、セキュリティを参照してください。
最終更新: