Zoom Virtual Agent(以下ZVA)内の音声エージェント、チャットエージェントより、各AIエージェントのパフォーマンスを監視、分析、最適化するための包括的なレポートが提供されます。これらの高度な分析ツールにより、対応率の測定、ナレッジベースの効果把握、エージェントのパフォーマンス評価、個々の顧客エンゲージメントの詳細な分析が可能になり、AIエージェントを継続的な動作改善、業務自動化によるコスト削減効果の定量的な把握に繋がります。
この記事は以下の内容を含んでいます。
前提条件
- アカウントオーナーもしくは管理者権限
- Zoom Virtual Agentライセンス
バーチャルエージェントの分析ページにアクセスする
- ZoomのWebポータルにサインインします。
- ナビゲーションメニューの[個人]の下にある[分析とレポート]をクリックします。
-
[バーチャルエージェント]タブをクリックします。
バーチャルエージェント分析レポート
概要
[概要]タブでは、AIエージェントのパフォーマンスを主要指標で高レベルに要約し、全体的な効果とビジネスへの影響を評価するのに役立ちます。
エンゲージメントの概要
-
開始されたエンゲージメントの総数
指定した期間内におけるエンゲージメントの総数、またエージェント側で処理が完了したエンゲージメントの総数が表示されます。 -
合計自己解決率
これは有人エージェントへのエスカレーション等なく、バーチャルエージェントのみで対応が完了したエンゲージメントが全体に占める割合を表す重要な指標です。この指標が高いほど、効率的にAIを利用し、お客様の問題解決が行えていることになります。 -
コスト削減分析
本セクションでは、以下の項目に基づく推定コスト削減額を自動計算します:- AIで処理されたチャットの総エンゲージメント数、音声エージェントの総通話時間
- 有人エージェントが対応したやりとりにかかる平均コスト
- エンゲージメント対応が成功したことによる予測削減額
これにより、バーチャルエージェントの導入に対するROIの定量化が可能になります。
-
トピック分析
トピック分析はAIを活用して以下を特定します:- 人気トピック:お客様からの問い合わせの際に頻繁に質問されるトピック。
- 解決済みトピック:AIエージェントによって効果的に処理されたトピック。
- エスカレーションされたトピック:頻繁に有人エージェントへエスカレーションされるトピック。このトピックを参考に、AIエージェントがより効率的にエンゲージメントを処理するために必要なスキル、ツール、フローの特定に繋げることができます。
これらの機能は、AIエージェントの調整を行う際にどの点を重視すべきか確認する助けとなります。個々のトピックをクリックするとクエリを確認でき、さらに分析のためにそれらをダウンロードすることも可能です。
バーチャルエージェントのパフォーマンス
[バーチャルエージェントのパフォーマンス]タブでは、個々のエージェントのパフォーマンス指標を詳細に表示し、高パフォーマンスのエージェントの確認、またエージェントのベストプラクティスや改善機会を共有するのに役立ちます。
ツール
このセクションでは、AIエージェントで利用されているツールの詳細が表示されます:
- 呼び出されたユニークツール数:選択された期間でAIエージェントが使用したユニークツールの総数。
- ツールの不具合:期間内に確認された、ツール呼び出しに失敗したケースの総数。
- ツール呼び出し総数:指定された期間中に、ツールの呼び出しが行われた合計回数。
- ツール使用ランキング:全エージェントにおける使用回数上位のツールのランキング。
スキル
このセクションでは、AIエージェントで利用されたスキルの詳細が表示されます:
- ユニークスキル呼び出し数:選択された期間でAIエージェントが使用したユニークスキルの総数。
- スキル呼び出し総数:指定された期間中に、スキルが実行された合計回数。
- スキル使用ランキング:全エージェントにおける使用回数上位のスキルのランキング。
レイテンシー分析
このセクションでは、AIエージェントが消費者の問い合わせに回答するまでの所要時間を表示します。主要指標は以下の通りです:
- P50レイテンシー(中央値):ユーザーが体験する応答時間が表示されます。
- P90レイテンシー:極端な外れ値を除外したうえでのレイテンシーを表示します。
各AIエージェントの対応完了率
このセクションでは、導入済みのAIエージェント全体の対応完了パフォーマンスを表示します。
これらの指標より、例えば以下の視点からエージェントを特定するのに役立ちます。
- エンゲージメントのクローズ率が高いエージェント
- 低遅延かつ良好なお客様サービスを提供しているエージェント
- 最も多くのエンゲージメントに対応し、結果コスト削減への影響も大きいエージェント
最適化のためのエージェントパフォーマンスレポート活用
- トップパフォーマンスのエージェントを特定し、その対応パターンを分析します。
- レイテンシーデータを活用し、必要に応じてエージェント側の応答ワークフローを最適化します。
- 価値が大きいものの十分な活用ができていないツール用にスキルの構築を行います。
- 上手く構成が行えたエージェントを基準に、パフォーマンスベンチマークを作成します。
ナレッジのパフォーマンス
[ナレッジのパフォーマンス]タブでは、どのナレッジベース記事が顧客の問い合わせに効果的に対応しているかを把握することができます。また対応する記事が存在せず、有人エージェントへのエスカレーション対象となったトピックを分析し、どういったコンテンツが不十分かを特定するのにも役立ちます。
エージェントから集計されたナレッジベース指標
このセクションでは、エージェントが行った全てのやり取りから集計された指標を統計的に表示します。
- ナレッジ支援エンゲージメント:少なくとも1回以上ナレッジ検索が行われたエンゲージメントの総数。
- ナレッジ支援によるエンゲージメント率:上述のナレッジ支援エンゲージメント数が全エンゲージメント数に占める割合。
- 参照記事のリーダーボード:全エンゲージメントの中でナレッジベース上の記事が参照された回数。
- エンゲージメントあたりの平均参照記事数:各エンゲージメントで参照された、ナレッジベース上の記事の平均件数。
- 記事フィードバック傾向:ナレッジベース記事に対するユーザーフィードバックを[役立った][役立たない][回答なし]に分類し、グラフ形式で内訳を表示します。
トピック分析
トピック分析はAIを活用し、顧客とのやり取りにおける主要なパターンを特定します。
- トピックに一致した記事:関連するナレッジベース記事へのマッチングに成功した顧客クエリに共通するトピック。
- エスカレーションされたトピック記事:適切なナレッジベース記事が見つからず頻繁に有人エージェントにエスカレーションされるトピック。これにより、現在のナレッジベース内に不足しているコンテンツを確認することができます。
トピック分析により、エージェントとナレッジベースの接続方式を再確認し、構造の最適化に繋げることができます。
ナレッジベースレポートを活用した最適化
- 最も効果的なナレッジベースの記事とその記事のソースを特定します。
- トピック分析からコンテンツの不足箇所を特定、解消します。
- 対話体験の向上のため、各エンゲージメントでAIが複数の記事をどのように組み合わせているかの仕組みを理解します。
- ナレッジベース記事へのフィードバックを活用し、記事の品質と関連性をタイムラインベースで評価します。
クエリに関するインサイト
[クエリに関するインサイト]タブでは、エージェントおよびバーチャルエージェントが対応した顧客クエリの詳細を表示し、クエリの量、処理の効率性、よく聞かれるトピックの把握に役立ちます。
クエリ指標
このセクションでは、選択した日付の範囲とフィルターに基づいて集計された指標の統計を表示します。
- クエリの総数:期間中にお客様から送信されたクエリの総数を示します。前年の同時期と比較してのクエリ数の増減比率も指標として表示されます。
- エンゲージメント当たりの平均問い合わせ数:1回のエンゲージメント対応内で行われたクエリの平均件数を示します。この指標は対話の複雑さを示しており、数値が高いほどエンゲージメント内でのやりとりが長期化し、より詳細な会話が行われていたと判断できます。
-
トピック別パフォーマンス指標
これらのリーダーボードは、問い合わせが異なるトピックにどのように分散し処理されているかを可視化します。- 人気トピックのリーダーボード:総問い合わせ数に占める割合でランク付けされた、頻繁に問い合わせのあるトピックをランキング形式で表示します。これにより、多くの顧客に共通するニーズや需要の高いナレッジの確認が可能です。
- 解決済みトピックのリーダーボード:エスカレーション等行われずクエリが解決されたトピックを表示します。ナレッジベースが網羅している範囲、またバーチャルエージェントの効率性を評価するのに有用です。
- エスカレーションされたトピックのリーダーボード:有人エージェントへのエスカレーションが最も頻繁に求められたトピックをリストアップします。割合の高いトピックについては、不足しているナレッジ記事、またはお客様が抱えている複雑な課題を示している場合があります。
クエリ一致傾向
クエリの分類を日次の時間軸で表示します。カテゴリは以下のとおりです。
- 一致した記事:ナレッジベース記事に正常に一致したクエリ。
- 一致なし:ナレッジベース記事と正常に一致しないクエリ。
- 一致したインテント:事前定義された意図に一致したクエリ。
- 一致した試行なし:システムが一致を試みなかったクエリ(通常は設定やルーティングルールが原因)。
このビューは、現状不足しているナレッジベースのコンテンツ等を継続的に特定するのに役立ちます。
フィードバック
これらの指標はクエリ応答に対するお客様からのフィードバックを反映し、フィードバックタイプの分布を示す円グラフで表示されます。
- 役立った:応答が有用だったとユーザーが示したクエリの割合。
- 役立たない:応答がニーズを満たさなかったとユーザーが示したクエリの割合。
- 回答なし:ユーザーがフィードバックを提供しなかったクエリの割合。
会話の詳細
[会話の詳細]タブでは、特定の顧客とのやり取りを詳細に分析し、各エンゲージメントごとに確認・最適化することを可能にします。
集計されたエンゲージメント指標
このセクションでは、すべてのエンゲージメントにわたる集計統計を表示します。
- 総エンゲージメント数:全体のエンゲージメント数と過去の傾向。
- 複数ターンエンゲージメント:複数回のやり取りが発生したエンゲージメント数。高度または複雑なクエリの把握に有用です。
- 非エンゲージメント離脱数:選択期間中にユーザーからの応答なく終了したエンゲージメントの総数。
- 平均インタラクション時間:エンゲージメント中にお客様とエージェント間で行われたインタラクションの平均対応時間。
- インタラクションの合計時間:ユーザーと仮想エージェントとの間でやり取りが行われた累積時間。エンゲージメントの深刻度、エージェントにかかる負荷の測定に役立ちます。
- ツールの不具合:対象期間中に発生したツール呼び出し失敗の総数。
- 封じ込め率:選択期間中にAIエージェントが有人エージェントへのエスカレーションなしで処理をしたエンゲージメントの割合。
エスカレーションと対話指標
これらの指標は、問い合わせがいつ、なぜエスカレーションされるのか、また顧客との対話に費やされた総時間を把握するのに役立ちます。
- エスカレーション率の推移:選択した期間内に人間エージェントへエスカレーションされた問い合わせの割合を折れ線グラフで表示します。この指標は、エスカレーション件数のパターン、また急増について確認するのに役立ち、トピックの複雑さ、エージェントの指示不足、ナレッジベースコンテンツの不十分な領域を示唆するものです。
- 総対応時間:選択期間内の全エンゲージメント対応の累積時間を時系列で表示します。
-
会話ログ
各エンゲージメントレベルで個々の顧客対応の詳細な記録が表示されます。管理者やスーパーバイザーがトラブルシューティング、品質分析、最適化のために特定の会話を確認できます。
エンゲージメントの録音と文字起こし
詳細分析のために音声エンゲージメントのレコーディングと文字起こし、またチャットエンゲージメントの記録を確認できます。
- エンゲージメント一覧から、一番右側にある音声エンゲージメントの場合は[レコーディングを再生]、チャットエンゲージメントの場合は[文字起こしを表示]をクリックします。
-
[ダウンロード]をクリックし、[録音]または[文字起こし]のいずれかを選択します
- [文字起こし]を選択すると.vtt形式のファイルがダウンロードされます。
- [録音]を選択すると.mp4形式のファイルがダウンロードされます。
エンゲージメントパフォーマンスレポートを活用した最適化
- エンゲージメントに共通するパターンを特定し、所要時間や対応回数の面からいかに成果向上につながるかを把握する。
- 個々のエンゲージメントの音声レコーディング/文字起こしを確認し、エンゲージメントに対応する際のフローを最適化します。
- ツールの利用がどのようにして解決率の向上につながったかを確認します。
コンシューマーエンゲージメントアンケート
[コンシューマーエンゲージメントアンケート]タブでは、アンケートの開始数、回答率、完了率など、異なるエージェントタイプごとの主要な指標を表示します。管理者はエージェント名またはアンケート名で調査を絞り込み、個々のアンケートに対する回答を詳細に確認し、質問と回答の詳細な組み合わせを確認できます。アンケートのパフォーマンスとユーザーフィードバックを分析することで、チームはバーチャルエージェントの対話を最適化し、お客様満足度の測定値を向上させることができます。
AIエージェントの分析レポートをカスタマイズする
- 日付範囲をセレクターで調整し、希望する期間のデータを表示します。
-
レポートの文脈に基づき、チャネル、エージェント、その他の利用可能な条件でレポートをフィルタリングします。
-
[会話の詳細]タブで設定アイコンをクリックし、テーブルビューの表示列をカスタマイズします。
AIエージェントの分析レポートをダウンロードする
- AIエージェントの分析レポートにアクセスします。
- ダッシュボードの任意の表形式データビューで、右上隅の[エクスポート]ボタンをクリックします。
この記事は「Viewing Virtual Agent analytics for Zoom Virtual Agent」を元に作成されました。
__________________________________________________________________________
Zoomに関するご要望はこちらから
今後のコンテンツやサービスの検討のため、ぜひ忌憚なきご意見をお寄せください
※こちらにご記入いただいた内容は外部公開はされません
※お問い合わせフォームではございませんので、回答が必要なご質問については営業/ 当社サポートまでお問い合わせください