ルールやナレッジなどのALF設定を変更すると、これまで正しく回答できていたケースでも、意図せず回答内容が変わることがあります。ALFテストは、このような変更による影響を公開前に確認し、必要に応じて改善できる機能です。
あらかじめ作成した顧客シナリオをもとに、ALFが仮想の顧客とシミュレーション形式で会話を行い、設定した評価基準に沿って合格・失敗を自動で判定します。設定を変更するたびに同じテストを繰り返し実行することで、回答品質が維持されているかを一目で比較できます。
有料プランでご利用いただけます。ただし、ALFを実際に公開して利用するには、Growthプラン以上のご契約が必要です。
AI設定権限を持つチームメンバーが設定できます。
ナレッジやルールなどのALF設定を完了した状態でテストを実行してください。ALFの動作をより適切に検証できます。
手動で作成
テストケースは、ALFが対応すべき顧客ケースを1つ定義した単位です。一度作成すれば、ALFの設定を変更するたびに繰り返し利用できます。
[顧客] - [サポート] - [AI] - [テスト]を開き、[＋テストケースを追加] をクリックしてください。
以下の項目を入力してください。シナリオやユーザーの最初のメッセージを実際の顧客の話し方に近い形で作成することで、より実際の対応に近いシミュレーションを行えます。
また、よくある問い合わせをあらかじめテストケースとして作成しておくと、設定を変更するたびに重要なシナリオが正しく動作するかを素早く確認できます。
項目 | 説明 | 入力例 |
タイトル | テストケースを識別しやすい名前を入力してください。 | 導入に関する問い合わせ |
シナリオ | どのようなお客様が、どのような状況で問い合わせるのかを説明します。具体的に記載するほど、テストの品質が高まります。 | ・顧客は、Webサイトとモバイルアプリにチャネルトークを導入し、複数のパートナーや従業員とやり取りできる窓口を作りたいと問い合わせます。 ・エージェントの案内を受けた後、1日の問い合わせ件数、チームメンバー・オペレーター数、自社ECサイトの会員数、利用目的など、プランの提案に必要な情報を提供します。 |
評価基準 | ALFがこの条件を満たした場合、「合格」と判定されます。判定可能な具体的な基準を作成してください。 | Webサイトやモバイルアプリへの導入が可能であること、および複数のユーザーとやり取りできる窓口を構築できることを案内する。 |
ユーザーの最初のメッセージ | テスト実行時に、仮想顧客が最初に送るメッセージです。 | こんにちは。導入について教えてください。 |
入力が完了したら、右上の [保存] をクリックしてください。すべての項目を入力すると、[保存] ボタンが有効になります。
問い合わせ基盤で生成
テストケースを1件ずつ手動で入力しなくても、過去90日以内の問い合わせ履歴を分析し、よくあるお問い合わせをまとめてテストケースとして作成できます。初めてテストを準備する際も、すばやくテスト環境を整えられます。
[顧客] - [サポート] - [AI] - [テスト]を開き、[問い合わせ基盤で生成] をクリックしてください。
過去90日以内の問い合わせ履歴を分析し、テストケースを自動で作成します。最大50件まで作成されますが、元となる問い合わせが十分にない場合は、50件未満となることがあります。
すでにテストケースが登録されている状態で [問い合わせ基盤で生成] を実行すると、既存のテストケースはすべて削除されます。残しておきたいテストケースがある場合は、事前に内容を別途保存してから実行してください。
テストケースの作成時に、テストで使用する顧客タイプも指定できます。新規顧客と既存顧客のように案内内容が異なる場合は、顧客タイプごとにテストケースを分けて作成することで、ALFの回答を比較できます。
テストケースで再現したい特定の問い合わせ状況がある場合は、[詳細設定] を開いて、問い合わせ情報を直接編集できます。
AI CoSで作成
どのようなテストケースを作成すればよいか迷ったら、チャネルトークの「AI CoS」に相談できます。テストを初めて行う場合や、何から始めればよいかわからないときに活用してください。ユーザーチャットのリンクを添えて、「ALFはこの会話でなぜこのように回答したの？」のように質問すると、AI CoSが会話内容を分析し、テストケースの作成をサポートします。
チャネルトークデスク上部のAI CoSアイコン、またはチャネルトークデスクの社内チャット・受信トレイ画面のサイドビューから利用できます。
質問例
ALFの設定を参考に、ALFの回答を検証するためのテストを実施したいです。ALFの設定をもとにテストケースを作成し、テストケースの準備が完了したらテストを実行してください。
登録したテストケースを実行し、ALFが仮想の顧客とシミュレーション形式で会話会話を行います。
テストケース一覧から実行するテストケースを選択するか、画面右上の [すべて実行] をクリックして、すべてのテストケースを一括で実行してください。
実行を開始すると、ALFが仮想の顧客と順番にシミュレーション形式で会話を行います。
実行中に設定を変更しても、進行中のテストには影響しません。
テストの実行が完了すると、自分とのチャットルームに通知が届きます。
テストが完了すると、テストケースごとに以下の結果を確認できます。
結果サマリー： テストケースを複数回実行した結果を集計して表示します。各実行の合格率に応じて、「合格」「注意」「失敗」のいずれかに判定され、判定理由もあわせて確認できます。
合格()：合格率が90%以上
注意()：合格率が50%以上90%未満
失敗()：合格率が50%未満
3回実行した場合の判定例
• 成功3回、失敗0回(合格率100%) → 合格
• 成功2回、失敗1回(合格率67%) → 注意
• 成功1回、失敗2回(合格率33%) → 失敗
• 成功0回、失敗3回(合格率0%) → 失敗
実行ごとの結果：各実行(実行1、実行2…)ごとに、合格・失敗の判定結果とその判定理由、CX Score(5点満点)およびスコアの評価理由を確認できます。
会話を見る：実際に行われたシミュレーション会話を [顧客画面] と [会話ログ] で確認できます。回答がどの部分で、どのように期待どおりでなかったのかを確認できます。
設定を変更した後に同じテストを再実行し、以前の結果と比較することで、どの変更がALFの回答品質に影響したのかを確認できます。
過去の実行履歴は、画面右上の [実行ログ] からいつでも確認できます。
テスト実行時点のALF設定は自動的に保存されるため、どの設定で実行された結果なのかを確認できます。
画面右上の [実行ログ] をクリックすると、これまでのテスト実行履歴を一覧で確認できます。チャネル内のすべてのチームメンバーが実行したテスト結果もあわせて表示されます。
実行日時：そのテストを実行した日時
合格率：その実行における全体の合格率
全体の合格率 = 合格したテストケース数 ÷ 全テストケース数 × 100
平均実行時間：テストケース1件あたりの平均実行時間
実行者：テストを実行したチームメンバー
各実行の会話内容と結果は、実行日から90日後に自動で削除されます。設定変更の前後を比較するなど、重要な結果は別途記録しておくことをおすすめします。