ALF テスト

ALFテストとは？

ルールやナレッジなどのALF設定を変更すると、これまで正しく回答できていたケースでも、意図せず回答内容が変わることがあります。ALFテストは、このような変更による影響を公開前に確認し、必要に応じて改善できる機能です。

あらかじめ作成した顧客シナリオをもとに、ALFが仮想の顧客とシミュレーション形式で会話を行い、設定した評価基準に沿って合格・失敗を自動で判定します。設定を変更するたびに同じテストを繰り返し実行することで、回答品質が維持されているかを一目で比較できます。

テストケースとは、ALFが対応する1つの顧客シナリオを定義したものです。一度作成すると、ALFの設定を変更するたびに繰り返し利用できます。

[顧客] - [サポート] - [AI] - [テスト]を開き、[＋テストケースを追加] をクリックしてください。
以下の項目を入力してください。シナリオやユーザーの最初のメッセージを実際の顧客の話し方に近い形で作成することで、より実際の対応に近いシミュレーションを行えます。
また、よくある問い合わせをあらかじめテストケースとして作成しておくと、設定を変更するたびに重要なシナリオが正しく動作するかを素早く確認できます。

項目	説明	入力例
タイトル	テストケースを識別しやすい名前を入力してください。	導入に関する問い合わせ
シナリオ	テストする状況の文脈と背景を説明します。具体的であるほどテストの品質が高くなります。	・顧客は、Webサイトとモバイルアプリにチャネルトークを導入し、複数のパートナーや従業員とやり取りできる窓口を作りたいと問い合わせます。・エージェントの案内を受けた後、1日の問い合わせ件数、チームメンバー・オペレーター数、自社ECサイトの会員数、利用目的など、プランの提案に必要な情報を提供します。
評価基準	ALFがこの条件を満たした場合、「合格」と判定されます。判定可能な具体的な基準を作成してください。	Webサイトやモバイルアプリへの導入が可能であること、および複数のユーザーとやり取りできる窓口を構築できることを案内する。
ユーザーの最初のメッセージ	テスト実行時に、仮想顧客が最初に送るメッセージです。	こんにちは。導入について教えてください。

登録したテストケースを実行し、ALFが仮想の顧客とシミュレーション形式で会話会話を行います。

テストが完了すると、テストケースごとに以下の結果を確認できます。

結果サマリー：テストケースを複数回実行した結果を集計して表示します。各実行の合格率に応じて、「合格」「注意」「失敗」のいずれかに判定され、判定理由もあわせて確認できます。
- 合格()：合格率が90%以上
- 注意()：合格率が50%以上90%未満
- 失敗()：合格率が50%未満

3回実行した場合の判定例

• 成功3回、失敗0回(合格率100%) → 合格

• 成功2回、失敗1回(合格率67%) → 注意

• 成功1回、失敗2回(合格率33%) → 失敗

• 成功0回、失敗3回(合格率0%) → 失敗

実行ごとの結果：各実行(実行1、実行2…)ごとに、合格・失敗の判定結果とその判定理由、CX Score(5点満点)およびスコアの評価理由を確認できます。
会話を見る：実際に行われたシミュレーション会話を [顧客画面] と [会話ログ] で確認できます。回答がどの部分で、どのように期待どおりでなかったのかを確認できます。

設定を変更した後に同じテストを再実行し、以前の結果と比較することで、どの変更がALFの回答品質に影響したのかを確認できます。

過去の実行履歴は、画面右上の [実行ログ] からいつでも確認できます。

テスト実行時点のALF設定は自動的に保存されるため、どの設定で実行された結果なのかを確認できます。

画面右上の [実行ログ] をクリックすると、これまでのテスト実行履歴を一覧で確認できます。チャネル内のすべてのチームメンバーが実行したテスト結果もあわせて表示されます。

各実行の会話内容と結果は、実行日から90日後に自動で削除されます。設定変更の前後を比較するなど、重要な結果は別途記録しておくことをおすすめします。