규칙이나 지식 등 ALF 설정을 변경하면 기존에 잘 답변하던 케이스도 의도치 않게 달라질 수 있어요. ALF 테스트는 이런 변화를 배포 전에 확인하고 보완할 수 있는 기능입니다.
미리 만들어 둔 고객 시나리오를 바탕으로 ALF가 가상 고객과 시뮬레이션 대화를 나누고, 설정해 둔 평가 기준에 따라 통과/실패를 자동으로 판정해요. 설정을 바꿀 때마다 같은 테스트를 반복 실행하면, 답변 품질이 잘 유지되는지 한눈에 비교할 수 있습니다.
유료 플랜에서 사용할 수 있어요. 다만 실제 ALF 실행은 그로스 플랜 이상부터 가능해요.
'AI 설정' 권한이 있는 팀 멤버가 설정할 수 있어요.
지식, 규칙 등 ALF 세팅을 완료한 상태에서 테스트를 진행해야 의미있는 결과를 얻을 수 있어요.
테스트 케이스는 ALF가 처리해야 할 고객 상황 하나를 정의해 두는 단위예요. 한 번 만들어 두면 ALF 세팅을 바꿀 때마다 반복해서 사용할 수 있습니다.
[고객] - [서포트] - [테스트]에서 [+ 테스트 케이스 추가] 버튼을 클릭해 주세요.
아래 항목을 입력해 주세요. 시나리오와 사용자 첫 메시지를 실제 고객 말투에 가깝게 작성할수록 시뮬레이션이 더 현실적으로 이루어져요. 자주 들어오는 문의 유형부터 테스트 케이스로 만들어 두면, 설정을 바꿀 때마다 핵심 시나리오가 정상 동작하는지 빠르게 확인할 수 있습니다.
항목 | 설명 | 입력 예시 |
제목 | 이 테스트 케이스를 구분할 수 있는 이름을 입력합니다. | 설치 문의 |
시나리오 | 어떤 고객이 어떤 상황에서 문의하는지 설명해요. 구체적으로 작성할수록 테스트 품질이 높아져요. |
|
평가 기준 | ALF가 이 조건을 충족하면 '통과'로 판정해요. 판정할 수 있는 구체적인 기준으로 작성하세요. | 웹사이트 및 모바일 설치와 다수 사용자 소통 창구 구축이 가능한지 여부를 안내한다. |
사용자 첫 메시지 | 테스트가 시작될 때 가상 고객이 보내는 첫 메시지예요. | 안녕하세요, 설치 문의드려요. |
입력이 끝나면 오른쪽 위 [저장] 버튼을 클릭하세요. 항목을 모두 채워야 저장 버튼이 활성화돼요.
등록한 테스트 케이스를 실행해, ALF가 가상 고객과 시뮬레이션 대화를 나누도록 하는 단계예요.
테스트 케이스 목록에서 실행할 케이스를 고르거나, 오른쪽 위 [모두 실행]을 클릭해 전체를 한 번에 실행하세요.
실행이 시작되면 ALF가 가상 고객과 차례대로 시뮬레이션 대화를 진행해요.
실행 도중 설정을 바꿔도 진행 중인 테스트에는 영향을 주지 않아요
테스트 실행이 완료되면 나와의 대화방을 통해 알림을 받게 됩니다.
테스트가 끝나면 케이스별로 아래 결과를 확인할 수 있어요.
결과 요약: 테스트 케이스를 여러 번 실행한 결과를 종합해 표시해요. 각 실행의 통과율에 따라 통과, 주의, 실패로 판정되며, 판정 사유도 함께 확인할 수 있어요.
통과(): 통과율 90% 이상
주의(): 통과율 50% 이상 ~ 90% 미만
실패(): 통과율 50% 미만
3회 실행 기준 예시
• 성공 3, 실패 0 (통과율 100%) → 통과
• 성공 2, 실패 1 (통과율 67%) → 주의
• 성공 1, 실패 2 (통과율 33%) → 실패
• 성공 0, 실패 3 (통과율 0%) → 실패
실행별 결과: 각 실행(실행 1, 실행 2 …)마다 통과, 실패 여부와 그렇게 판정한 평가 사유,CX Score(5점 만점) 와 점수 사유를 확인할 수 있어요.
대화 보기: 실제로 오간 시뮬레이션 대화를 [고객 화면]과 [대화 로그]로 직접 확인할 수 있어, 어디서 어떻게 답변이 어긋났는지 파악할 수 있어요.
설정을 바꾼 뒤 같은 테스트를 다시 실행하고 이전 결과와 비교하면, 어떤 변경이 ALF 답변 품질에 영향을 줬는지 알 수 있어요. 지난 실행 기록은 오른쪽 위 [실행 로그]에서 다시 확인할 수 있습니다. 테스트 실행 시점의 ALF 설정이 자동으로 저장돼, 어떤 설정 상태에서 나온 결과인지 확인할 수 있어요.
화면 오른쪽 위 [실행 로그]를 누르면 지금까지의 테스트 실행 기록을 한 번에 볼 수 있어요. 채널 내 모든 팀 멤버의 실행 결과가 함께 표시돼요.
마지막 실행 일시: 해당 테스트가 실행된 시점
통과율: 그 실행의 전체 통과율
전체 통과율 = 통과 케이스 수 ÷ 전체 케이스 수 × 100
평균 실행 시간: 케이스당 평균 소요 시간
실행자: 테스트를 실행한 팀 멤버
각 시도의 대화 내용과 결과는 실행일로부터 90일 후 자동으로 삭제돼요. 설정 변경 전후 비교처럼 중요한 결과는 따로 기록해 두시길 권장해요.