규칙이나 지식 등 ALF 설정을 변경하면 기존에 잘 답변하던 케이스도 의도치 않게 달라질 수 있어요. ALF 테스트는 이런 변화를 배포 전에 확인하고 보완할 수 있는 기능입니다.
미리 만들어 둔 고객 시나리오를 바탕으로 ALF가 가상 고객과 시뮬레이션 대화를 나누고, 설정해 둔 평가 기준에 따라 통과/실패를 자동으로 판정해요. 설정을 바꿀 때마다 같은 테스트를 반복 실행하면, 답변 품질이 잘 유지되는지 한눈에 비교할 수 있습니다.
유료 플랜에서 사용할 수 있어요. 다만 실제 ALF 실행은 그로스 플랜 이상부터 가능해요.
'AI 설정' 권한이 있는 팀 멤버가 설정할 수 있어요.
지식, 규칙 등 ALF 세팅을 완료한 상태에서 테스트를 진행해야 의미있는 결과를 얻을 수 있어요.
직접 만들기
테스트 케이스는 ALF가 처리해야 할 고객 상황 하나를 정의해 두는 단위예요. 한 번 만들어 두면 ALF 세팅을 바꿀 때마다 반복해서 사용할 수 있습니다.
[고객] - [서포트] - [테스트]에서 [+ 테스트 케이스 추가] 버튼을 클릭해 주세요.
아래 항목을 입력해 주세요. 시나리오와 사용자 첫 메시지를 실제 고객 말투에 가깝게 작성할수록 시뮬레이션이 더 현실적으로 이루어져요. 자주 들어오는 문의 유형부터 테스트 케이스로 만들어 두면, 설정을 바꿀 때마다 핵심 시나리오가 정상 동작하는지 빠르게 확인할 수 있습니다.
항목 | 설명 | 입력 예시 |
제목 | 이 테스트 케이스를 구분할 수 있는 이름을 입력합니다. | 설치 문의 |
시나리오 | 어떤 고객이 어떤 상황에서 문의하는지 설명해요. 구체적으로 작성할수록 테스트 품질이 높아져요. |
|
평가 기준 | ALF가 이 조건을 충족하면 '통과'로 판정해요. 판정할 수 있는 구체적인 기준으로 작성하세요. | 웹사이트 및 모바일 설치와 다수 사용자 소통 창구 구축이 가능한지 여부를 안내한다. |
사용자 첫 메시지 | 테스트가 시작될 때 가상 고객이 보내는 첫 메시지예요. | 안녕하세요, 설치 문의드려요. |
입력이 끝나면 오른쪽 위 [저장] 버튼을 클릭하세요. 항목을 모두 채워야 저장 버튼이 활성화돼요.
상담 내역으로 자동 케이스 만들기
케이스를 하나씩 직접 입력하지 않아도, 최근 90일 이내의 상담 내역을 분석해 자주 들어온 문의를 테스트 케이스로 한 번에 만들 수 있어요. 처음 테스트를 준비할 때 빠르게 환경을 갖출 수 있습니다.
[고객] - [서포트] - [테스트]에서 [상담 기반 케이스 생성] 버튼을 클릭해 주세요.
최근 90일 이내 상담 내역을 분석해 테스트 케이스를 자동으로 만들어요. 최대 50개까지 만들어지고, 기반이 될 상담이 충분하지 않으면 50개보다 적게 만들어질 수 있어요.
이미 등록된 테스트 케이스가 있는 상태에서 [상담 기반 케이스 생성]을 실행하면, 기존 테스트 케이스가 모두 삭제돼요. 남겨두고 싶은 케이스가 있다면 내용을 따로 저장한 뒤 진행해 주세요.
케이스를 만들 때 테스트에 사용할 고객 유형을 함께 지정할 수 있어요. 신규 고객과 기존 고객처럼 안내가 달라지는 상황이라면, 고객 유형별로 케이스를 나눠 ALF 답변을 비교해 볼 수 있습니다.
테스트 케이스에서 설정하고 싶은 특정 상담 상황이 있다면, [고급 설정]을 열어 상담 정보를 직접 수정할 수 있어요.
AI CoS로 만들기
어떤 케이스부터 만들어야 할지 막막하다면, 채널톡의 AI 비서 AI CoS에게 물어볼 수 있어요. 테스트가 처음이거나 어디서 시작할지 모를 때 활용해 보세요.
유저챗 링크를 함께 붙여 "ALF가 이 대화에서 왜 이렇게 답했어?"처럼 질문하면, AI CoS가 상황을 분석해 테스트 케이스 만들기를 도와줍니다.
AI CoS 문의 경로: 채널톡 데스크 화면 상단의 AI CoS 아이콘 혹은 채널톡 데스트의 팀챗, 수신함 화면의 사이드뷰
질문 예시
ALF 세팅을 참고해서 ALF 답변 검증을 위한 테스트를 해볼게. ALF 세팅 기반 테스트 케이스를 먼저 만들고 테스트 케이스 준비가 완료되면 테스트를 실행시켜줘.
등록한 테스트 케이스를 실행해, ALF가 가상 고객과 시뮬레이션 대화를 나누도록 하는 단계예요.
테스트 케이스 목록에서 실행할 케이스를 고르거나, 오른쪽 위 [모두 실행]을 클릭해 전체를 한 번에 실행하세요.
실행이 시작되면 ALF가 가상 고객과 차례대로 시뮬레이션 대화를 진행해요.
실행 도중 설정을 바꿔도 진행 중인 테스트에는 영향을 주지 않아요
테스트 실행이 완료되면 나와의 대화방을 통해 알림을 받게 됩니다.
테스트가 끝나면 케이스별로 아래 결과를 확인할 수 있어요.
결과 요약: 테스트 케이스를 여러 번 실행한 결과를 종합해 표시해요. 각 실행의 통과율에 따라 통과, 주의, 실패로 판정되며, 판정 사유도 함께 확인할 수 있어요.
통과(): 통과율 90% 이상
주의(): 통과율 50% 이상 ~ 90% 미만
실패(): 통과율 50% 미만
3회 실행 기준 예시
• 성공 3, 실패 0 (통과율 100%) → 통과
• 성공 2, 실패 1 (통과율 67%) → 주의
• 성공 1, 실패 2 (통과율 33%) → 실패
• 성공 0, 실패 3 (통과율 0%) → 실패
실행별 결과: 각 실행(실행 1, 실행 2 …)마다 통과, 실패 여부와 그렇게 판정한 평가 사유,CX Score(5점 만점) 와 점수 사유를 확인할 수 있어요.
대화 보기: 실제로 오간 시뮬레이션 대화를 [고객 화면]과 [대화 로그]로 직접 확인할 수 있어, 어디서 어떻게 답변이 어긋났는지 파악할 수 있어요.
설정을 바꾼 뒤 같은 테스트를 다시 실행하고 이전 결과와 비교하면, 어떤 변경이 ALF 답변 품질에 영향을 줬는지 알 수 있어요. 지난 실행 기록은 오른쪽 위 [실행 로그]에서 다시 확인할 수 있습니다. 테스트 실행 시점의 ALF 설정이 자동으로 저장돼, 어떤 설정 상태에서 나온 결과인지 확인할 수 있어요.
화면 오른쪽 위 [실행 로그]를 누르면 지금까지의 테스트 실행 기록을 한 번에 볼 수 있어요. 채널 내 모든 팀 멤버의 실행 결과가 함께 표시돼요.
마지막 실행 일시: 해당 테스트가 실행된 시점
통과율: 그 실행의 전체 통과율
전체 통과율 = 통과 케이스 수 ÷ 전체 케이스 수 × 100
평균 실행 시간: 케이스당 평균 소요 시간
실행자: 테스트를 실행한 팀 멤버
각 시도의 대화 내용과 결과는 실행일로부터 90일 후 자동으로 삭제돼요. 설정 변경 전후 비교처럼 중요한 결과는 따로 기록해 두시길 권장해요.