사용자 가이드

thumbnail

ALF 테스트

ALF를 실행하기 전 주요 고객 시나리오를 미리 실행해 답변 품질과 태스크 동작까지 확인할 수 있는 기능이에요. 배포 전에 문제를 미리 발견할 수 있어 검증에 드는 시간과 부담을 크게 줄여줍니다.

규칙이나 지식 등 ALF 설정을 변경하면 기존에 잘 답변하던 케이스도 의도치 않게 달라질 수 있어요. ALF 테스트는 이런 변화를 배포 전에 확인하고 보완할 수 있는 기능입니다.

미리 만들어 둔 고객 시나리오를 바탕으로 ALF가 가상 고객과 시뮬레이션 대화를 나누고, 설정해 둔 AI 평가 기준과 동작 검증에 따라 통과/실패를 자동으로 판정해요. 설정을 바꿀 때마다 같은 테스트를 반복 실행하면, 답변 품질이 잘 유지되는지 한눈에 비교할 수 있습니다.

  • 유료 플랜에서 사용할 수 있어요.

  • 'AI 설정' 권한이 있는 팀 멤버가 설정할 수 있어요.

  • 지식, 규칙 등 ALF 세팅을 완료한 상태에서 테스트를 진행해야 의미있는 결과를 얻을 수 있어요.

  • 보이스 ALF도 테스트할 수 있어요. 테스트할 서비스에서 ‘전화’를 선택해 주세요. (적용일: 2026년 8월 27일 이후)

  • 테스트 케이스 하나에는 테스트할 서비스를 하나만 고를 수 있어요. ‘채널톡 메시지’, ‘전화’, ‘이메일’, 채널에 연동된 앱 중에서 골라요. (적용일: 2026년 11월 4일 이후)

  • 테스트를 위해서는 해당 서비스에 최근 90일 이내 상담 100건 이상이 쌓여 있어야 상담 기반 자동 생성을 사용할 수 있어요.

AI 에디션에서는 플랜에 따라 ALF 테스트를 실행할 수 있는 횟수가 달라요.

  • 무료+ 플랜: 이용할 수 없어요.

  • 14일 체험 · 스타트업 플랜: 하루 50회, 월 250회까지

  • 비즈니스 · 엔터프라이즈 플랜: 하루 200회, 월 1,000회까지

자세한 플랜별 이용 범위와 한도는 [플랜별 기능 및 한도]에서 확인해 주세요.

테스트 케이스를 만드는 방법은 세 가지예요. 아래 3가지 중 상황에 맞는 방법을 선택해 주세요.

  1. 상담 내역으로 자동 케이스 만들기

  2. AI CoS로 만들기

  3. 직접 만들기

    → (좋은 테스트 케이스 작성 팁 을 참고하면 완성도 높은 테스트 케이스를 만들 수 있어요.)

케이스를 하나씩 직접 입력하지 않아도, 최근 90일 이내의 상담 내역을 분석해 자주 들어온 문의를 테스트 케이스로 한 번에 만들 수 있어요. 처음 테스트를 준비할 때 빠르게 환경을 갖출 수 있습니다.

  1. [고객] - [서포트] - [테스트]에서 [상담 기반 케이스 생성] 버튼을 클릭해 주세요.

  2. 어떤 서비스의 케이스를 생성할지 묻는 창이 나타나요. 채널톡 메시지 / 전화 중 하나만 선택하거나 둘 다 선택할 수 있어요.

    • 하나만 선택 → 선택한 서비스의 케이스만 생성돼요.

    • 둘 다 선택 → 채널톡 메시지용, 전화용 케이스가 각각 따로 생성돼요. 채널별 상담 유형과 건수에 따라 서비스별로 생성되는 케이스 개수는 다를 수 있어요.

  3. 채널톡 메시지의 경우 최근 90일 이내 상담 내역을 분석해 테스트 케이스를 자동으로 만들어요. 최대 100개까지 만들수있습니다. 다만, 상담의 갯수와 유형에 따라 생성될 케이스의 수가 달라져요.

  4. 전화와 채널톡 메시지 둘 다 90일 이내에 상담 내역이 100개 이하인 경우 선택이 불가능합니다.

  5. 이미 등록된 테스트 케이스가 있는 상태에서 [상담 기반 케이스 생성]을 실행하면, 새로 생성된 케이스가 기존 케이스 목록에 그대로 추가됩니다.

  • 케이스를 만들 때 테스트에 사용할 고객 유형을 함께 지정할 수 있어요. 신규 고객과 기존 고객처럼 안내가 달라지는 상황이라면, 고객 유형별로 케이스를 나눠 ALF 답변을 비교해 볼 수 있습니다.

  • 테스트 케이스에서 설정하고 싶은 특정 상담 상황이 있다면, [고급 설정]을 열어 상담 정보를 직접 수정할 수 있어요.

AI CoS는 AI 에디션 유료 플랜 구독 후 AI 시트를 이용하는 팀 멤버만 사용할 수 있어요.

어떤 케이스부터 만들어야 할지 막막하다면, 채널톡의 AI 비서 AI CoS에게 물어볼 수 있어요. 테스트가 처음이거나 어디서 시작할지 모를 때 활용해 보세요.

유저챗 링크를 함께 붙여 "ALF가 이 대화에서 왜 이렇게 답했어?"처럼 질문하면, AI CoS가 상황을 분석해 테스트 케이스 만들기를 도와줍니다.

  • AI CoS 문의 경로: 채널톡 데스크 화면 상단의 AI CoS 아이콘 혹은 채널톡 데스트의 팀챗, 수신함 화면의 사이드뷰

질문 예시

ALF 세팅을 참고해서 ALF 답변 검증을 위한 테스트를 해볼게. ALF 세팅 기반 테스트 케이스를 먼저 만들고 테스트 케이스 준비가 완료되면 테스트를 실행시켜줘.

테스트 케이스는 ALF가 처리해야 할 고객 상황 하나를 정의해 두는 단위예요. 한 번 만들어 두면 ALF 세팅을 바꿀 때마다 반복해서 사용할 수 있습니다.

  1. [고객] - [서포트] - [테스트]에서 [+ 테스트 케이스 추가] 버튼을 클릭해 주세요.

  2. 아래 항목을 입력해 주세요. 시나리오와 사용자 첫 메시지를 실제 고객 말투에 가깝게 작성할수록 시뮬레이션이 더 현실적으로 이루어져요. 자주 들어오는 문의 유형부터 테스트 케이스로 만들어 두면, 설정을 바꿀 때마다 핵심 시나리오가 정상 동작하는지 빠르게 확인할 수 있습니다.

항목

설명

입력 예시

제목

이 테스트 케이스를 구분할 수 있는 이름을 입력합니다.

설치 문의

테스트할 서비스

이 케이스로 테스트할 서비스를 하나 골라요. 목록에서 ‘채널톡 메시지’, ‘전화’, ‘이메일’, 채널에 연동된 앱 중에서 선택할 수 있어요. 고른 서비스로 3회 실행해요.

채널톡 메시지

사용자 첫 메시지

테스트가 시작될 때 가상 고객이 보내는 첫 메시지예요.

안녕하세요, 설치 문의드려요.

시나리오

어떤 고객이 어떤 상황에서 문의하는지 설명해요. 구체적으로 작성할수록 테스트 품질이 높아져요.

  • 고객은 웹사이트와 모바일에 앱을 설치하고 다수의 파트너 및 직원들과 소통할 수 있는 창구를 만들고 싶다고 문의한다.

  • 에이전트의 안내를 받은 후, 고객은 하루 상담량, 팀 멤버/상담원 수, 자사몰 회원 수, 활용 방향 등 플랜 추천에 필요한 정보를 제공한다.

AI 평가 기준

ALF가 이 조건을 충족하면 '통과'로 판정해요. 판정할 수 있는 구체적인 기준으로 작성하세요.

다만, 동작 검증을 추가했다면 비워둘 수 있습니다.

웹사이트 및 모바일 설치와 다수 사용자 소통 창구 구축이 가능한지 여부를 안내한다.

  1. 입력이 끝나면 오른쪽 위 [저장] 버튼을 클릭하세요. AI 평가 기준과 동작 검증을 둘 다 비우면 저장할 수 없어요.

케이스를 만들 때 ALF의 답변뿐 아니라 태스크가 실제로 실행됐는지까지 확인할 수 있어요. 테스트를 실행하는 조건도 케이스마다 직접 정할 수 있어요.

아래 4가지 추가 설정 중 필요한 설정만 골라 추가해 주세요.

  • 동작 검증 추가하기

  • [고급 설정] - 테스트 시간 정하기

  • [고급 설정] - 함수 실행 결과 정하기

  • [고급 설정] - 상담사 승인 응답 정하기

4-1. 동작 검증 추가하기

동작 검증은 [태스크 실행, 태스크 완료, 고객·상담 정보, 함수 호출] 총 4가지를 추가할 수 있어요. 추가한 항목이 모두 통과해야 성공으로 판정됩니다.

동작 검증은 대화 내용이 아닌 실제로 일어난 동작을 확인합니다. 테스트 기록과 내가 동작 검증에서 추가한 동작을 비교해서 통과·실패를 가려요.

  • 예를 들어 [동작 검증] - [+ 검증 추가] - [태스크 실행] 추가 후 ‘태스크 A’를 설정한 경우,

    ALF가 대화 내에서 어떻게 응대했는지와는 상관없이 ‘태스크 A’가 실제로 실행되었다면 통과입니다.

동작 검증을 추가하는 방법

  1. 테스트 케이스 화면 하단에서 동작 검증 > [+검증 추가] 버튼을 눌러주세요

  1. 확인할 항목을 고르고, 대상 태스크 · 고객·상담 정보 · 호출 함수와 조건을 입력 후 [적용]을 눌러주세요.

테스트에서는 실제 함수가 실행되지 않아요. 정해 둔 결과나 AI가 만든 결과를 써서, 실제 주문이나 고객 정보는 바뀌지 않아요.

4-2. 테스트 시간 정하기

운영시간이나 공휴일에 따라 달라지는 응대를 확인할 때 써요. [고급 설정] - [테스트 시간]에서 실행 시간과 시간 지정 중 하나를 골라 주세요.

시간 지정을 고르면 날짜, 시간, 시간대를 직접 정할 수 있어요.

예를 들어 운영 시간이 오후 6시까지인 채널에서 오후 9시에 테스트하면, 운영 중일 때의 응대를 확인하기 어려워요. 이때 테스트 시간을 오후 4시로 지정하면 운영 중 응대를 그대로 확인할 수 있어요.

4-3. 함수 실행 결과 정하기

[고급 설정] - [함수 실행 결과]에서 함수가 돌려줄 값을 테스트 케이스마다 정해둘 수 있습니다.

[+ 실행 결과 추가]로 함수를 고르고 실행 결과에 값을 적어 두면, 테스트에서 그 함수는 적어 둔 값을 돌려줘요. 값은 JSON으로 입력해요.

테스트에서는 실제 데이터를 쓰지 않아요. 실행 결과 JSON으로 값을 별도로 적어두지 않아도 됩니다. 이 경우, AI가 함수 설명과 시나리오를 보고 결과를 대신 만들어 줍니다.

값을 적어 둔 함수만 그 값을 돌려줘요. 나머지 함수는 AI가 결과를 만들기 때문에, 같은 앱 안에서도 결과가 서로 안 맞을 수 있어요.

예를 들어 주문 조회 함수에만 값을 적어 두면, 배송 조회 결과는 AI가 만든 값이라 주문 내용과 다를 수 있어요.

4-4. 상담사 승인 응답 정하기

태스크에 상담사 승인 단계가 있다면, 승인 단계에 도달했을 때 대신 눌러 줄 버튼을 미리 정해 둘 수 있어요. [고급 설정] - [상담사 승인 응답]에서 [+ 승인 응답 추가]를 눌러 태스크와 버튼을 순서대로 골라 주세요.

버튼을 정하지 않은 승인 단계는 AI가 시나리오를 보고 버튼을 골라 끝까지 진행해요. 시나리오에 언급이 없으면 ‘승인’을 눌러요. 정한 버튼이 승인 단계에 없을 때만 승인 대기에서 멈춰요. (예: 케이스를 만든 뒤 Task에서 버튼을 지운 경우) 승인 대기 자체는 실패가 아닙니다.

등록한 테스트 케이스를 실행해, ALF가 가상 고객과 시뮬레이션 대화를 나누도록 하는 단계예요.

  1. 테스트 케이스 목록에서 실행할 케이스를 고르거나, 오른쪽 위 [모두 실행]을 클릭해 전체를 한 번에 실행하세요.

  2. 실행이 시작되면 ALF가 가상 고객과 차례대로 시뮬레이션 대화를 진행해요.

    • 실행 도중 설정을 바꿔도 진행 중인 테스트에는 영향을 주지 않아요

  3. 테스트 실행이 완료되면 나와의 대화방을 통해 알림을 받게 됩니다.

테스트가 끝나면 케이스별로 결과 화면에서 아래 내용을 확인할 수 있어요.

  • 결과 요약: 테스트 케이스를 여러 번 실행한 결과를 종합해 표시해요. 3회 실행 중 통과한 횟수에 따라 통과, 주의, 실패로 판정되며, 판정 사유도 함께 확인할 수 있어요.

    • 통과(): 3회 모두 통과

    • 주의(): 3회 중 2회 통과

    • 실패(): 3회 중 1회 이하 통과

  • 실행 조건: 이 케이스에 정해 둔 테스트 시간, 함수 실행 결과, 상담사 승인 응답을 한눈에 볼 수 있어요.

  • 실행 목록: 실행마다 통과·실패 여부를 볼 수 있어요. 실행을 누르면 [대화 보기] 화면에서 아래 내용을 보다 자세히 확인할 수 있어요.

    • 대화 내용: 실제로 오간 시뮬레이션 대화

    • 판정 결과: 동작 검증 항목마다 통과인지 실패인지 · AI 평가 내용 · CX Score 점수와 그 이유

    • 호출 기록: 테스트 중 함수와 상담사 승인 요청이 호출된 기록

3회 실행 기준 예시

• 성공 3, 실패 0 → 통과

• 성공 2, 실패 1 → 주의

• 성공 1, 실패 2 → 실패

• 성공 0, 실패 3 → 실패

설정을 바꾼 뒤 같은 테스트를 다시 실행하고 이전 결과와 비교하면, 어떤 변경이 ALF 답변 품질에 영향을 줬는지 알 수 있어요. 지난 실행 기록은 오른쪽 위 [실행 로그]에서 다시 확인할 수 있습니다. 테스트 실행 시점의 ALF 설정이 자동으로 저장돼, 어떤 설정 상태에서 나온 결과인지 확인할 수 있어요.

화면 오른쪽 위 [실행 로그]를 누르면 지금까지의 테스트 실행 기록을 한 번에 볼 수 있어요. 채널 내 모든 팀 멤버의 실행 결과가 함께 표시돼요.

  • 마지막 실행 일시: 해당 테스트가 실행된 시점

  • 통과율: 그 실행의 전체 통과율

    • 전체 통과율 = 통과 케이스 수 ÷ 전체 케이스 수 × 100

  • 평균 실행 시간: 케이스당 평균 소요 시간

  • 실행자: 테스트를 실행한 팀 멤버

  1. 각 시도의 대화 내용과 결과는 실행일로부터 90일 후 자동으로 삭제돼요. 설정 변경 전후 비교처럼 중요한 결과는 따로 기록해 두시길 권장해요.

  2. 케이스 하나에는 테스트할 서비스를 하나만 고를 수 있어요.

  3. 테스트에서는 운영시간 밖에도 ALF가 상담원 연결을 할 수 있어요. 실제 상담에서는 부재 중 연결 설정이 없으면 연결하지 않아요.

  4. 태스크에 코드 단계가 있어도, 함수 실행 결과나 상담사 승인 응답처럼 케이스마다 코드 단계의 동작을 정해 둘 수는 없어요.

  5. 상담 내역 기반 생성시 ‘채널톡 메시지’와 ‘전화’를 함께 선택해 만들면 목록에서 ‘채널톡 메시지’ 케이스와 ‘전화’ 케이스 2개로 나뉘어져 만들어져요. (2026년 11월 4일 이전에 수동 생성으로 ‘채널톡 메시지’와 ‘전화’를 함께 선택해 만든 케이스도 포함됩니다)

    1. 전화 케이스 이름 뒤에는 채널 언어에 따라 한국어는 ‘(전화)', 일본어는 ‘(電話)', 그밖의 언어는 ‘(Phone)’이 붙습니다.

    2. 2026년 11월 4일 이전에 ‘채널톡 메시지’와 ‘전화’를 함께 선택하여 만들어진 실행 기록은 자동으로 나뉘지 않고 그대로 남습니다.

  6. 케이스가 나뉘면 케이스가 하나씩 늘어나요. 케이스는 채널당 최대 100개라서, 100개를 넘으면 기존 케이스를 지워야 새 케이스를 만들 수 있어요.

1. 핵심 흐름만 담으세요.

시나리오가 단순할수록 의도한 흐름대로 시뮬레이션이 재현될 확률이 높아요.

AI는 같은 시나리오를 줘도 실행할 때마다 조금씩 다르게 반응하는 특성이 있는데, 시나리오가 복잡할수록 이 차이가 두드러져서 예상 밖의 방향으로 흘러가기 쉬워요.

(좋은 예 ) 핵심만 포함한 시나리오

Plaintext
  1. 고객은 배송 조회를 요청한다.
  2. 에이전트의 안내를 받은 후, 고객은 주문번호를 제공한다.

(나쁜 예 ) 너무 복잡한 시나리오

Plaintext
  1. 고객은 배송 조회를 요청한다.
  2. 상담원이 주문번호를 묻자 고객이 헷갈려하며 이전 주문과 혼동한다.
  3. 상담원이 재차 확인을 요청한다.
  4. 고객이 정확한 주문번호를 찾아 제공한다.
  5. 고객은 배송 조회 결과에 안도한다.

2. 시나리오는 단계별로 나누어, 번호를 매긴 뒤 줄바꿈(엔터)으로 구분하여 작성하세요.

  • 전체 시나리오 흐름을 번호 목록으로 나누면, 원하는 순서대로 시뮬레이션이 전개될 확률이 높아져요.

  • 한 단계에서는 고객의 행동이 하나만 나오게 하세요.

  • 각 단계의 기본 형식은 "고객은 (행동)한다." 또는 "에이전트의 안내를 받은 후, 고객은 (행동)한다." 두 가지예요.

    두 번째 형식에서 "에이전트의 안내를 받은 후"는 그대로 두고, 에이전트가 구체적으로 뭐라고 안내하는지는 쓰지 않는 것을 권장합니다.

(좋은 예 )

Plaintext
  1. 고객은 배송 조회를 요청한다.
  2. 에이전트의 안내를 받은 후, 고객은 주문번호를 제공한다.

(나쁜 예 ) 한 단계에 두 행동이 섞임

Plaintext
  1. 고객은 배송 조회를 요청하고, 주문번호를 물어보면 바로 제공한다.

3. 고객의 행동만 쓰고, 에이전트가 어떻게 답할지는 미리 짐작해서 넣지 마세요.

실제 고객은 ALF가 어떤 답을 줄지 모르는 상태로 대화를 시작해요. ALF의 답변 내용을 미리 전제로 한 단계를 넣으면, 시나리오 자체가 특정 결과를 가정하게 돼서 시뮬레이션이 부자연스러워지고 평가도 왜곡돼요.

(좋은 예 ) ALF의 대응 결과에 상관없이 이어지는 고객의 행동 흐름만 남김

Plaintext
  1. 고객은 환불을 요청한다.
  2. 에이전트의 안내를 받은 후, 고객은 상담원 연결을 요청한다.

(나쁜 예 ) ALF의 대응 방식이 시나리오에 드러남

Plaintext
  1. 고객은 환불을 요청한다.
  2. 에이전트는 환불 정책을 안내하고, 고객에게 주문번호를 물어본 뒤, 고객은 자신의 주문번호를 제공한다.

4. 테스트하고 싶은 태스크가 있는 경우, 태스크 트리거 조건을 시나리오 안에 상황으로 풀어서 설명하세요.

태스크는 특정 조건이 충족돼야 실행되는데, 시나리오에 그 조건이 상황으로 드러나 있지 않으면 시뮬레이션 중 ALF가 아예 그 태스크를 실행하지 않을 수 있어요.

태스크 트리거 조건이 특정 유저 속성(요금제, 가입 기간, 지역 등)에 따라 갈리는 경우, 고급 설정에서 그 조건에 맞는 유저를 지정해 주세요.

(좋은 예 ) 해외 배송 통관 조회에 대한 태스크가 있는 경우

Plaintext
  # 시나리오
  1. 고객은 해외 배송 상품의 통관 지연 여부를 문의한다.

  # 고급 설정
  "해외 배송 이용 고객" 속성을 가진 유저로 지정

(나쁜 예 ) 트리거 조건을 잘 설정하지 않은 경우

Plaintext
  # 시나리오
  1. 고객은 배송이 왜이렇게 늦는지 문의한다

  # 고급 설정
  (없음)

1. AI 평가 기준은 줄바꿈(엔터)으로 구분해서 여러 개를 작성할 수 있어요.

여러 판정 포인트를 한 줄에 몰아 쓰지 말고, 줄을 나눠서 각각 하나의 기준으로 작성하세요.

결과를 볼 때도 어떤 기준이 통과/실패했는지 항목별로 명확하게 확인할 수 있어요.

2. 하나의 AI 평가 기준에는 하나의 판정 포인트만 담으세요.

여러 내용을 한 기준에 섞으면 어느 부분 때문에 실패했는지 구분할 수 없어요.

(좋은 예 )

Plaintext
  배송 예정일을 안내한다 (#1)
  배송 경로를 안내한다 (#1)

(나쁜 예 ) 한 기준 안에 여러 내용 기재

Plaintext
  배송 예정일과 배송 경로, 담당 택배사를 안내한다 (#1)

3. AI 평가 기준 각 항목 끝에는 (#1), (#2)처럼 시나리오 몇 번째 단계에 대한 평가인지 표시할 수 있어요.

특정 단계를 거치지 않고도 ALF가 상담을 성공적으로 마무리하는 경우가 있는데, 이때 단계 번호를 표시해두면 실제로 일어나지 않은 단계에 대한 기준은 채점에서 자동으로 제외돼요.

Plaintext
  # 시나리오
  1. 고객은 환불을 요청한다.
  2. 에이전트의 안내를 받은 후, 고객은 상담원 연결을 요청한다.

  # AI 평가 기준
  환불 가능 여부를 안내한다 (#1)
  상담원 연결 요청을 수락한다 (#2)

4. 시나리오에서 고객이 "직접" 요청한 내용만 AI 평가 기준에 담으세요.

시나리오에 없는 내용을 AI 평가 기준에 넣으면, 실제로는 고객이 묻지도 않은 것을 안내하지 못했다는 이유로 케이스가 실패 처리될 수 있어요.

(좋은 예 )

Plaintext
  # 시나리오
  1. 고객은 배송 조회를 요청한다

  # AI 평가 기준
  배송 조회 결과를 안내한다.

(나쁜 예 ) 시나리오에 없는 "반품 정책"을 안내할 것을 기준에 넣음

Plaintext
  # 시나리오
  1. 고객은 배송 조회를 요청한다

  # AI 평가 기준
  배송 조회 결과를 안내한다.
  반품 정책도 안내한다

5. "어떻게" 안내하는지보다 "무엇을" 안내하는지로 작성하세요.

특정 전달 방법이나 수단을 기준으로 못박으면, ALF가 다른 방식으로 똑같이 잘 안내해도 실패로 판정될 수 있어요.

  • (좋은 예 ) 요금제를 안내한다

  • (나쁜 예 ) 요금제 비교표를 첨부한다

6. 날짜·금액·채널명 같은 구체적인 값 대신, 일반화된 기준으로 작성하세요.

테스트를 반복 실행할 때마다 실제 값이 달라질 수 있어서, 특정 값을 못박으면 값이 바뀔 때마다 케이스가 매번 실패하게 돼요.

  • (좋은 예 ) 연장 가능 여부와 기한을 안내한다

  • (나쁜 예 ) 2026-07-22까지 연장 가능하다고 안내한다

7. 시나리오상 에이전트가 아직 답하지 않은 부분에 대한 기준은 넣지 마세요.

마지막 단계가 "고객이 ~를 요청한다"로 끝난다면, 그 요청에 대한 응대 기준은 만들지 마세요. 에이전트가 아직 답할 기회조차 없었던 부분을 평가하면 실패로 나올 수도 있어요.

(좋은 예 ) 마지막에 "에이전트가 답변한다"는 단계를 추가하여 답할 기회를 명시

Plaintext
  # 시나리오
  1. 고객은 환불 요청을 하고싶다고 말한다.
  2. 고객은 환불 절차를 문의한다.
  3. 에이전트는 이에 맞는 답변을 한다.

  # AI 평가 기준
  환불 절차를 안내한다 (#2)

(나쁜 예 ) 마지막 문의에 대해 에이전트가 답하지 않을 수도 있음

Plaintext
  # 시나리오
  1. 고객은 환불 요청을 하고싶다고 말한다.
  2. 고객은 환불 절차를 문의한다.

  # AI 평가 기준
  환불 절차를 안내한다 (#2)

8.태스크관련 AI 평가 기준은 시뮬레이션 대화에 드러날 수 있는 부분만 넣으세요.

AI 평가는 시뮬레이션 대화에 드러난 부분만 채점해요. 태스크가 실행됐는지, 필드 값이 바뀌었는지처럼 대화에 드러나지 않는 내용은 동작 검증으로 확인하세요.

(좋은 예 ) 대화 중 실제로 주고받는 내용을 위주로 AI 평가 기준 작성

Plaintext
  # 상황
  배송 조회 태스크가 고객의 이름과 연락처를 확인하는 단계가 있는데, 이를 테스트하고 싶음

  # 시나리오
  1. 고객은 주문한 상품이 아직 도착하지 않았다며 배송 상태를 문의한다.

  # AI 평가 기준
  고객의 이름을 확인한다 (#1)
  고객의 연락처를 확인한다 (#1)

(나쁜 예 ) Task 내부 처리 과정을 평가 기준으로 삼음

Plaintext
  # 상황
  배송 조회 태스크가 고객의 이름과 연락처를 확인하는 단계가 있는데, 이를 테스트하고 싶음

  # 시나리오
  1. 고객은 주문한 상품이 아직 도착하지 않았다며 배송 상태를 문의한다.

  # AI 평가 기준
  고객 정보를 조회 시스템에서 찾는다 (#1)
  내부 태그를 부여한다 (#1)
상담 기반으로 케이스를 만들면 기존 케이스가 모두 사라지나요?

아니요. [상담 기반 케이스 생성]을 실행해도 기존에 등록된 테스트 케이스가 삭제되지 않아요. (26년 8월 27일 업데이트)

새로 생성된 케이스가 기존 목록에 추가되는 방식으로 변경되었습니다.

테스트 케이스 자동 생성은 최대 100개라고 했는데 그보다 적게 만들어졌어요. 왜 그런가요?

최근 90일 이내의 상담 내역이 충분하지 않으면 100개보다 적게 만들어질 수 있어요. 기반이 되는 상담이 쌓일수록 더 많은 케이스를 만들 수 있습니다.

AI CoS로 만드는 테스트 케이스는 기존 방식과 뭐가 다른가요?

AI CoS는 기존 방식으로 확인하기 어려웠던 ALF의 내부 동작 과정까지 짚어 더 꼼꼼하게 살펴봐요. 내부 설정 정보는 노출되지 않고, 고객이 접근할 수 있는 정보만으로 확인할 수 있습니다.

ALF 테스트 실행 시 AU나 사용량이 차감되나요?

아닙니다, 별도 사용량은 발생하지 않습니다.

ALF 테스트 케이스, 테스트 실행 횟수 제한은 없나요?
  • 테스트 케이스는 최대 100개까지 등록이 가능합니다.

  • 일별 50회까지 테스트 실행 가능합니다.

전화(보이스 ALF) 상담 수가 충분하지 않으면 어떻게 되나요?

해당 서비스는 상담 기반 케이스 생성 화면에서 선택할 수 없도록 비활성화되고, 조건(최근 90일 100건 이상)을 채우지 못했다는 안내 문구가 표시돼요. 이후 상담 건수가 쌓이면 다시 시도할 수 있습니다.