사용자 가이드

thumbnail

ALF 통계

AI 에이전트 ALF가 응대한 상담의 통계를 확인해 보세요.

ALF가 담당한 상담이 몇 개였는지, 고객은 ALF 답변에 대해 어떤 피드백을 남겼는지 한눈에 확인할 수 있어요. 고객이 ‘아쉬워요’라고 피드백 남긴 상담을 참고하여 FAQ 또는 도큐먼트의 내용을 수정 또는 보완하다 보면 더 많은 ‘도움 됐어요’로 이어질 수 있습니다.

기간 설정

  • 조회하고자 하는 기간을 설정해 주세요.

    • ALF 통계는 최소 1일부터 최대 31일 단위로 조회가 가능합니다.

과거 데이터

  • 24년 11월 1일 이전의 데이터를 확인할 수 있습니다.

데이터 다운로드

  • 조회한 일자의 ALF 통계를 다운로드 할 수 있어요. 데이터가 많을 경우 다운로드 시 시간이 소요될 수 있습니다.

  1. ALF의 상담 해결률

해결된 상담이란?

  • 고객의 질문에 대해 ALF가 커맨드, FAQ, 답변 생성(FAQ 또는 도큐먼트 내 정보 활용한 RAG)를 통해 유의미한 답변을 전송했으면서,

  • 고객이 24시간 이내에 상담원 연결을 하지 않은 상담을 의미합니다.

  • 해결된 상담은 ALF 비용이 부과되는 기준입니다.

  • 고객의 담당자 연결 요청 없이, ALF가 스스로 처리한 상담의 비율을 나타냅니다.

  • 하나의 상담에서 유의미한 답변이 있었더라도, 24시간 내에 상담원과 다시 연결되었을 경우 해결에서 제외됩니다.

  • %는 해결비율을 의미하며, 옆의 숫자는 전체 상담 대비 몇 건이 ALF를 통해 해결되었는지 숫자를 보여줍니다.

  1. ALF의 상담 해결률의 그래프

  • 진한 녹색: 해결된 상담을 의미합니다. ALF 가 커맨드, FAQ, 답변 생성(RAQ)를 활용하여 답변하고 24시간이 경과된 상담입니다.

  • 연한 녹색: 해결 대기 중인 상담을 의미합니다. ALF 가 커맨드, FAQ, 답변 생성(RAQ)를 활용하여 답변하고 첫 답변으로 부터 24시간이 경과되지 않은 상태입니다. 24시간 이내에 고객이 상담원과 연결되면 미해결 상담으로 변경됩니다.

  • 회색: ALF가 답변하지 못했거나, 상담원과 연결된 미해결 상담 혹은 가벼운 대화 등의 미해결 상담을 의미합니다.

  1. ALF 답변 유형

  • 개수는 ALF가 답변한 개별 메시지 건수를 의미해요. (상담수가 아닙니다.)

  • ALF가 답변한 모든 횟수와 유형별 횟수에 대해 확인할 수 있습니다.

    • 커맨드 : 카페24 허브나 쇼피파이 허브, 또는 자체 앱을 통해 전송된 커맨드 답변 수

    • FAQ : FAQ에 등록된 답변을 그대로 전달한 건수

    • RAG : FAQ 및 도큐먼트를 통해 답변을 생성하여 전달한 건수

    • 기타: 가벼운 대화, 답변이 불가능할 때 등 기타 답변이 전송된 건수

  1. ALF 답변 피드백

  • ALF의 답변에 대해 고객이 응답한 피드백을 나타냅니다. ALF가 답변하지 않고 바로 담당자 연결 버튼을 띄워 연결된 경우라면 표시되지 않아요.

    • 도움 됐어요 : ALF 답변 이후 보이는 ‘도움 됐어요’ 버튼을 누른 건수

    • 아쉬워요 : ALF 답변 이후 보이는 ‘아쉬워요’ 버튼을 누른 건수

    • 무응답 : ALF 답변 이후 보이는 버튼을 클릭하지 않은 건수

ALF가 답변한 시간과 유형, 고객의 피드백 및 고객 프로필을 확인할 수 있는 목록입니다. 개별 상담 별로 목록을 보여줍니다. 좌측 상단 해결여부로 필터링이 가능해요.

항목 이름

의미

유저챗

  • ALF와 상담한 고객의 대화방 이름을 보여줍니다.

  • 마우스를 올려 클릭 시 우측 패널로 해당 상담을 바로 확인할 수 있어요.

해결여부

  • 해결: ALF의 유의미한 답변 이후 24시간 이내에 상담원 연결이 되지 않은 상담

  • 미해결: ALF의 유의미한 답변 이후 상담원이 연결되어 ALF가 해결하지 못한 상담

  • 미정 : ALF가 답변할 수 없는 유형이거나, 스몰톡 또는 오류 등 해결 여부로 판단할 수 없는 상담

CMD

상담 중 ALF가 커맨드가 사용된 횟수를 의미합니다.

FAQ

상담 중 ALF가 FAQ를 활용하여 답변한 횟수를 의미합니다.

RAG

상담 중 ALF가 RAG를 활용하여 답변한 횟수를 의미합니다.

해결 확정 시간

ALF의 유의미한 답변 이후 24시간이 지나기까지 남은 시간을 보여줍니다.

ALF 최초 답변 시간

ALF가 고객의 질문에 최초로 답변을 진행한 시간을 보여줍니다.

ALF가 답변한 시간과 유형, 고객의 피드백 및 고객 프로필을 확인할 수 있는 목록입니다. 상담 별로 보여주는 것이 아닌, ALF의 답변 별로 보여집니다. 좌측 상담 답변 유형, 피드백 버튼을 통해 필터링이 가능해요.

ALF 답변 시간

  • ALF가 최초로 답변한 시간을 의미합니다.

답변 유형

  • FAQ: 고객의 질문에 대해 FAQ에 등록된 답변을 그대로 전달한 경우

  • 답변 생성 (RAG): 고객의 질문에 대해 FAQ 및 도큐먼트 내용 기반으로 답변을 생성해 전달한 경우

  • 상담원 연결 유도 (Open User Chat): 고객이 ‘상담원 연결’과 같이 명시적으로 담당자 연결을 요청한 경우

  • 커맨드 (Command): 커맨드로 답변을 전달한 경우

  • 가벼운 대화 (Incomplete): ALF가 이해하지 못하거나, 답변하기 어려운 질문 또는 가벼운 대화를 나눈 경우

  • 답변 불가능 (Impossible): ALF가 답변하기에 적절한 지식이 없는 경우 (e.g. 답변에 적합한 FAQ나 RAG가 없는 경우)

  • 오류 (Failed 또는 Fallback): 서버 등 기술적인 에러가 발생한 경우, 이 경우에는 바로 상담원과 연결

피드백

  • 도움 됐어요 : ALF 답변 이후 보이는 ‘도움 됐어요’ 버튼을 누른 경우

  • 아쉬워요 : ALF 답변 이후 보이는 ‘아쉬워요’ 버튼을 누른 경우

  • 무응답 : ALF 답변 이후 보이는 버튼을 클릭하지 않은 경우

유저챗

  • ALF와 상담을 진행한 대화방의 이름을 보여줍니다.

  • 마우스를 올려 클릭 시 해당 대화방으로 바로 이동해요.

ALF 통계 내 우측 상단 다운로드 버튼을 통해 ALF가 응대한 상담만 모아서 다운로드가 가능합니다. 어떤 내용을 참고했는지, 피드백을 기반으로 필터링해서 확인해 볼 수 있습니다.

  • 상담 데이터는 1회 다운로드 시 최대 10,000개까지 다운로드할 수 있어요.

  • 데이터 다운로드 권한이 있는 매니저만 다운로드 받을 수 있습니다.

  • 다운로드 시 파일 비밀번호를 설정하고, 사유를 작성해야 합니다.

    • 파일 비밀번호는 영문과 숫자만 허용되며, 분실 시 파일을 열 수 없습니다.

시트 이름

설명

UserChat alf log data

ALF가 전달한 개별 ‘답변’에 대한 데이터 정보

UserChat alf info data

ALF가 담당했던 ‘상담’에 대한 데이터 정보

UserChat alf log data 시트

데이터 값

설명

비고

channelId

채널 ID

userChatId

유저챗 ID

userId

채널 내부 유저 ID

triggerMessageId

고객이 질문한 메시지 자체의 ID

responseMessageId

ALF가 대답한 메시지 자체의 ID

responseType

ALF의 응답 타입

complete : 5/16일 이전에만 전달되던 데이터. 답변 완료 시 보여지는 값이며, 현재는 확인되지 않습니다.

Error(failed), Error(fallBack) : 답변 생성에 실패한 경우입니다.

다른 값들은 상단 ALF 대화 내역 내 ALF 답변 유형과 동일합니다.

feedBackType

고객이 ALF의 답변에 남긴 피드백

FAQ, 아티클 기반으로 유의미한 답변을 전달했을 경우

  • resolved : 도움 됐어요

  • unresolved : 아쉬워요

  • assumedResolved : 무응답

유의미한 답변이 아닌 경우

  • none (가벼운 대화의 경우 피드백을 남길 수 없어 none으로 표시됩니다)

commands

커맨드 정보

커맨드를 통해 답변한 경우에만 기재됨

  • id : 커맨드 아이디

  • appId : 채널톡 앱스토어에 등록된 앱 아이디

  • name : 커맨드의 이름

  • scope : 동작한 위치 (desk 또는 front)

faqId

FAQ ID

FAQ를 통해 답변이 그대로 제공된 경우에만 기재됨

references

RAG 형태로 제공된 답변에 대한 정보

도큐먼트 RAG(Reference.Document)

  • articleId : 아티클 ID

  • spaceId: 아티클이 속한 스페이스 ID

  • revisionId : 퍼블리시 버전에 대한 ID

  • language : 해당 아티클의 언어

FAQ RAG(Reference.FaqReference)

  • faqId : FAQ ID

workflowId

ALF가 호출된 워크플로우의 ID

workflowRevisionId

ALF가 호출된 워크플로우의 수정 버전 ID

createdAt

ALF가 답변한 시점

updatedAt

데이터가 업데이트된 시점

- 고객이 피드백을 눌렀다면 : 피드백을 누른 시점

- 고객이 피드백 없이 무응답이라면 : createdAt 시점과 동일

UserChat alf info data 시트

데이터값

설명

비고

channelId

채널 ID

userChatId

유저챗 ID

userId

채널 내부 유저 ID

chargedAt

FAQ, RAG, 커맨드를 기반으로 ALF가 처음 답변한 시점

과금 시점에 대한 기준이 됩니다.

refundedAt

환불 시점

24시간 이내에 ‘아쉬워요’를 눌러 상담원 연결을 요청하는 등 ALF가 담당자가 아닌 상담이 되어, 기존 사용량에서 제외되는 시점입니다.

firstAlfActionLeftAt

상담에서 ALF 응대가 종료된 최초 시점

alfActionLeftAt

상담에서 ALF 응대가 종료된 최근 시점

상담원 연결 이후나, 상담 종료 이후에 ALF가 포함된 워크플로우가 트리거 될 수 있기 때문에, 최근 트리거 시점을 한 번 더 제공합니다.

firstRespondedAt

유저챗에서 처음으로 ALF가 응답한 시간

resolutionState

해결 여부

- none : 가벼운 대화나이나, 에러 메시지와 같이 해결/미해결을 정의할 수 없는 내용

- resolved : 해결됨

- unresolved : 해결되지 않음

resolveAt

해결 확정 시간

유의미한 답변을 전달한 시점(chargedAt) 부터

- 24시간이 지났다면 과거 시점으로

- 지나지 않았다면 미래 시점으로 보여집니다

cmdCnt

커맨드로 답변 된 횟수

faqCnt

FAQ로 답변 된 횟수

ragCnt

RAG로 답변된 횟수

  1. ‘절감률’이었는데, ‘해결률’과의 차이가 뭔가요?

    • 절감률 : 전체 인입된 상담 중 ALF가 응대한 이후 상담원 연결이 되지 않은 상담의 비율

    • 해결률 : 전체 인입된 상담 중 ALF가 상담원 연결 없이 해결한 상담의 비율이에요.

    기존 절감 지표에서는 ALF와의 가벼운 대화나, 고객이 상담원 연결을 하지 않은 상담 등이 포함되어 있어 실질적인 문의가 아니거나, 도움을 받지 못한 상담이 있었을 수 있었어요.

    해결율은 이제 고객에게 유의미한 답변을 한 것으로만 체크하기 때문에, ALF가 상담원처럼 문제를 '해결'했는지 확인할 수 있게 됩니다.

  1. ALF의 유의미한 답변 이후 상담원이 상담에 들어왔다면 해결 상담인가요?

  • ALF가 이미 유의미한 답변을 전달했다면, 상담원이 개입하더라도 '해결' 상담으로 집계됩니다. 고객이 먼저 상담원 연결을 요청 후, 상담원 연결 버튼을 눌러야 '미해결' 상담으로 집계되어요.