대시보드는 에이전트의 운영 현황을 실시간으로 모니터링하고, 안정적인 품질 유지와 성능 개선을 위한 핵심 지표들을 확인할 수 있도록 지원하는 기능입니다.
•
운영 상태 점검
◦
에이전트가 정상적으로 작동하고 있는지를 확인할 수 있습니다.
◦
호출 실패가 발생하지 않았는지
◦
텍스트 생성 시 과도한 토큰이 사용되지는 않았는지
◦
응답 품질에 이상 징후는 없는지
◦
피드백이 적절하게 수집되고 있는지 등을 종합적으로 점검할 수 있습니다.
•
지표별 통계 확인
◦
대시보드는 주요 데이터를 일간 / 주간 / 월간 단위로 구분하여 확인할 수 있어, 시간 흐름에 따른 추이 분석 및 운영 전략 수립에 활용할 수 있습니다.
•
환경별 데이터 분리 제공
◦
테스트 환경과 실제 라이브 환경의 호출 내역을 분리하여 확인할 수 있으므로, 개발 중 테스트 결과와 실제 사용자 응답을 명확히 구분해 분석할 수 있습니다.
•
엑셀 다운로드 지원
◦
보다 정밀한 분석이 필요한 경우, 전체 집계 데이터를 엑셀 파일로 다운로드하여 외부 도구로 가공하거나 팀 내 보고 자료로 활용할 수 있습니다.
호출수
•
집계기간동안 에이전트를 호출한 기록을 확인할 수 있습니다.
•
성공한 호출수만큼 과금됩니다.
토큰수
•
집계기간동안 LLM을 사용한 기록을 확인할 수 있습니다.
•
사용한 LLM 모델별로 Input 토큰과 Output 토큰을 구분하여 확인할 수 있습니다.
에이전트 품질
•
집계기간동안의 호출 중 응답 품질에 대한 기록을 확인할 수 있습니다.
•
응답실패 메시지가 응답되었거나, 신뢰도 점수가 0.5 미만인 수를 확인할 수 있습니다.
작업자 처리 내역
•
집계기간동안의 호출 중 작업자가 처리한 건수를 확인할 수 있습니다.
◦
예를들어 8월 15일에 호출된 건에 대하여 8월 16일에 피드백을 주었다면 8월 15일에 집계됩니다.
•
잘했어요 또는 아쉬워요 피드백을 남긴 작업 수를 관리할 수 있습니다.