로그 페이지는 실사용자의 입력 이력을 기반으로 에이전트의 응답 현황을 모니터링하고, 지식 보강 및 품질 개선을 위한 인사이트를 확보할 수 있는 주요 도구입니다.
•
실사용자 쿼리 분석
◦
실제 사용자들이 입력한 질문(쿼리) 내역을 확인함으로써, 자주 묻는 주제나 관심도가 높은 영역을 파악할 수 있습니다.
◦
이를 통해 현재 지식 기반에서 부족하거나 누락된 정보를 식별하고, 보완이 필요한 지식 항목의 등록 및 업데이트 우선순위를 설정하는 데 활용할 수 있습니다.
•
에이전트 응답 검토
◦
각 쿼리에 대해 에이전트가 생성한 응답 내용을 함께 확인할 수 있습니다.
◦
사용자 의도에 맞게 정확하게 응답했는지, 잘못된 정보나 누락된 내용은 없는지 등을 검토할 수 있습니다.
◦
이를 통해 에이전트의 응답 품질을 평가하고, 추가 학습이 필요한 사례를 체계적으로 식별할 수 있습니다.
▪
피드백 에서 상세 설명을 참고하실 수 있습니다.
•
유저와 에이전트 사이의 대화 이력을 확인할 수 있습니다
◦
특정 특정 날짜, 특정 채널을 선택하여 필터링한 이력만을 확인할 수 있습니다.
◦
검토하고 싶은 키워드가 있다면 키워드 기반으로 이력을 검색할 수 있습니다.
◦
검토하고싶은 챗, 스레드가 있다면 각각 chat id, thread id를 검색하여 확인할 수 있습니다.
▪
특정 챗에 대하여 해당 유저가 주고받은 전체 로그 이력을 확인하고 싶다면 우측의 더보기 버튼을 클릭한 뒤 전체 대화 이력 확인하기 메뉴를 클릭해주세요
◦
설정한 검색어와 필터는 모두 and 조건으로 적용됩니다.
•
이전에 STORM 어드민에서 테스트한 내역만을 구분해서확인하고싶다면 환경 필터에서 STORM 테스트 환경을 선택해주세요.
◦
반대로, 실 유저의 대화 기록만 확인하고 싶다면 서비스환경을 선택해주세요.
•
로그 중 검토가 필요한 항목만 필터링하여 확인할 수도 있습니다.
◦
응답 실패 메시지 : 에이전트가 답변하지 못한 항목입니다. 해당 항목에 대하여 아쉬워요 피드백을 줄 수 있습니다.
◦
시스템 에러 메시지 : 내부 서비스 이슈로 에이전트가 답변하지 못한 항목입니다. 해당 유저에게는 후속 팔로업이 필요합니다.
◦
신뢰도 낮음 : 에이전트의 답변 정확도가 낮은 항목입니다. 해당 항목에 대하여 아쉬워요 피드백을 줄 수 있습니다.
◦
신뢰도 높음 : 에이전트의 답변 정확도가 높은 항목입니다. 해당 항목에 대하여 잘했어요 피드백을 줄 수 있습니다.
•
유저와 에이전트 사이의 대화 이력 다운로드도 가능합니다.
◦
단, 설정해둔 필터 내에서 다운로드됩니다.