테스트하기
테스트 목적
테스트 기능은 플랫폼을 실사용자에게 공개하기 전에, 서비스가 의도한 대로 정상적으로 작동하는지를 사전에 점검하기 위한 핵심 절차입니다. 다음과 같은 목적을 가지고 운영됩니다:
1.
기능 동작 검증
플랫폼의 각 기능이 설계 의도에 따라 정확히 작동하는지 여부를 사전에 검토합니다. 이는 서비스의 안정성과 신뢰성을 확보하기 위한 기본적인 단계입니다.
2.
지식 검색 성능 확인
사용자의 질문이나 요청에 대해 시스템이 적절한 지식 또는 정보를 정확하게 검색하고 제공하는지 점검합니다. 이는 지식 기반 기능의 정확성과 효율성을 검증하는 과정입니다.
3.
프롬프트 해석 및 수행 능력 검증
입력된 프롬프트(지시문)에 대해 시스템이 의도를 올바르게 해석하고 요구된 작업을 적절히 수행하는지를 확인합니다. 이는 사용자 커뮤니케이션의 정확성과 시스템 반응의 정합성을 평가하는 데 목적이 있습니다.
4.
오류 원인 분석 및 개선 학습 지원
테스트 과정에서 발견된 비정상적인 동작이나 오류에 대해 원인을 분석하고, 이를 개선하기 위한 학습을 유도합니다. 이를 통해 시스템의 품질을 지속적으로 향상시킬 수 있도록 지원합니다.
테스트 기능은 서비스의 완성도를 높이고, 사용자에게 안정적이고 신뢰할 수 있는 경험을 제공하기 위한 중요한 준비 단계입니다.
테스트 방법
•
하단의 채팅창에 유저가 입력할 법한 텍스트를 입력해보세요.
데브 
라이브 환경 설정
•
데브 또는 라이브를 선택하여 환경별로 구분하여 테스트할 수 있습니다
•
라이브 환경은 사전에 배포를 완료하신 후 테스트가능하며, 라이브된 버전의 에이전트를 구분하여 테스트하실 수 있습니다
◦
폴더 지정하기
•
특정 폴더만 지정하여 테스트할 수 있습니다.
•
이 경우 선택된 폴더에 저장된 문서 안에서만 탐색하여 활용하게됩니다.
답변 출처 확인하기
답변 출처 기능은 LLM이 생성한 응답이 어떤 데이터를 기반으로 구성되었는지를 확인할 수 있도록 지원하는 기능입니다. 테스트 및 검증 과정에서 응답의 신뢰성과 정확도를 평가하는 데 활용됩니다.
•
출처 청크
◦
답변에 활용된 지식 청크(knowledge chunk)의 목록이 레이블링된 형태로 표시됩니다. 이를 통해 사용자는 응답이 어떤 근거 자료에 기반했는지를 쉽게 식별할 수 있습니다.
◦
각 지식 청크는 고유 번호로 구분되어 있으며, 번호를 클릭하면 해당 지식이 포함된 원문 내용을 바로 열람할 수 있습니다. 이를 통해 관리자나 검토자는 지식의 맥락과 실제 내용을 직관적으로 확인할 수 있습니다.
•
출처 문서
◦
지식 청크가 추출된 원문 문서는 내장 문서 뷰어를 통해 직접 확인할 수 있습니다.
◦
이 기능은 텍스트 청크만으로는 이해가 어려운 경우 유용하게 활용할 수 있습니다.
◦
단, 파일형식이 PDF인 경우에 지원합니다.
•
상세 로그
◦
답변 생성 시점에 호출된 검색 결과, 전달된 프롬프트, 응답 구성 흐름 등은 상세 로그를 통해 확인할 수 있습니다.
◦
이는 테스트 중 발견된 이슈의 원인을 분석하거나 디버깅할 때 유용하게 활용 가능합니다.
피드백
피드백 기능은 테스트 과정에서 에이전트의 응답 품질을 평가하고, 성능 개선을 위한 학습 데이터로 활용할 수 있도록 지원하는 기능입니다. 사용자는 응답에 대해 "잘했어요" 또는 "아쉬워요" 중 하나를 선택하여 평가할 수 있으며, 각각의 피드백은 다음과 같은 목적과 활용 방식으로 운영됩니다.
•
잘했어요
에이전트가 의도한 대로 정확하고 유의미한 정보를 검색하고, 이를 기반으로 적절한 답변을 생성했을 때 선택합니다.
◦
사용자의 요구나 프롬프트에 맞춰 정확하게 응답했을 경우에 기록합니다.
◦
수집된 "잘했어요" 피드백은 향후 RAG 임베딩 모델의 파인튜닝 학습 데이터로 활용됩니다.
◦
모델 파인튜닝은 영업팀을 통해 별도로 문의한 경우에 한해 지원됩니다.
•
아쉬워요
에이전트가 기대한 동작을 수행하지 못했거나, 응답의 정확성이나 관련성이 부족할 경우 선택합니다.
다음과 같은 상황에 해당할 수 있습니다:
◦
적절한 정보를 검색하지 못했거나, 지식베이스에 존재하지 않는 정보로 인해 응답이 불가능한 경우
◦
LLM이 검색된 정보를 정확히 이해하지 못한 경우
◦
특정 질문에 대해 정해진 기준 답변이 있는 경우, 해당 답변을 직접 지식으로 등록하여 에이전트를 개선할 수 있습니다
◦
관리자는 "아쉬워요"가 선택된 항목에 대해 적절한 모범답변을 수동 등록함으로써, 향후 동일한 질문에 대해 에이전트가 원하는 방식으로 응답하도록 정확한 컨트롤이 가능합니다.
피드백 기능은 단순한 응답 평가를 넘어, 에이전트의 성능을 체계적으로 개선하기 위한 주요 수단입니다. 적극적인 피드백 활용은 보다 정교하고 신뢰할 수 있는 응답 품질을 구축하는 데 기여합니다.
의도한 답변이 응답되지 않는 경우
시스템 에러 메시지가 응답되었을 때
•
화면 우측 상단의 “오류제보”버튼을 클릭해주세요.
•
해당 오류 내용을 기술지원팀에 바로 전달하게됩니다.
“잘 모르겠어요” 또는 “틀린답변”을 응답했을 때
•
이 경우 아래의 정보를 포함하여 기술지원팀에 문의해주세요.
◦
chat id
◦
기대한 답변
◦
답변 응답에 참조했어야하는 문서와 내용
•
또는 직접 원인을 확인해볼 수도 있습니다
◦
우측의 답변 출처에서 기대하는 답변과 관련된 출처가 포함되었는지를 확인해볼 수 있습니다
▪
만약 포함되어있다면 llm의 추론능력 이슈일 수 있습니다.
▪
llm모델을 교체하거나 파라미터 조정, 프롬프트 수정 등을 시도해보세요.
◦
만약 포함되어있지 않다면, 기대하는 답변과 관련된 출처문서가 학습되어있는지를 먼저 확인해볼 수 있습니다.
▪
학습이 안되어있는 경우 지식 청크를 찾아올 수 없어서 답변을 할 수 없습니다.
•
이 경우 출처 문서를 학습시켜주세요
▪
또는 학습이 되어있는 것처럼 보이지만 해당 에이전트 버전에는 포함되지 않은 지식일 수 있습니다.
•
이 경우 데브/라이브 환경을 바꿔서 테스트해보시거나, 라이브 버전을 교체해서 테스트해볼 수 있습니다.
▪
또는 출처 문서는 학습시켰으나 파싱이 의도한대로 되지 않은 경우입니다.
•
스톰파스를 통해 학습시킨 지식인 경우 변환결과를 직접 확인하실 수 있습니다.
◦
만약 학습도 온전히 완료된 문서라면 검색에 실패했을 수 있습니다
▪
이 경우 피드백 기능을 활용해서 에이전트에 직접 지식을 주입시켜볼 수 있습니다.