콘솔과 빌더
콘솔
•
STORM 콘솔은 STORM이 제공하는 솔루션과 상품을 이용신청 하거나 설정할 수 있는 플랫폼입니다.
•
계정 및 팀 관리, 솔루션 사용 신청, 사용 요금 정산 등을 콘솔에서 확인하실 수 있습니다.
에이전트 빌더
•
에이전트가 처리해야하는 태스크를 직접 컨트롤하기 위한 어드민 도구입니다.
•
문서를 학습시키거나 프롬프트를 설정하는 등의 상세 세부 설정을 컨트롤하는 공간입니다.
에이전트란
STORM 프로덕트 내에서 에이전트는 특정한 목적이나 기능을 위해 만들어진 작은 독립적인 인공지능입니다. 각각의 에이전트는 특정한 작업을 처리하거나 문제를 해결하도록 설계되어 있습니다. 일상적인 비유로 설명하자면, AI 에이전트는 여러분을 대신해 업무를 처리하는 '디지털 비서' 또는 '가상 도우미'라고 생각할 수 있습니다.
또한 각각의 에이전트의 역할은 스톰 플랫폼 내에서 직접 커스터마이징이 가능합니다.
예를들어 아래의 역할을 하는 에이전트들을 직접 설계하실 수 있습니다.
이메일을 분석하고 답변을 추천하는 역할을 수행하는 에이전트
사용자의 요청에 맞춰 문서를 작성하거나 요약해주는 역할을 하는 에이전트
이메일을 분석하고 답변을 추천하는 역할을 수행하는 에이전트
사용자의 요청에 맞춰 문서를 작성하거나 요약해주는 역할을 하는 에이전트LLM이란
LLM(Large Language Model)은 방대한 양의 텍스트 데이터를 학습하여 인간의 언어를 이해하고 생성할 수 있는 인공지능 모델입니다. 쉽게 말해, 인간처럼 글을 읽고 쓸 수 있는 AI라고 생각하면 됩니다.
LLM의 핵심 특징
1.
방대한 데이터 학습: 인터넷에서 수집된 책, 기사, 웹페이지 등 수십억 개의 텍스트를 바탕으로 언어 패턴을 학습합니다.
2.
언어 이해 능력: 질문의 맥락과 의도를 파악하여 적절한 응답을 제공합니다.
3.
텍스트 생성 능력: 사람이 작성한 것과 유사한 문장, 단락, 심지어 긴 글까지 생성할 수 있습니다.
4.
다양한 작업 수행: 질문 답변, 요약, 번역, 글쓰기, 코드 작성 등 다양한 언어 관련 작업을 수행합니다.
일상에서의 LLM 활용 예시
•
정보 검색 및 요약: "기후 변화의 주요 원인은 무엇인가요?"와 같은 질문에 대한 답변을 제공
•
콘텐츠 작성: 블로그 포스트, 이메일, 보고서 초안 작성 지원
•
언어 번역: 한국어를 영어, 일본어 등 다른 언어로 번역
•
코드 작성 지원: 프로그래밍 코드 작성 및 디버깅 도움
쉬운 비유로 이해하기
LLM은 수백만 권의 책을 읽은 전문가와 같습니다. 어떤 질문이나 요청에도 자신이 학습한 지식을 바탕으로 응답할 수 있습니다. 하지만 일반적인 전문가와 달리 LLM은 특정 분야에 한정되지 않고, 다양한 주제에 대해 폭넓게 대화할 수 있습니다.
LLM은 인터넷에 연결되어 실시간 정보를 찾거나 특별한 계산을 수행하는 능력은 기본적으로 없지만, 스톰 플랫폼을 활용하여 이런 기능들을 추가로 연결하면 더욱 강력한 AI 도구로 활용할 수 있습니다.
LLM Token
토큰은 AI 언어 모델이 텍스트를 처리하는 기본 단위입니다. 단어보다 작은 단위로, 영어에서는 보통 4~5글자가 하나의 토큰이 되며, 한글은 더 많은 토큰으로 나뉩니다.
Input token과 Output token
•
Input token: 사용자가 AI에 입력하는 텍스트의 토큰 수
•
Output token: AI가 생성하여 출력하는 응답의 토큰 수
비용과의 관계
대부분의 AI 서비스는 토큰 사용량에 따라 비용을 책정합니다. 일반적으로 인풋 토큰과 아웃풋 토큰의 가격이 다르며, 아웃풋 토큰의 가격이 더 높은 경우가 많습니다. 따라서 효율적인 프롬프트 작성은 비용 절감으로 직결됩니다.
RAG란
RAG(Retrieval-Augmented Generation)는 AI가 질문에 답변할 때 외부 정보를 먼저 검색(Retrieval)하고, 그 정보를 바탕으로 답변을 생성(Generation)하는 기술입니다. 쉽게 말해, AI가 자체 지식만 사용하는 것이 아니라 '참고 자료'를 찾아보고 답하는 방식입니다. 이러한 방식을 활용하여 AI의 할루시네이션을 컨트롤 할 수 있습니다.
RAG의 핵심 특징
1.
정보 검색(Retrieval): 질문과 관련된 문서, 데이터베이스, 지식 저장소에서 필요한 정보를 찾아옵니다.
2.
정보 활용(Augmentation): 검색한 정보를 AI의 답변 생성 과정에 통합합니다.
3.
답변 생성(Generation): 검색된 정보와 AI의 기본 지식을 결합하여 정확하고 최신 정보를 포함한 답변을 생성합니다.
4.
출처 제공: 답변의 근거가 되는 원천 정보를 함께 제시할 수 있어 신뢰성이 높아집니다.
RAG의 장점
•
최신 정보 제공: AI의 학습 데이터 이후에 생성된 최신 정보도 검색하여 활용할 수 있습니다.
•
정확성 향상: 구체적인 사실이나 수치가 필요한 질문에 더 정확한 답변을 제공합니다.
•
맞춤형 지식: 기업 내부 문서나 특정 도메인의 전문 정보를 활용해 특화된 답변이 가능합니다.
•
환각(Hallucination) 감소: AI가 잘못된 정보를 생성할 가능성이 줄어듭니다.
일상에서의 RAG 활용 예시
•
기업 지식 검색: "우리 회사의 휴가 정책은 어떻게 되나요?"라는 질문에 내부 문서를 검색하여 정확한 정보 제공
•
기술 지원: 제품 매뉴얼과 기술 문서를 바탕으로 구체적인 문제 해결 방법 제시
•
연구 지원: 최신 학술 논문을 검색하여 현재 연구 동향에 맞는 답변 생성
•
법률/의료 자문: 관련 법규나 의학 문헌을 참조하여 신뢰할 수 있는 정보 제공
쉬운 비유로 이해하기
RAG는 마치 시험을 볼 때 오픈북(참고 자료 허용) 방식과 유사합니다. 기억에만 의존하는 것이 아니라, 필요한 정보를 찾아보고 더 정확한 답변을 작성할 수 있습니다. 또는 친구에게 질문했을 때, 그 친구가 책이나 인터넷을 찾아본 후 답변하는 것과 비슷합니다.
RAG는 기존 AI의 한계를 보완하여 더 정확하고 신뢰할 수 있는 AI 시스템을 구축하는 데 중요한 기술입니다.
문서와 피드백
문서
문서는 조직 내에서 축적된 공식적인 지식과 정보를 체계적으로 정리한 자료입니다. 이는 회사의 정책, 절차, 제품 정보, 업무 지침 등을 포함하며, AI 시스템이 참조할 수 있는 신뢰할 수 있는 정보 원천으로 작용합니다. AI 에이전트는 이러한 문서를 활용하여 조직 특화된 질문에 정확하게 답변하고, 일관된 정보를 제공할 수 있습니다. 사내 문서를 AI 시스템에 연결함으로써, 직원들은 필요한 정보를 빠르게 찾고 업무 효율성을 높일 수 있습니다.
피드백 (Q-A 세트)
피드백은 AI 에이전트의 성능을 지속적으로 개선하기 위한 핵심 메커니즘입니다. 에이전트가 부정확하거나 불완전한 답변을 제공할 때, 전문가가 작성한 모범 답변을 함께 저장하여 질문-답변(Q-A) 세트를 구축합니다. 이러한 데이터셋은 AI가 유사한 질문을 받았을 때 더 정확한 응답을 제공할 수 있도록 학습 자료로 활용됩니다. 피드백 시스템을 통해 AI는 시간이 지남에 따라 조직의 요구사항과 기대에 더 잘 부합하는 방향으로 발전하며, 사용자의 만족도를 높이고 업무 관련 질의에 더 효과적으로 대응할 수 있게 됩니다.
폴더
폴더는 방대한 지식 데이터를 논리적으로 구조화하여 에이전트의 응답 정확성과 관련성을 높이는 핵심 기능입니다. 만약 1만개 이상의 다양한 문서를 학습시켜야한다면 폴더 기능을 활용해서 유사한 카테고리별로 폴더를 구분하여 관리해주세요. 폴더를 구분하고 해당 폴더를 대표하는 폴더의 이름을 지정해놓는 것만으로 검색성능을 높일 수 있습니다.
DEV와 LIVE
Dev 환경
•
에이전트를 개발하는 환경입니다.
•
Answer 빌더에서 문서를 새로 등록하거나, 기본 지침을 수정하는 등의 변경사항이 발생하면 즉시 dev환경의 에이전트에도 영향을 끼칩니다.
•
테스트 페이지에서 dev 환경을 선택하신 후 테스트해보실 수 있습니다.
Live 환경
•
에이전트가 실제로 업무를 수행하는 환경입니다.
•
Answer 빌더에서 문서를 새로 등록하거나, 기본 지침을 수정하는 등의 변경사항이 발생해도 이미 배포한 live환경의 에이전트에는 영향이 가지 않습니다
◦
단, 채널 연동 정보나 권한 설정 정보를 수정하시는 경우 즉시 live 환경에 영향을 끼칠 수 있으니 주의해주세요.
•
테스트 페이지에서 live 환경을 선택하신 후 테스트해보시거나 실서비스에 연동 후에 테스트해보실 수 있습니다.