LLM이란
LLM(Large Language Model)은 방대한 양의 텍스트 데이터를 학습하여 인간의 언어를 이해하고 생성할 수 있는 인공지능 모델입니다. 쉽게 말해, 인간처럼 글을 읽고 쓸 수 있는 AI라고 생각하면 됩니다.
LLM의 핵심 특징
1.
방대한 데이터 학습: 인터넷에서 수집된 책, 기사, 웹페이지 등 수십억 개의 텍스트를 바탕으로 언어 패턴을 학습합니다.
2.
언어 이해 능력: 질문의 맥락과 의도를 파악하여 적절한 응답을 제공합니다.
3.
텍스트 생성 능력: 사람이 작성한 것과 유사한 문장, 단락, 심지어 긴 글까지 생성할 수 있습니다.
4.
다양한 작업 수행: 질문 답변, 요약, 번역, 글쓰기, 코드 작성 등 다양한 언어 관련 작업을 수행합니다.
일상에서의 LLM 활용 예시
•
정보 검색 및 요약: "기후 변화의 주요 원인은 무엇인가요?"와 같은 질문에 대한 답변을 제공
•
콘텐츠 작성: 블로그 포스트, 이메일, 보고서 초안 작성 지원
•
언어 번역: 한국어를 영어, 일본어 등 다른 언어로 번역
•
코드 작성 지원: 프로그래밍 코드 작성 및 디버깅 도움
쉬운 비유로 이해하기
LLM은 수백만 권의 책을 읽은 전문가와 같습니다. 어떤 질문이나 요청에도 자신이 학습한 지식을 바탕으로 응답할 수 있습니다. 하지만 일반적인 전문가와 달리 LLM은 특정 분야에 한정되지 않고, 다양한 주제에 대해 폭넓게 대화할 수 있습니다.
LLM은 인터넷에 연결되어 실시간 정보를 찾거나 특별한 계산을 수행하는 능력은 기본적으로 없지만, 스톰 플랫폼을 활용하여 이런 기능들을 추가로 연결하면 더욱 강력한 AI 도구로 활용할 수 있습니다.
LLM 모델 선택
•
에이전트가 사용할 LLM 모델을 선택할 수 있습니다.
•
이용중이신 과금 Plan 별로 사용가능한 모델이 제한될 수 있습니다.
◦
상세한 모델 제약사항은 영업팀에게 문의해주세요.
프롬프트 모드 선택
•
프롬프트를 직접 커스텀하시거나 STORM의 기본 프롬프트를 그대로 사용하실 수 있습니다.
•
만약 에이전트가 수행해야할 태스크가 문서기반으로 정보를 응답해주는 태스크라면 기본 모드를, 그 외의 태스크라면 프로 모드를 선택하여 직접 프롬프트를 커스텀해주세요
기본모드
응답 실패 메시지
•
에이전트가 학습하지 못한 내용에 대해 유저가 질문했을 때 에이전트가 어떻게 대처해야하는지 가르칠 수 있습니다.
•
유저는 에이전트가 알 수 없는, 정말 관련없는 내용을 물어볼 수 있습니다. 또는 관리자가 아직 가르치지 않은 지식에 대한 질문을 할 수도 있습니다.
•
해당 상황에 LLM이 응답할 수 있는 가장 적절한 모범답변을 입력해주세요.
•
단, 응답 실패 메시지는 50자 이내로만 입력 가능하니 주의해주세요.
프로모드
시스템 프롬프트
•
시스템 프롬프트는 모델의 기본 동작이나 태도를 설정하는 데 사용됩니다. 이 프롬프트는 모델이 어떻게 응답할지에 대한 지침을 제공하며, 모델의 스타일, 톤, 행동 양식을 지정합니다.
•
사용 예시:
◦
"당신은 친절하고 상세하게 설명하는 방식으로 답변해주세요."
◦
"간결하고 정확한 정보를 제공해 주세요."
◦
"사용자의 요청을 최대한 자연스럽게 이어가 주세요."
시스템 프롬프트는 일반적으로 사용자와의 상호작용 전에 설정되어, 모델이 어떻게 반응할지를 정의합니다. 예를 들어, 내가 "사용자가 편안하게 느끼도록 존중하는 방식으로 대화하라"는 지침을 시스템 프롬프트로 제공하면, 모델은 항상 그 방식대로 답변을 제공합니다.
프롬프트 작성 가이드 를 참조하여 서비스에 적합한 프롬프트를 작성해주세요.유저 프롬프트
•
유저 프롬프트는 실제로 사용자 요청이나 질문이 포함되는 부분입니다. 사용자는 모델에게 질문을 던지거나, 특정 작업을 요청하는 등의 방식으로 유저 프롬프트를 사용합니다. 모델은 유저 프롬프트에 따라 답변을 제공합니다.
•
사용 예시:
◦
"어떻게 피자를 만들어요?"
◦
"영업시간 알려주세요."
◦
"정수기 모델명은 무엇인가요?"
유저 프롬프트는 사용자가 원하는 정보나 서비스를 요청하는 부분이므로, 시스템 프롬프트에서 설정된 방식에 따라 모델은 그 요청에 응답합니다.
프롬프트에 변수 삽입
프롬프트에는 필요에 따라 변수를 입력할 수 있습니다.
•
{{검색된정보}}
◦
검색모듈(RAG)를 사용하는 에이전트에서만 사용가능한 변수입니다.
◦
탐색해온 정보를 해당 위치에 삽입하게됩니다.
•
{{입력된메시지}}
◦
유저가 입력한 텍스트를 담는 변수입니다.
◦
해당 변수의 위치에 유저가 입력한 인풋 텍스트가 삽입되게 됩니다.
검색된 정보 커스텀
•
검색모듈(RAG)를 사용하는 에이전트에서만 커스텀 가능한 영역입니다.
•
검색된 정보를 어떤 방식으로 삽입할 지, 템플릿을 직접 커스텀할 수 있습니다.
•
검색된 정보의 템플릿에는 다음의 변수들이 지원됩니다
◦
{{인덱스}}
▪
검색된 정보의 개수만큼 자동으로 넘버링을 매겨줍니다.
◦
{{파일명}}
▪
검색된 정보가 포함되어있던 파일명을 표시해줍니다.
◦
{{페이지}}
▪
일부 한글 문서는 페이지 메타정보가 포함되지 않습니다.
◦
{{내용}}
▪
검색된 정보의 본문 내용입니다.
•
예를들어 검색된 정보의 내용만을 삽입할 수도 있고, 파일명이 주요 정보라면 파일명도 포함할 수 있습니다.
•
또한 검색된 정보를 삽입할 최대 개수를 직접 선택할 수 있습니다
◦
검색된 정보가 20개더라도, 해당 설정을 활용한다면 5개의 정보만 프롬프트에 삽입할수도 있습니다.
◦
답변의 정확도가 중요하다면 검색된 정보의 최대 개수를 큰 값(예를들어 20)으로 설정하시고, 정확도보다 비용효율화가 더 중요하다면 검색된 정보의 최대 개수를 작은값(예를들어 10)으로 설정하시는 것을 권장드립니다.
LLM 파라미터
•
LLM의 상세 파라미터를 직접 커스텀할 수 있습니다.
•
파라미터 가이드 를 참조하여 서비스에 적합한 파라미터를 설정해주세요.