모델의 생성 결과를 컨트롤하기 위해서는 프롬프트 뿐 아니라 최적의 파라미터를 찾아내는 과정도 중요합니다. 같은 프롬프트를 사용하더라도 설정한 파라미터에 따라 다양한 결과를 생성해낼 수 있습니다. 파라미터들을 바꿔가며 더 창의적인, 더 다양한, 더 정확한 결과를 생성하도록 컨트롤할 수 있습니다. 아래 설명을 참고하여 적절한 파라미터로 조절해보세요.
Top P
Top P는 생성된 텍스트의 랜덤성을 조절합니다
Top P는 "nucleus sampling"이라고도 불리는 방식을 취합니다. 모델은 텍스트를 생성할 때 가능성이 높은 단어들의 집합에서 무작위로 선택을 하게됩니다. 이 집합은 모든 단어의 확률을 높은 것부터 낮은 것까지 순서대로 더했을 때, 전체의 P%에 도달할 때까지 포함합니다. 예를 들어, Top P가 0.9라면, 가장 가능성이 높은 단어들의 누적 확률이 90%가 될 때까지의 단어들만 고려하게 됩니다. 누적 확률의 한계를 Top P라는 파라미터로 컨트롤할 수 있는 것입니다.
예를들어 top p의 값이 1에 가까운 큰 값이라면 모델이 더 다양하고 예측하기 어려운 단어를 선택할 확률이 높아집니다. 이는 더 창의적이고 흥미로운 텍스트를 생성하게합니다.
Maximum length
이 파라미터는 모델이 생성할 수 있는 텍스트의 최대 길이를 설정합니다. 만약 최대 길이를 100으로 설정하면, 모델은 100개 토큰을 넘지 않는 범위 내에서 답변을 생성하게 됩니다. 이는 모델이 너무 긴 내용을 만들어내는 것을 방지하고 생성 비용을 관리하는데 사용됩니다.
모델별로 토큰을 측정하는 방식에 차이가 있습니다. 각 모델의 토크나이저를 확인하여 적절한 토큰 수를 설정하는 것을 권장드립니다.
Temperature
Temperature는 생성된 텍스트의 다양성과 예측 가능성을 조절합니다.
temperature 값이 낮을수록 확률이 높은 토큰이 선택되기 때문에 더 보수적인 결과를 생성하게됩니다. 반면에 temperature 값을 높일수록 선택될 토큰의 무작위성이 증가하여 창의적이고 다양한 답변이 생성되게 됩니다.
예를들어 높은 온도(예: 1.0 이상)는 더 창의적이고 예상치 못한 결과를 만들어내는 반면, 낮은 온도(예: 0.5 이하)는 더 일관되고 예측 가능한 텍스트를 생성합니다.
적절한 온도 설정은 수행하고자하는 태스크에 따라 다를 수 있습니다. 예를들어 정확한 답변을 응답해야하는 태스크에서는 낮은 temperature를 사용하는것이 유리하고, 반대로 창의적이고 다양한 문구를 창작해야하는 태스크에서는 높은 temperature를 사용하는것이 유리합니다.
Frequency Penalty
이 파라미터는 모델이 반복적으로 같은 단어를 사용하는 것을 억제하는 데 도움을 줍니다.
frequency penalty는 해당 토큰이 응답 및 프롬프트에 등장한 빈도에 비례하여 다음에 등장할 토큰에 패널티를 부여합니다. 패널티를 받게된 토큰은 다음번 모델의 응답에서 등장할 확률이 낮아집니다.
예를 들어, frequency penalty가 높을수록 모델은 이미 사용한 단어를 덜 사용하려고 합니다. 이를 통해 더 다양하고 풍부한 텍스트를 생성할 수 있습니다.
Presence Penalty
Presence Penalty는 특정 단어나 구가 이미 텍스트에서 사용되었다면, 다시 사용될 가능성을 감소시키는 역할을 합니다.
frequency penalty와의 차이점은 presence penalty는 모든 토큰에 동일한 페널티가 적용됩니다는 점입니다. 10번 이상 등장하는 토큰과 3번만 등장하는 토큰이 모두 동일한 패널티를 부여받습니다.
유사한 역할을 담당하는 파라미터이기에 presence penalty와 frequency penalty 중 하나의 값만 변경하는 것을 권장드립니다.
Stop sequences
모델이 텍스트를 생성할 때 특정 단어나 문장을 만나면 생성을 멈추게 하는 설정입니다. 예를 들어, "감사합니다"나 "끝."과 같은 단어나 구를 설정해 두면, 모델은 이 단어들을 만나는 즉시 생성을 종료합니다. 이는 응답을 적절한 길이로 유지하거나 특정 형식을 강제하는 데 유용할 수 있습니다.
Seed
Seed는 생성된 텍스트의 재현 가능성을 위해 사용됩니다. 동일한 Seed 값을 사용하면, 동일한 입력과 설정에 대해 모델이 같은 텍스트를 다시 생성할 수 있습니다. 이는 일관성을 유지하는데 도움이 됩니다. 일반적으로 “42”와 같이 임의의 정수 값을 입력하여 사용합니다.
모델별 지원 파라미터
모델별로 지원가능한 파라미터의 차이가 있습니다. 모델별 파라미터 상세문서를 참고해주세요.