실제 트래픽을 샘플링하세요#
대표적인 한 주를 선택하고 워크플로별로 요청을 그룹화하세요. 분석에 민감한 내용을 보관하지 않고 토큰 수와 타이밍을 보존하세요.
제한된 평가를 실행하세요#
승인된 소규모 테스트 세트를 후보 모델에 보내세요. 작업 성공률, 출력 길이, 재시도, 도구 사용을 비교하세요. 토큰화는 제공자마다 다릅니다.
불확실성을 고려해 예산을 세우세요#
낮은 볼륨, 예상 볼륨, 높은 볼륨을 추정하세요. 예상 재시도와 출력 증가를 더하세요. 프로덕션 트래픽을 라우팅하기 전에 키별 예산을 설정하세요.