Соберите образцы реального трафика#
Выберите репрезентативную неделю и сгруппируйте запросы по рабочим процессам. Сохраняйте количество токенов и временные метки, не храня конфиденциальное содержимое в аналитике.
Проведите ограниченную оценку#
Отправьте небольшой одобренный тестовый набор модели-кандидату. Сравните успешность задачи, длину вывода, повторные попытки и инструменты. Токенизация различается у разных провайдеров.
Бюджетируйте с учётом неопределённости#
Оцените низкий, ожидаемый и высокий объёмы. Добавьте ожидаемые повторные попытки и рост вывода. Установите бюджеты для каждого ключа перед направлением производственного трафика.