在迁移之前估算消耗量

对真实流量进行采样#

选择一个有代表性的一周，按工作流对请求进行分组。在分析中保留令牌计数和时间信息，而不保留敏感内容。

进行有边界的评估#

向候选模型发送一个经批准的小型测试集。比较任务成功率、输出长度、重试次数和工具使用情况。不同提供商之间的分词方式有所不同。

在不确定性下编制预算#

估算低、预期和高流量。加上预期的重试次数和输出增长。在将生产流量路由到服务之前设置每个密钥的预算。