改变了什么#较低的精度会减少内存使用，并可能提高吞吐量。质量是否变化取决于模型、量化方法和任务。 需要衡量什么#比较相同的检查点、提示和生成设置。记录确切的量化版本和运行时版本。测试检索保真度、结构化提取和工具参数，而不是只进行几次令人满意的聊天回复。 我们的报告标准#检查所选部署的实际服务精度。未指定的值不能确立 BF16、FP8 或任何其他量化；在比较内存使用或输出质量之前请确认。