무엇이 변하는가#
낮은 정밀도는 메모리 사용을 줄이고 처리량을 개선할 수 있습니다. 품질 변화 여부는 모델, 양자화 방법, 작업에 따라 다릅니다.
무엇을 측정해야 하는가#
동일한 체크포인트, 프롬프트, 생성 설정을 비교하세요. 정확한 양자화와 런타임 버전을 기록하세요. 몇 가지 그럴듯한 채팅 응답보다 검색 충실도, 구조적 추출, 도구 인자를 테스트하세요.
보고 기준#
선택한 배포의 실제 서빙 정밀도를 확인하세요. 지정되지 않은 값은 BF16, FP8 또는 기타 양자화를 확립하지 않으므로 메모리 사용량이나 출력 품질을 비교하기 전에 확인하세요.