模型量化

资源介绍

用更低精度表示模型权重等数据，减少部署内存需求，并结合硬件与任务评估精度损失。

量化可以降低模型的存储和运行内存需求。不同方法对硬件、模型结构和精度有不同要求；部署时应综合比较任务质量、实际速度与支持的计算内核。

主要能力

• 降低权重表示精度
• 减少模型内存需求
• 按硬件选择合适量化方法

如何开始

1. 01

   阅读量化概念与方法选择文档。

2. 02

   确认部署框架和硬件兼容性。

3. 03

   用相同任务比较量化前后的质量与性能。