常见神经网络模型所用的 Tensor 数据类型 一般是 float32 类型， 而工业界出于对特定场景的需求（极少的计算资源，极致的推理速度），需要把模型的权重和或激活值转换为位数更少的数值类型（比 int8, float16） —— 整个过程被称为量化（Quantization）。

MegEngine 使用小技巧：量化

通常以浮点模型为起点，经过中间的量化处理后最终变成量化模型，在这个过程中一般会导致模型掉点。

目前业界缓解模型掉点的问题的技术主要有两种，在 MegEngine 中都进行了支持：

  • 训练后量化（Post-Training Quantization, PTQ）；

  • 量化感知训练（Quantization-Aware Training, QAT）。

更多量化基本流程：量化基本流程介绍

整体流程

以量化感知训练为例，一般以一个训练完毕的浮点模型为起点，称为 Float 模型。 包含假量化算子的用浮点操作来模拟量化过程的新模型，我们称之为 Quantized-Float 模型，或者 QFloat 模型。 可以直接在终端设备上运行的模型，称之为 Quantized 模型，简称 Q 模型。

而三者的精度一般是 Float > QFloat > Q ，故而一般量化算法也就分为两步：

  • 拉近 QFloat 和 Q，这样训练阶段的精度可以作为最终 Q 精度的代理指标，这一阶段偏工程；

  • 拔高 QFloat 逼近 Float，这样就可以将量化模型性能尽可能恢复到 Float 的精度，这一阶段偏算法。

典型的三种模型在三个阶段的精度变化如下：

MegEngine 使用小技巧：量化

对应到具体的 MegEngine 接口中，三阶段如下：

  1. 基于 Module 搭建网络模型，并按照正常的浮点模型方式进行训练；
  2. 使用 quantize_qat 将浮点模型转换为 QFloat 模型， 其中可被量化的关键 Module 会被转换为 QATModule ， 并基于量化配置 QConfig 设置好假量化算子和数值统计方式；
  3. 使用 quantize 将 QFloat 模型转换为 Q 模型， 对应的 QATModule 则会被转换为 QuantizedModule ， 此时网络无法再进行训练，网络中的算子都会转换为低比特计算方式，即可用于部署了。

MegEngine 使用小技巧：量化

此处为标准量化流程，实际使用时也可有灵活的变化。

ResNet 实例讲解 下面我们以 ResNet18 为例来讲解量化的完整流程。主要分为以下几步：

  1. 修改网络结构，使用已经融合好的 ConvBn2d、ConvBnRelu2d、ElementWise 代替原先的 Module. 在正常模式下预训练模型，并在每轮迭代保存网络检查点；
  2. 调用 quantize_qat 转换模型，并进行量化感知训练微调（或校准，取决于 QConfig）；
  3. 调用 quantize 转换为量化模型，导出模型用于后续模型部署。

详细操作指南文档见：ResNet 实例讲解

附：

「MegEngine 使用小技巧」系列文章，重点输出 MegEngine 及周边工具的使用技巧，如有催更或投稿，欢迎联系我们哦～

技术交流 QQ 群：1029741705；Bot 微信：megengine-bot

更多 MegEngine 信息获取，您可以：查看文档和 GitHub 项目。欢迎参与 MegEngine 社区贡献，成为 Awesome MegEngineer，荣誉证书、定制礼品享不停。