欢迎关注我的大众号 [极智视界]，获取我的更多笔记共享

大家好，我是极智视界，本文介绍一下 再谈昇腾CANN量化。

在上一篇现已介绍了昇腾CANN量化的原理，关于原理或公式推导有爱好的同学可以去看一看：《谈谈昇腾CANN量化》。这篇我们继续，来谈谈昇腾CANN量化的命令行操作。

要进行量化操作，首要要装置好量化环境，这里先简略介绍一下量化环境的装置：

# (1) Anacona3装置，用conda办理python环境，略过
# (2) conda创建amct环境，python版别3.7.5
conda create -n amct_py375 python=3.7.5
# (3) 激活conda环境
conda activate amct_py375
# (4) 装置onnx=1.8.0，onnxruntime=1.6.0，protobuf=3.11.3
pip install -i https://pypi.douban.com/simple onnx=1.8.0 onnxruntime=1.6.0 protobuf=3.11.3
# (5) 下载Ascend-cann-amct_{software version}_{arch}.tar.gz并解压
tar -zxvf Ascend-cann-amct_{software version}_{arch}.tar.gz
# (6) 装置amct_onnx-{version}-py3-none-linux_{arch}.whl ==> 以onnx为例
pip install amct_onnx-{version}-py3-none-linux_{arch}.whl
# (7) 编译并装置自定义算子包
tar -zxvf amct_onnx_op.tar.gz
## 解压后目录
## amct_onnx_op
## |--inc
## |--src
## |--setup.py
cd amct_onnx_op
python setup.py build
# (8) 验证amct_onnx是否装置成功
amct_onnx

需要留意的是：在编译自定义算子包前，在amct_onnx_op/inc里边还需要手动下载四个头放进去，下载路径：github.com/microsoft/o… (留意版别的对应，否则在执行amct_onnx时会出现segmentation fault)。

四个头包含：

  • onnxruntime_cxx_api.h
  • onnxruntime_cxx_inline.h
  • onnxruntime_c_api.h
  • onnxruntime_session_options_config_keys.h

这样就完成了CANN量化东西的装置，接着来看命令行的方法怎么运用。主要包含两个方面：(1) 量化数据集的制造；(2) 命令行量化。

极智AI | 再谈昇腾CANN量化

首要来说量化数据集的制造，先把量化图片放在一个叫images的文件夹里边，然后运用如下脚本生成calibration.bin：

import os
import numpy as np
import cv2
PATH = os.path.realpath('./')
IMAGE_PATH = os.path.join(PATH, './images')
BIN_PATH = os.path.join(PATH, './calibration')
BIN_FILE = os.path.join(BIN_PATH, 'calibration.bin')
# 前处理参数
MEAN = [0.485, 0.456, 0.406] 
STD = [0.229, 0.224, 0.225]
CALIBRATION_SIZE = 16
def get_labels_from_txt(label_file):
    """Read all images' name and label from label_file"""
    image_names = []
    labels = []
    label_file = os.path.realpath(label_file)
    with open(label_file, 'r') as fid:
        lines = fid.readlines()
        for line in lines:
            image_names.append(line.split(' ')[0])
            labels.append(int(line.split(' ')[1]))
    return image_names, labels
# h、w可自定义
def prepare_image_input(images, height=256, width=256, crop_size=224):
    """Read image files to blobs [batch_size, 3, 224, 224]"""
    input_array = np.zeros((len(images), 3, crop_size, crop_size), np.float32)
    mean = MEAN
    std = STD
    imgs = np.zeros((len(images), 3, height, width), np.float32)
    for index, im_file in enumerate(images):
        im_data = cv2.imread(im_file)
        im_data = cv2.resize(
            im_data, (256, 256), interpolation=cv2.INTER_CUBIC)
        cv2.cvtColor(im_data, cv2.COLOR_BGR2RGB)
        imgs[index] = im_data.transpose(2, 0, 1).astype(np.float32)
    h_off = int((height - crop_size) / 2)
    w_off = int((width - crop_size) / 2)
    input_array = imgs[:, :, h_off:(h_off + crop_size),
                        w_off:(w_off + crop_size)]
    # trans uint8 image data to float
    input_array /= 255
    # do channel-wise reduce mean value
    for channel in range(input_array.shape[1]):
        input_array[:, channel, :, :] -= mean[channel]
    # do channel-wise divide std
    for channel in range(input_array.shape[1]):
        input_array[:, channel, :, :] /= std[channel]
    return input_array
def process_data():
    """process data"""
    # prepare cur batch data
    image_names, labels = get_labels_from_txt(
        os.path.join(IMAGE_PATH, 'image_label.txt'))
    if len(labels) < CALIBRATION_SIZE:
        raise RuntimeError(
            'num of image in {} is less than total_num{}'
            .format(IMAGE_PATH, CALIBRATION_SIZE))
    labels = labels[0:CALIBRATION_SIZE]
    image_names = image_names[0:CALIBRATION_SIZE]
    image_names = [
        os.path.join(IMAGE_PATH, image_name) for image_name in image_names
    ]
    input_array = prepare_image_input(image_names)
    return input_array
def main():
    """process image and save it to bin"""
    input_array = process_data()
    if not os.path.exists(BIN_PATH):
        os.mkdir(BIN_PATH)
    input_array.tofile(BIN_FILE)
if __name__ == '__main__':
    main()

在执行完上述量化脚本后，会生成一个输入数据calibration.bin，然后可以运用命令行进行量化。根本量化命令如下：

amct_onnx calibration --model {model}.onnx --input_shape "input:1,3,224,224" --data_type "float32" --data_dir ./calibration/ --save_path ./results

量化执行成功后，会在results目录下生成可用的量化模型results_deploy_model.onnx，并附有一些量化监督文件、仿真文件和量化日志。下面是量化模型的局部节点截图，可以看到包含了量化节点宽和量化节点。

极智AI | 再谈昇腾CANN量化

关于amct_onnx命令行的参数，我也进行了收拾，如下：

极智AI | 再谈昇腾CANN量化

当生成了deploy model后，就可以进一步运用atc东西进行om模型的转化和部署了。

下篇我们再来说说CANN的量化的python API。

好了，以上共享再谈昇腾CANN量化，希望我的共享能对你的学习有一点帮助。


 【大众号传送】

《极智AI | 再谈昇腾CANN量化》


极智AI | 再谈昇腾CANN量化