在线量化算法(QAT)--学习记录1

在线量化算法 一、在线量化基础概念 **同义名词说明：** 离线量化和在线量化的区别 二、在线量化基本流程 2.1、QAT整体的 pipeline 2.2、QAT超参选择 2.3、QAT的几个关键点

一、在线量化基础概念

在线量化工程师:真实量化的硬件(手机等)没法训练网络，所以在显卡上用模拟量化来训网络，一直训到网络完全适应模拟量化为止。

怎么在训练的时候，模拟量化这个过程呢?

左边是真实量化的流程图 右边是模拟量化的流程图（重点关注红色的伪量化节点） 在线量化：通过这种插入伪量化节点的方法改造了网络结构，使得模型前传的过程中，考虑到了量化带来的误差用这个网络去训练

只改变网络，不改变loss：只在网络里面插入节点，但是不改变loss

同义名词说明：

后训练量化 /离线量化/PTQ/Post-training quantquaptization

量化感知训练:/在线量化/训练时量化/QAT /Quantization Aware Training>

离线量化和在线量化的区别

训练与压缩 可以看作几乎解耦的两个操作