QAT的compile流程中为什么要去掉模型的量化反量化节点？

您说的BPU是指脉动阵列吧？因为根据地平线提供的官方文档中BPUNash架构里面是包含VPU的，并且根据设计文档也是说VPU是基于SIMT, 支持线程并行的

量化转定点在反量化转浮点这个过程切换，也会引入 额外的内存读写和算子调度，这比乘加本身的开销要大吧。而且 这个过程切换他也需要遍历你的数据类型，

但他在cpu里面也有这个过程

那么如果将量化反量化过程放在cpu，同样由您所说的这些开销，那么放在cpu的意义是什么？

这个过程在vpu吧VPU要比cpu快。

您在帖子里面的回复说的是，“量化反量化过程是在CPU进行的，为了提高每次遍历数据的利用率，尽量少遍历数据，移除后你可以把量化反量化过程融入到业务处理当中”，也就是地平线设计的方案是在前后处理中使用cpu进行量化和反量化处理。我想知道的是量化反量化过程放在模型中使用VPU处理的速度理论上应该是小于放在模型外使用CPU处理的速度的，那么为什么还要放在模型外面？

因为这个bpu是资源独占型的，在模型内部，即使没用到BPU算子，也会因为这个模型流程没走完而继续占用bpu计算资源。这样做也是为了提高BPU利用率。