自定义算子输入如何获取量化scale

非常感谢！

还有几个细节问题：

1. 假设模型内部一部分的算子结构是 A => B => C，如果 A 和 C 都在 BPU 上，B 在 CPU 上，那么做量化的时候是会在 B 前后自动插入反量化和量化节点吗？对于 B 自己的实现来说，输入输出只需要按照 float 来考虑吗？

2. 假设算子图结构是 x => A => B, y => B ；x 和 y 是模型输入，A 是 BPU 算子，B 是 CPU 算子，B 有两个输入，分别是 A 的输出和 y，这种情况下 y 会被量化吗？

Sorry, 第一个问题，是需要在训练代码里面手动加入 DeQuantstub 和 Quantstub 对吧？

第一种情况，B算子前插入dequant，B算子执行后插入quant，然后配置qconfig将该算子层配置为None

第二个情况，y需要做反量化，因为y需要接B，B是CPU的fp32计算，BPU的输出需要插入dequant将int转为float进CPU计算。

量化为float量化为float-->int，即后面有BPU计算，BPU只能做int计算，所以需要插入quant做量化。

反量化为int反量化为int-->float，即后面有CPU计算，CPU计算为float计算，所以需要插入dequant做反量化。

第二个情况里，如果 y 一开始输入就是 float 的话，是不是不用做反量化，可以直接输入到 CPU 算子？还是说模型输入只能是量化后的？

模型的输入和输出都必须是int。只要需要进入到BPU参与计算就必须量化，输出的也是int。y不输入到模型就不需要做量化保持float32做CPU计算

确实是在开发DSP算子。但是官方给出的示例中只有 Softmax，而 Softmax 输入输出的量化 scale 是不变的，所以不用处理这个信息。但是我在尝试实现一个多输入的算子，每个输入的 scale 和 zero_point 可能是不一样的，所以想知道怎么获取这个信息。

你的意思是，如果是CPU算子，给这个算子的输入已经是反量化后的 float 了吗？