专栏算法工具链bpu支持浮点运算吗

bpu支持浮点运算吗

已解决
yy12342024-10-15
170
6

1. 芯片型号： J6

2. 天工开物开发包 OpenExplorer 版本：例如 J6_OE_3.0.22

3. 问题定位：板端部署

4. 问题具体描述：

你好，在之前J6的宣传资料如下图中看到，j6e的bpu介绍写到有一个VPU单元，可以进行FP16/FP32运算。请问是否在j6e上可以配置int8 int16量化损失大的算子在bpu上浮点运行了？如果可以的话请问怎么配置，例如softmax算子，我看j6e的算子支持列表中bpu的支持约束还是要求输入类型是int8/int16，和j5数据类型约束一致。

地平线doc文档也全文搜索到了Video Processing Unit这个vpu，图中bpu中支持浮点运行计算的vpu没有提及。
算法工具链
征程6
评论2
0/1000
  • Huanghui
    Lv.5

    你好，如你所知，在J6上VPU确实是支持FP16的浮点计算的，对于int精度支持不好的算子，我们也会通过浮点计算进行优化，但这是工具内置算子的实现逻辑，同时需要一个将之前支持的定点算子向浮点算子优化的过程，后面会逐步释放，目前仍按原来的逻辑使用就OK。

    2024-10-16
    1
    3
    • yy1234回复Huanghui:

      请问是只有特定的算子才会在bpu 浮点运算吗？什么样的算子会在bpu浮点运算？

      是工具链自动决定是否浮点运算吗，还是可以客户手动指定的？

      2024-10-16
      0
    • Huanghui回复yy1234:

      1. 是的，特定的算子才会在bpu 浮点运算，定点能处理的会优先使用定点，具体算子依赖算法同学根据使用情况进行阶段评估和实现。

      2. 两种场景：模型中用的标准算子由工具链自动决定是否浮点运算；扩展类单算子调用情况下可以针对支持情况设置BACKEND。BACKEND信息请自行查看手册。

      2024-10-16
      0
    • 默认47616回复Huanghui:

      请问，当前已经支持bpu浮点运算的特定算子具体有哪些，可以提供一份列表么

      2024-11-27
      0
  • kotei左文亮
    Lv.3

    通常BPU上都是进行int8,int16的计算，CPU上进行浮点运算；您的意思就是想把损失比较大的算子 不进行量化，然后放在BPU上进行浮点计算？

    2024-10-15
    0
    1
    • yy1234回复kotei左文亮:

      嗯，j6 BPU® Nash架构介绍界面有：写专为大参数Transformer先进算法模型优化设计，支持 BF16*/FP16/FP32多种浮点数据类型，在性能和精度之间取得更好的平衡。不知道让量化损失大的算子以浮点运行这个操作如何配置，想对比原始全int8与量化损失大算子float运行的精度和速度

      2024-10-15
      0