专栏算法工具链J6-M板端推理报错:Due to RuntimeError:index out of range in scatterElementV2。推理结果却是正确

J6-M板端推理报错:Due to RuntimeError:index out of range in scatterElementV2。推理结果却是正确

默认802562026-08-10
47
0
1、芯片型号:J6-M

2、OE包版本:j6_open_v3.9.0-py310

3、问题描述:模型推理

4、问题详细描述:
(1)使用工具链在模型转换编译显示:Warning: INT64 can't be quantized to float32,但是pytorch的scatter()要求输入的indices是int64;而且必须先将我corrds[]强制转换为int64,否则量化的cosine值在scatterElement之后会很低。我的pytorch代码如下:

(2)model.hbm上板子推理报错如下:

关键问题:报错推理结果90%情况下是正确的;偶而下电上电后推理有问题,不报这个错。情况不稳定。
附件:
算法工具链
技术深度解析征程6
评论0
0/600