专栏算法工具链J6 板端推理CPU部分耗时问题

J6 板端推理CPU部分耗时问题

已解决
2025-01-23
106
4

使用`hrt_model_exec perf`测试模型耗时,发现`Node-1-quant::qcast-/GridSample_id_361_cpu_segment_1`这部分耗时很长,这部分只是gridsample的qcast耗时吗,还是包含了其他部分的;gridsample输入为[6, 300, 480, 2]

 

 

--------------------------

更新:
这部分cpu耗时高的部分 来源于 gridsample输入(featuremap-float32)的量化操作部分,通过` remove_node_type`将这部分放到模型外面做可优化掉这块cpu的耗时

 

算法工具链
征程6
评论1
0/1000
  • Huanghui
    Lv.5

    你好, 我的理解是gridsample 的计算部分和qcast部分是分开的,你提供的日志中“ Node-1-quant::qcast-/GridSample_id_361_cpu_segment_1 “就是单纯 qcast耗时。

    2025-01-23
    0
    3
    • 回复Huanghui:

      `Node-1-quant::qcast-/GridSample_id_361_cpu_segment_1`的含义是表示 Node-1 到 GridSample_id_361_cpu_segment_1 之间的节点的qcast耗时吗

      2025-01-23
      0
    • Huanghui回复:

      这个,你看一下bc模型吧,里面有这个节点的上下游的算子情况

      打开网页或直接退出,退出后在本地目录下的model_info中有onnx,用netron查看就可以了

      2025-01-23
      0
    • 回复Huanghui:

      好的

      2025-01-23
      0