专栏算法工具链memSize 为什么和properties.stride的第0维为什么不一致？

memSize 为什么和properties.stride的第0维为什么不一致？

加利福尼亚不下雨2026-03-30
78
6
算法工具链
技术深度解析征程6
评论2
0/600
  • YCJ
    Lv.4

    我看你的stride信息，output的tensor是紧凑的。你是否配置了no_padding？如果配置了，memSize是编译阶段按 padding 布局进行内存规划后的申请结果，编译完成后会将padding删除，所以看到的结果不一致

    2026-03-30
    0
    4
    • 加利福尼亚不下雨回复YCJ:

      no_padding这个是在哪里配置呢？没看到啊

      2026-03-30
      0
    • YCJ回复加利福尼亚不下雨:
      2026-03-30
      0
    • 加利福尼亚不下雨回复YCJ:

      如果是QAT的话，这个参数在哪里找？

      2026-03-30
      0
    • YCJ回复加利福尼亚不下雨:
      在compile函数里
      2026-03-30
      0
  • HuangHui
    Lv.5
    memSize 这个主要是推理框架用的，内部包含了一些其他硬件相关的信息，调用接口时可以之际根据从output[i].properties.alignedByteSize;获取到的memSize调用hbUCPMallocCached 或 hbUCPMalloc接口分配内存然后放入推理数据进行推理就OK，推理结果的处理参照properties.stride进行，内存使用完后通过hbUCPFree释放就OK了。这里的memSize 具体数值对于业务处理无任何影响。
    2026-03-31
    0
    0