专栏算法工具链code/02_advanced_samples/multi_input/src

code/02_advanced_samples/multi_input/src

已解决
默认882242025-01-14
49
11
/ddk/samples/ai_toolchain/horizon_runtime_sample/code/02_advanced_samples/multi_input/src下的multi_input脚本,我观察到模型有一个输入呀,我画红线的为什么是3个,是多通道吗?。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。 
算法工具链
征程5
评论3
0/1000
  • Huanghui
    Lv.5

    收到,我CHECK一下哈

    2025-01-14
    0
    8
    • 默认88224回复Huanghui:

      不好意思,我刚看了,是3输入,那我不理解转到ncwc为什么是这样操作

      2025-01-14
      0
    • 默认88224:

      我现在有一个模型,是单输入的,输入形状1x3x512x896, 输出数量是2,形状为 1x3x512x896 , 1x8x512x896 那我怎么进行前处理和后处理呢

      2025-01-14
      0
    • Huanghui回复默认88224:

      这个是模型输入要求的呀,通过opencv读取的图像是NHWC,而模型的输入要求事NCHW,所以前处理过程必须要转换的。

      2025-01-14
      0
    • Huanghui回复默认88224:

      前处理:

      1. 先通过hrt_model_info model_info --model_file看一下模型的输入是什么图像格式的?{ typedef enum {HB_DNN_IMG_TYPE_Y,HB_DNN_IMG_TYPE_NV12,HB_DNN_IMG_TYPE_NV12_SEPARATE,HB_DNN_IMG_TYPE_YUV444,HB_DNN_IMG_TYPE_RGB,HB_DNN_IMG_TYPE_BGR, ……}

      2. 根据要求的格式,参照/open_explorer/ddk/samples/ai_toolchain/horizon_runtime_sample/code/00_quick_start/src/run_mobileNetV1_224x224.cc中的 read_image_2_tensor_as_nv12 函数对图像进行预处理。需要注意的是:opencv读取的原始图像格式为 (高度, 宽度, 通道数) 格式的BGR顺序的数据,如果和模型不匹配,需要修改。

      2025-01-14
      0
    • Huanghui回复默认88224:

      输出:

      模型的输出与模型的业务有关系,这个需要根据业务进行数据解析。

      不过下面两点需要注意:

      1. 推理结束后的output需要使用hbSysFlushMem对内存cache进行刷新以读取最新推理结果。

      2. 如过模型编译过程移除了反量化节点,在进行业务解析时需要对数据进行反量化处理。反量化参考代码可以参考/open_explorer/ddk/samples/ai_toolchain/horizon_runtime_sample/code/00_quick_start/src/run_mobileNetV1_224x224.cc文件get_topk_result中的反量化逻辑

      或/open_explorer/ddk/samples/ai_toolchain/horizon_runtime_sample/code/01_api_tutorial/tensor/src/tensor_example.cc中的 dequantize_process_core

      2025-01-14
      0
    • 默认88224回复Huanghui:
      请问,我的模型是双输入的,双目,如何对
      校准数据预处理 ,看那些例子?
      2025-01-14
      0
    • Huanghui回复默认88224:

      双目和单目的在输入数据准备上是一致的,在工具链版本的示例中也包含了双目算法的示例,C++代码涵盖了从输入图片处理到推理后后处理的流程,请参考:/open_explorer/ddk/samples/ai_benchmark/j5/qat/script/disparity_pred/stereonetplus_mixvargenet_sceneflow

      2025-01-14
      0
    • Huanghui回复默认88224:

      多输入模型的配置信息参考/open_explorer/ddk/samples/ai_toolchain/horizon_model_convert_sample/05_miscellaneous/04_multi_input_example这个例子吧,针对双双目,因为两个图像的处理流程是一样的,只是处理的来源和存储位置有差别,参考ptyhon脚本/open_explorer/ddk/samples/ai_toolchain/horizon_model_convert_sample/05_miscellaneous/04_multi_input_example/mapper/data_preprocess.py的处理逻辑修改一下就OK了

      2025-01-14
      0
  • Huanghui
    Lv.5
    2025-01-14
    0
    0
  • Huanghui
    Lv.5

    客户您好,长时间未收到你的答复,相信问题已解。如对此尚存疑问欢迎新帖讨论,感谢您的参与!

    2025-01-23
    0
    0