sparse4D c++部署输入问题

爱学习的班马3小时前

J6M,OE包版本:v3.0.31

从附件图片中可以看到，模型的输入包括6张图片的y,uv输入，以及projection_mat,cached_anchor,cached_feature的输入，其中对于图片的y,uv输入是怎么获得的？

以及对于projection_mat,cached_anchor,cached_feature等信息我们怎么获得？

我看示例中C++调用的时候直接有std::string data_y_path以及 std::string data_uv_path的路径，这里面的bin文件是通过什么获得的？

附件:

算法工具链

技术深度解析征程6

0/1000

爱学习的班马
Lv.1
2小时前
0
0
爱学习的班马
Lv.1
我看对于npy数据是直接生成了一个bin文件，但是对于featuremap的C++调用里，是有一个y .bin文件以及一个uv.bin文件
2小时前
0
0
爱学习的班马
Lv.1
2小时前
0
3
- 爱学习的班马回复爱学习的班马:
  还是说这里在读取6张图片的时候，已经生成了我们需要的y,uv?可是我们直接输入6张图片，在读取图片的时候是直接将6张图片存到一个张量中放到模型中吗？
  2小时前
  0
  回复
- Huanghui回复爱学习的班马:
  2小时前
  1
  回复
- 爱学习的班马回复Huanghui:
  还有一些问题，麻烦解答一下
  2小时前
  0
  回复
爱学习的班马
Lv.1
2小时前
0
1
- 爱学习的班马回复爱学习的班马:
  我看sparse4D的模型解码，只有cls_scores,box_preds以及qulity三个，为什么从模型输出中还有一个feature呀，那个feature是什么意思呀？
  2小时前
  0
  回复
Huanghui
Lv.5
1. img_0_y ... img_5_uv 是 6 路相机图像经过 NV12 预处理后拆成 Y 平面和 UV 平面的输入，读取图片后直接从mat取就OK了，这个的python参考代码在PTQ 每个参考示例都有，推理之前都要split，C++的在基础示例、ai_benmark、hrt_model_exec的实现中也有。
2. projection_mat 来自相机内外参，并且要按实际输入图像的 resize/crop 做矩阵修正。
3. cached_anchor / cached_feature 是 Sparse4D 的时序 memory bank 输入：首帧通常填零，后续帧用上一帧模型输出缓存回填。
4. 输出里的 feature 不是检测结果解码输出，而是给下一帧做 memory bank 更新的实例特征历史参考的，所以模型会输出它，但 decoder 不直接消费它。
  
  另外，你用的OE包v3.0.31的太老太老了，升级一下吧，最新版本已经是v3.7.0了，下载地址：J6-HorizonOpenExplorer.下载
2小时前
0
0