YOLOv5/检测模型实际部署后的精度损失以及推理帧率

已解决

刘成博2021-03-12

609

前提：

1. 我看到贵公司提供的量化方案有两种，一是采用Tensorflow/mxnet做量化训练的，二是onnx模型直接浮点转定点的。

2. 我看到论坛里讨论的YOLOv5模型转换普遍有精度下降的问题，而且下降很严重。

请问：

1. 一般采用pytorch训练的检测模型（比如YOLOv5），转成onnx后，直接浮点转定点，再实际部署后的精度损失是多少？

2. 推理帧率大概是多少？您在社区里说13fps，指的是多少分辨率下的推理速度？您这边有没有具体的一些Benchmark？

算法工具链

0/1000

shaun
Lv.1
请问下为什么量化后的模型变大了有40M
2021-04-03
0
8
- Horizon_guosheng回复shaun:
  最后的bin文件才是最终的上板模型哈
  2021-04-03
  0
  回复
- shaun回复Horizon_guosheng:
  我知道bin才是上板的，但量化后文件不也该比原模型小吗？原模型是float32存储的。
  2021-04-06
  0
  回复
- shaun回复Horizon_guosheng:
  另外请问上板测试对摄像头有什么要求吗？我用了一个廉价摄像头出现下面问题
  2021-04-06
  0
  回复
- admin回复shaun:
  用的型号可以讲一下吗？
  2021-04-06
  0
  回复
- shaun回复admin:
  蓝色妖姬T3200
  2021-04-06
  0
  回复
- admin回复shaun:
  这一款相机还没有测试，我们看了下介绍页面，没写支持linux系统，建议使用正常品牌的usb相机
  https://item.jd.com/69658596316.html
  2021-04-06
  0
  回复
- shaun回复admin:
  这个商品已下架
  2021-04-06
  0
  回复
- admin回复shaun:
  可以购买淘宝合作伙伴的f37模组，也可以购买逻辑或者海康的usb camera，正规相机问题都不大。
  2021-04-06
  0
  回复
admin
Lv.1
用户你好，yolov5s模型，帧率如下：
FPS (1 core): 15.33
FPS (2 cores): 30.66
latency: 65.23 ms
输入图像大小：316X316
精度保持：95%左右
2021-03-12
2
2
- 孙宏伟回复admin:
  你好，我开启了双核，为何FPS只有13。
  2021-03-15
  0
  回复
- admin回复孙宏伟:
  您好，使用双核的话，core_id需要设置为2，异步模式下core_id不生效
  可以使用以下指令进行测试
  hrut_ddr -t all -p 1000
  #-p 代表端口支持cpu/bpu等 1000代表1s更新一次
  2021-03-15
  0
  回复

YOLOv5/检测模型实际部署后的精度损失以及推理帧率

FPS (1 core): 15.33

FPS (2 cores): 30.66

latency: 65.23 ms输入图像大小：316X316

latency: 65.23 ms
输入图像大小：316X316