专栏算法工具链【求助】我想部署OpenScene进行点云语义分割，但底层是MinkowskiEngine

【求助】我想部署OpenScene进行点云语义分割，但底层是MinkowskiEngine

Rickilous18小时前
24
4

“地平线是否有官方支持的、可用于3D语义分割的稀疏卷积示例模型？我想参考它的部署结构，然后将OpenScene的权重迁移过去

算法工具链
技术深度解析征程6
评论1
0/1000
  • Huanghui
    Lv.5
    你好，平台暂不支持稀疏卷积计算哈，你可以尝试将 OpenScene 转为 ONNX 并验证合法性
    按照 浮点模型准备 要求，导出为 ONNX（opset 10–19），并用 HBRuntime 验证推理一致性。
    15小时前
    0
    3
    • Rickilous回复Huanghui:

      多谢回复，如果不支持的话。稀疏卷积这种自定义算子应该也不在ONNX Opset中。

      12小时前
      0
    • Rickilous回复Huanghui:

      翻阅了官方文档和论坛，目前似乎没有看到针对‘点云语义分割’任务的部署参考或示例。想再向官方确认一下架构方向：考虑到目前 BPU 的核心算力是为 2D 密集计算（Dense CNN）优化的，如果我们需要在当前平台上强行落地点云语义分割模型，是不是目前唯一可行的工程路径，就是将 3D 点云转换为 2D 密集表达（例如投影为 Range View 距离图像，或转化为 Pillar 伪图像），然后纯靠标准 2D 卷积网络来完成部署？期待您的解惑，感谢！

      12小时前
      0
    • Huanghui回复Rickilous:
      目前OE 参考算法确实没有“纯点云语义分割独立部署”示例，但从方向上看，你的理解是对的：

      在当前平台上，如果要落地点云语义分割，主流可行路径确实是先把不规则 3D 点云转成规则、稠密的张量表达，再交给标准卷积网络部署。

      更准确地说，可以分成两类工程方案：

      1. Range View 路线

        • 把点云投影成距离图/深度图/多通道图像

        • 后面走标准 2D CNN 做分割

        • 优点是部署形态最接近传统图像分割

        • 缺点是会引入投影遮挡和几何失真

      2. BEV / Pillar / Voxel 路线

        • 先把点云做 pillar/voxel 化，转换成规则 BEV 特征图

        • 再用 2D CNN 在 BEV 上做检测或分割

        • 这是当前工具链里更接近官方参考体系的路线

      补充一点：
      不是只能做“2D图像化的 Range View”，Pillar/BEV 这类“把 3D 点云规则化为 2D/BEV 稠密表达”的方式，本质上也是当前平台更适合的部署方向。

      从 OE 参考看，最接近的示例是：

      • lidar_multi_task/centerpoint_mixvargnet_multitask_nuscenes.py

      这个配置就是：

      • 点云先做 pillar 化

      • 再在 BEV 上用标准 backbone

      • 让后两个头： detection + segmentation
      11小时前
      0