QAT调优流程：流程总览：针对J6E/M的硬件特性，以int8+int16的混合精度量化为主要调优配置，可尝试少量fp16算子如LayerNorm（fp16 LayerNorm在OE 3.5.0及以后版本支持）。 调优原则：如上是一个标准的对称量化公式，产生误差的地方主要有：round 产生的舍入误差。例如：当采用 int8 量化，scale 为 0.0078 时，浮点数值 0.0157 对应的定

. .....前言..当前端到端智能驾驶技术发展迅速，SparseDrive 作为代表性模型受行业关注。工程化落地时，其模型导出与性能评测环节存在普遍技术挑战，涉及架构与环境兼容性、算子适配等多维度。为推动端到端智驾技术社区化发展，本文梳理 SparseDrive 从 ONNX 导出到硬件部署的技术链路，剖析算子替换、编译报错修复、量化策略优化等案例，构建含环境配置、数据集处理、权重管理、配置工程

....引言...随着大型语言模型（LLM）在具身智能等领域的广泛应用，接下来就该思考如何在有限硬件资源下部署这些模型，量化是其中必不可少的步骤。. .模型量化（Model Quantization）作为一种有效的模型压缩技术，通过将模型中的浮点数参数转换为低比特宽度的整数表示，显著减少了模型的存储和计算需求，同时尽量保持模型的性能。量化的基础知识相信大家都不会陌生，例如必然要介绍两种量化方式：P

.简介.25/4/29发布的Qwen3系列模型，共8个模型，其中六个Dense模型分别为，Qwen3-32B、Qwen3-14B、Qwen3-8B、Qwen3-4B、Qwen3-1.7B 和 Qwen3-0.6B。另外两个MoE模型分别为，Qwen3-235B-A22B，拥有 2350 多亿总参数和 220 多亿激活参数的大模型，以及Qwen3-30B-A3B，拥有约 300 亿总参数和 30 亿

1111MicrosoftInternetExplorer402DocumentNotSpecified7.8 磅Normal0........................................................................................................................................

1111MicrosoftInternetExplorer402DocumentNotSpecified7.8 磅Normal0........................................................................................................................................

.前言.近期在学习Qwen3的模型结构时，看到了Qwen使用了GPTQ与AWQ量化方案，于是便萌生了介绍LLM 量化技术的想法，笔者将用2-3篇文章，给读者们介绍大模型量化的技术。.量化是指将高精度计算的浮点型数据近似为低比特位数据（如int16、int8、int4等）的过程，此过程需在不显著损耗精度的同时，提升模型推理效率并降低内存占用。特别是在当前主流大语言模型（LLM）的参数量轻松突破万亿规

.前言.在开始正文前，我先带着大家回顾两篇文章：【手撕大模型】KVCache原理及代码解析和【手撕大模型】MQA和GQA原理解析。我们都知道，KV cache是为了在推理时避免重复计算前面的序列，从而提升性能。不难想象，当前面序列的长度变长，也就是KV cache的数据量越来越大时，数据加载和存储的成本也会增加，这时内存占用就会成为Attention计算的限制因素，严重制约了模型的运行效率和可扩展

1. 前言本文旨在提供 J6E/M 计算平台的部署指南，将会从硬件、软件两部分进行介绍，本文整理了我们推荐的使用流程，和大家可能会用到的一些工具特性，以便于您更好地理解工具链。某个工具具体详细的使用说明，还请参考用户手册。2. J6EM硬件配置  BPUDSP  算力TAE浮点输出VAE浮点VPUSPUAPM J6E80TNNYYYQ8*1J6M128TNNYYYQ8*1J6P560TYYYYYQ

..强化学习+多目标优化.传统多目标优化里，怎么平衡目标权重一直是个老大难的问题。现在的前沿玩法是用深度强化学习框架，让智能体动态学习目标间的权衡策略，自适应调整各目标的优化权重。.这种方法的核心创新点是把多目标权衡变成序贯决策过程，靠策略网络实现权重的动态分配。.参考论文：.Constrained Multi-objective Optimization with Deep Reinforcem

在自动驾驶场景下，摄像头 + 激光雷达的传感器融合方案是最常见的感知技术路线，目标是充分利用二者的互补性：..- 摄像头优势：分辨率高、纹理丰富、颜色信息齐全，有利于识别语义信息（车道线、交通灯、行人类别等）。.- 激光雷达优势：天然地具有深度信息，直接测得高精度距离和稠密点云，有利于构建 3D 几何结构和检测障碍物。...融合方式大致分为三类：前融合、中融合、后融合。...# 1. 前融合..前

# 前言..异常检测和缺陷检测是现代数据分析和工业质量控制中不可或缺的技术。它们虽然在某些应用场景中有所重叠，但也各自有着独特的特点和方法。本文将介绍这两种技术的应用，并深入探讨它们的区别，特别是在深度学习技术的加持下，它们在不同领域的应用如何推动智能化检测的进步。..# 一、异常检测：揭示数据中的不寻常..异常检测（Anomaly Detection）是指在数据集或系统中发现与其他数据点显著不同

.在谈及自动驾驶关键技术时，经常会听到一个技术，那就是RTK，很多人看到RTK后一定会想，这到底是个啥技术？为啥这个技术很少在发布会上看到，但对于自动驾驶来说却非常关键？今天智驾最前沿就和大家聊聊什么是RTK。.先说一说RTK是个啥。RTK（Real Time Kinematic，实时动态定位）是一种基于差分载波相位观测的高精度卫星定位技术。简单理解就是，通过一台固定不动、坐标已知的基准站持续接收

不同平台时间戳介绍.J3平台.其中u64 timestamps： 硬件时间戳，是跟 CPU 一起用的 64 bit system counter，1s是24M个clock。 FS的时候从硬件寄存器读取。读取的值除以24000是毫秒，除以24000000是秒。...struct timeval tv; 系统时间， SIF FS的时候获取do_gettimeofday。....J3 时间戳和frame

.最近有位小伙伴在后台提问，最近仰望U8L发布了，侧向激光雷达采用速腾聚创M1P这种远距激光雷达，而尊界问界系列侧向激光雷达采用的是TOF固态激光雷达这种近距激光雷达，哪种方案会成为今后的主流方案呢?今天就围绕这位小伙伴的提问，简单聊聊这个话题，也欢迎大家在留言区讨论自己的看法。如果大家还有什么想问的问题，也可以随时与小编沟通。.虽然这两条路线看起来都叫“激光雷达”或者“光学测距”，但在工作原理、

## 1. 注意力的本质：Q/K/V 的角色与数据流..### 1.1 三个角色.- **Q（Query，查询）**：我要找什么（我的检索意图）。 .- **K（Key，键）**：我是谁（供别人匹配我的“身份标签”）。 .- **V（Value，值）**：我能提供的内容（被加权汇总的语义）。 ..### 1.2 公式.$$.\mathrm{Attention}(Q,K,V) = \mathr

# 1. 分布式推理网络模型.先看一下 分布式推理 (Distributed Inference) 网络的介绍，全部代码以及相关解读如下：..```.import torch.import torch.nn as nn.# PyTorch 的分布式训练/推理框架.import torch.distributed as dist.# 数据加载接口.from torch.utils.data impo

.LIN（Local Interconnect Network）是一种基于UART/SCI（通用异步收发器/串行通信接口）的低成本串行通信协议。它广泛应用于汽车电子系统中，尤其适合座椅、车门、空调等控制模块之间的通信。LIN通常不单独使用，而是与CAN总线配合使用，构成CAN-LIN网关结构，实现整车网络的层次化管理。. .. .本文将从LIN的发展历史、主要特点、通信机制及其实现方式四个方面，带

# 一、背景 . .在模型开发阶段，我们经常会用到 **Gather 算子** 来做张量的索引操作 .在我的模型中，输入是一个五维张量，形状为：`(3, 2, 4, 5, 6)` .模型结构里使用了`Gather(axis=0)`，把这个输入在第 0 维上拆成三份，每一份的形状是：`(2, 4, 5, 6)` .在 PC 上推理没有任何问题，但当模型部署到 **J5** 开发板上时遇到了算子支持

1.环境升级........📙J6 量产版本...J5 CS版本.....python...3.10 & 3.11...3.8.....torch...2.3.0+cu118...1.13.0+cu116.....torchvision...0.18.0+cu118...0.14.0+cu116.....ONNX...1.15.0...1.8.0.....X86 GCC...12.2...5.4