用户您好，请详细描述您所遇到的问题。
1.硬件获取渠道：
2.当前系统镜像版本：
3.当前天工开物版本：
4.问题定位：
5.开发的demo/案例：
6.需要提供的解决方案：
专栏算法工具链XJ3 ISP算法问题
XJ3 ISP算法问题
已解决
AI初学者2023-01-14
121
104
算法工具链
征程3
+1
评论3
0/1000
- AI初学者
'/%3e%3cpath%20d='M8%200.5C12.1421%200.5%2015.5%203.85786%2015.5%208C15.5%2012.1421%2012.1421%2015.5%208%2015.5C3.85786%2015.5%200.5%2012.1421%200.5%208C0.5%203.85786%203.85786%200.5%208%200.5Z'%20fill='url(%23paint1_linear_0_45845)'%20stroke='white'/%3e%3cpath%20d='M10.0597%204.5332C10.031%204.5332%2010.0036%204.54817%209.98859%204.57313L8.09724%207.79442C8.02613%207.90046%207.84897%208.23731%207.5483%208.7875C7.37863%209.0969%207.25387%209.32771%207.17152%209.48615C7.1341%209.55727%207.0293%209.53855%207.01807%209.45871C6.97191%209.11936%206.89456%208.6066%206.78727%207.91793L6.2483%204.61804C6.24207%204.57812%206.20713%204.54942%206.16721%204.54942H4.28085C4.2297%204.54942%204.18977%204.59683%204.201%204.64798L5.71059%2012.1959C5.71808%2012.2346%205.75176%2012.2621%205.79044%2012.2621H7.46845C7.49715%2012.2621%207.52335%2012.2471%207.53832%2012.2234L12.1869%204.65796C12.2205%204.60307%2012.1806%204.5332%2012.117%204.5332H10.0597Z'%20fill='white'/%3e%3cdefs%3e%3clinearGradient%20id='paint0_linear_0_45845'%20x1='8.99711'%20y1='15.3526'%20x2='47.3575'%20y2='15.3526'%20gradientUnits='userSpaceOnUse'%3e%3cstop%20stop-color='%23AF86FF'/%3e%3cstop%20offset='1'%20stop-color='%23774EFF'/%3e%3c/linearGradient%3e%3clinearGradient%20id='paint1_linear_0_45845'%20x1='1.1152'%20y1='15.1368'%20x2='15.3888'%20y2='15.1368'%20gradientUnits='userSpaceOnUse'%3e%3cstop%20stop-color='%23AF86FF'/%3e%3cstop%20offset='1'%20stop-color='%23774EFF'/%3e%3c/linearGradient%3e%3c/defs%3e%3c/svg%3e)
Lv.1有个问题没想通，关于RGB域， RGB DOMAIN PROC这个模块是干嘛用的？一般不是只需要demosaic转成RGB，再转成YUV就行了吗？
2023-01-14057- 费小财回复AI初学者:
整体行的颜色调整，因此不会出现颜色不连续的现象；且能够快速调整整体色彩接近目标色彩，因此效率较高。
2023-01-151 - 费小财回复AI初学者:
色彩空间转换的方法和过程中存在很多种方法的，你看的只是有一种方法，当然没有算法都会有自己的优缺点的
2023-01-150 - AI初学者回复费小财:
图中的GE是啥模块？另外为啥没有AF模块，据我所知，XJ3是支持3A的
2023-01-150 - 费小财回复AI初学者:
xj3支持focus， J5不支持focus
2023-01-150 - 费小财回复AI初学者:
绿平衡，有些模组的输出gr gb通道不相等，需要ISP ge处理，消除绿横纹
2023-01-150 - AI初学者回复费小财:
好的，了解，谢谢大佬，再请教一个问题：antiflicker模块在哪，没看到这个模块啊？
2023-01-150 - AI初学者回复费小财:
J5不支持AF的原因是什么？
2023-01-150 - 费小财回复AI初学者:
应该是车载不需要focus的sensor，所以就没有了
2023-01-150 - 费小财回复AI初学者:
有的
control tool上cmos control 上的第一个参数就是的，不是一个单独的模块集成在cmos里面的
2023-01-150 - 费小财回复AI初学者:
AF应该主要是aiot的场景把，车载的sensor绝大部分是定焦的
2023-01-150 - AI初学者回复费小财:
再请教一下，ISP所有模块都是能够单独关掉的吗？
2023-01-150 - 费小财回复AI初学者:
应该不可以的，有的模块关了就会报错，就比如之前的DRCD模块来说，pwl 的sensor如果关了，数据就全错了，就不能关
2023-01-160 - 费小财回复AI初学者:
大部份的效果模块都是可以关掉的，control tool上有对应的控制的
2023-01-160 - 费小财回复AI初学者:
对了，bypass 模块模式有两种方式，一种是图片中那样通过寄存器开关，另外还有一种是直接通过芯片提供的寄存器去bypass 模块
2023-01-160 - AI初学者回复费小财:
收到，谢谢大佬，另外再请教一下，如果sensor输出是dol，ISP能处理吗
2023-01-160 - AI初学者回复AI初学者:
如果是sensorHDR模式，ISP怎么处理
2023-01-160 - 费小财回复AI初学者:
J5是支持的，已经验证的dol2,理论上能支持dol4
2023-01-160 - 费小财回复AI初学者:
ISP会通过drcd将数据解压后，进行local tone mapping和global tone mapping恢复效果后进行后续的处理
2023-01-160 - AI初学者回复费小财:
那XJ3 ISP支持dol2模式吗
2023-01-160 - AI初学者回复费小财:
图中还有safety component是干嘛的？
2023-01-160 - 费小财回复AI初学者:
功能全安需求的，ISP硬件自检模块和功能实现的
2023-01-160 - 费小财回复AI初学者:
支持的
2023-01-160 - AI初学者回复费小财:
再请教一个问题，XJ3 AE收敛最快可以多少帧，一般需要多少帧
2023-01-160 - AI初学者回复AI初学者:
AWB算法支持纯色图检查吗？
2023-01-160 - 费小财回复AI初学者:
有个收敛系数的，一般4-5帧就能收敛80%
2023-01-160 - 费小财回复AI初学者:
不支持纯色图检查，纯色一般落入普兰克曲线外了，按照d50处理
2023-01-160 - AI初学者回复费小财:
好的，那么如果有纯色场景落在普朗克曲线内部呢，AWB怎么识别
2023-01-160 - AI初学者回复AI初学者:
另外XJ3支持pdaf吗
2023-01-160 - 费小财回复AI初学者:
那就是直接平均了，成灰色了
2023-01-160 - 费小财回复AI初学者:
pdaf的功能是依赖与sensor的，只要sensor能支持，算法都可以改造的，相当于corse search的结果不需要走爬坡算法了
2023-01-160 - AI初学者回复费小财:
了解了，我还有如下几个XJ3的疑问，麻烦一并帮忙解释一下：
1.AE统计信息硬件上是怎么处理输出的？
2.AWB统计信息的区划划分是怎么样的？
3.antiflicker是否自适应60hz/50hz灯光？
4.3DNR会在车上使用吗？
5.ISP是否支持RAW输出？
6.ISP最大能处理多少路raw数据？
7.ISP支持down scaler吗？不支持的话，哪个模块支持？
2023-01-160 - 费小财回复AI初学者:
1.ae 统计数据ISP计算完成后会输出到对应的寄存器的
3.对的，enable后就可以试试
4，没有3dnr，应该只支持sinter,估计只能算个2dnr
5，支持的
6，这个要看raw的尺寸的
7.ISP不支持的，pym支持的
2023-01-170 - 费小财回复AI初学者:
2.待定
6.稍等我查下spec回你
5的话要ISP是支持的，但是xj3上功能有没有开出来要去看下代码，J5是可以直接获取的
2023-01-170 - AI初学者回复费小财:
好的，麻烦查好了告诉我一下，谢谢
2023-01-170 - AI初学者回复AI初学者:
另外，我看XJ3 ISP没有从内存读取的能力，它是怎么支持是多路的？
2023-01-170 - 费小财回复AI初学者:
J3是支持4路30fps的
2023-01-172 - 费小财回复AI初学者:
全部通过offline的方式传给ISP的
2023-01-170 - AI初学者回复费小财:
ISP不能从内存读取，还能offline给吗？
2023-01-171 - 费小财回复AI初学者:
sorry,这个offline是前级offline，sif会再把数据一个一个online 送给对应的ISP的乒乓buffer的进行处理的
2023-01-170 - AI初学者回复费小财:
了解，AF算法是怎么样的
2023-01-170 - AI初学者回复AI初学者:
AE算法能粗略的讲解一下吗
2023-01-170 - 费小财回复AI初学者:
地平线生态合作伙伴技术培训交流特训营第1209期 (horizon.ai)
来吧，里面不知是ae,awb 都有tuning的方法都有，建议你先看看
J5 J3在算法上差别不是特别大
2023-01-170 - 费小财回复AI初学者:
AF一般都是最经典的爬坡算法的，
分三步：
1.场景检测，判断是否需要进行focus
2.获取focus的大概的中心点
3.进行fine search 确定对焦点，发送给马达进行调整
2023-01-170 - AI初学者回复费小财:
谢谢大佬，我这边现在的sensor输出是奇数行，ISP能支持吗？
2023-01-170 - AI初学者回复费小财:
图像的3DNR效果，怎么评估好坏
2023-01-170 - AI初学者回复AI初学者:
ISP内部有多少gamma模块，分别位于哪些位置
2023-01-170 - AI初学者回复AI初学者:
另外能帮忙解释一下iridix的实现原理吗？
2023-01-170 - 费小财回复AI初学者:
不能，只支持偶数行，ISP J5是支持input crop的，xj3的需要，需要查一下
2023-01-170 - 费小财回复AI初学者:
这个就看图形清晰度了，评估的方案也是也需要分主观和客观场景的
2023-01-170 - 费小财回复AI初学者:
具体个数要查下手册，明天答复把
2023-01-170 - 费小财回复AI初学者:
iridix你可以理解为就是local tone mapping和global tone mapping
算法原理的话可以参考
2023-01-170 - AI初学者回复费小财:
RGBIR sensor支持吗？
2023-01-170 - AI初学者回复费小财:
没看到foggy模块啊，难道不支持吗
2023-01-172 - AI初学者回复费小财:
大佬，我明天开始放假了，最后几个问题帮忙一块解答吧；
1. ISP输出格式支持那些？
2.图像中的黑电平是怎么处理的？
3.紫边问题如何解决？
4.固有噪声问题怎么解决？
谢谢大佬
2023-01-170 - 费小财回复AI初学者:
硬件不支持，但是我们软件算法已支持
2023-01-170 - 费小财回复AI初学者:
你的问题都是J3上吗，J5好像是可以支持的但是具体怎么实现的算法上要去查下spec
2023-01-170 - 费小财回复AI初学者:
1.ISP，输出支持 rgb yuv raw 和解压后的数据都支持的
2.和电平的话通过blc模块实现的
3.紫边的话 ，J3支持去紫边的，通过调节饱和度来实现的，J5的集成在demosaic模块去做的，效果不如J3
4.固有噪声是不是通过一些滤波器就能实现的
2023-01-170
- 费小财Lv.5
您好，
问题是啥？
2023-01-14044- AI初学者回复费小财:
我想问，XJ3 ISP有哪个图像域，分别做了什么？
2023-01-140 - 费小财回复AI初学者:
YUV跟raw域了，是指这个吗？ XJ3 ISP都有的，pipeline也是通用的pipeline 大部分的模块都是有的
2023-01-140 - AI初学者回复费小财:
是的，除了YUV和RAW域，RGB域有吗，分别对图像做了哪些处理
2023-01-140 - 费小财回复AI初学者:
有的，那具体的有GAMMA,DeMoSaIC,denoise,dpc, 3a统计，lsc,ccm，基本的图像处理模块都有的
2023-01-140 - 费小财回复AI初学者:
你能连上我们的control tool吗，上面的有详细的模块的寄存器的，通过寄存器的话可以大体上知道目前J3整个ISP内部pipeline的架构的，当然也可以走官方渠道获取ISP相关的算法说明的
也可以通过论坛的视频（J5 ISP专题介绍）来掌握整个ISP的内部逻辑
2023-01-140 - AI初学者回复费小财:
你说的这些模块，哪些属于RAW域，哪些属于YUV域，哪些属于RGB域
2023-01-140 - 费小财回复AI初学者:
稍等，稍后给你看张图吧
2023-01-140 - AI初学者回复费小财:
好，谢谢
2023-01-140 - 费小财回复AI初学者:
这个是J5目前的主要算法模块了
2023-01-140 - 费小财回复AI初学者:
这个 概要的ISP的pipeline的，demosaic之后就是rgb域，然后通过color space转换就变成了YUV数据了
2023-01-140 - AI初学者回复费小财:
大佬，XJ3的ISP和J5是一个型号吗？
2023-01-140 - AI初学者回复费小财:
YUV域的HNR/TNR/ANR都有什么作用？
2023-01-140 - 费小财回复AI初学者:
不是一个型号，大体上大差不差的
2023-01-140 - 费小财回复AI初学者:
应该都是降噪的，可以都有也不是所有都需要，只是通用架构的
TNR：temporal noise reduction，时域降噪，采用多帧叠加的方式，去除时域噪声
ANR：advanced noise reduction，可以认为是单帧的空域降噪，包含降亮度噪声和色度噪声两个部分
HNR：hybrid noise reduction，融合了空域和频域的降噪方式，主要处理高频噪声
2023-01-140 - 费小财回复AI初学者:
有差别也有集成把，整体上J5的性能会强很多
2023-01-140 - AI初学者回复费小财:
sinter也是降噪的吧，为什么raw域降噪了，YUV也要降噪
2023-01-140 - AI初学者回复费小财:
问个小白问题：最主要的差别是什么？
2023-01-140 - AI初学者回复费小财:
还有一个问题，DRCD也是宽动态吧，和iridix有什么区别；
2023-01-140 - 费小财回复AI初学者:
对的，处理的算法的和处理的数据是不一样的，比如有很多模块会带来噪点，有的噪点也是原始的，这样处理的模块和算法就不一样了
2023-01-140 - 费小财回复AI初学者:
这个我要去看下，效果iridix主要是负责local tone mapping和global tone mapping, drcd是不是只是对数据进行解压，需要查下手册的
2023-01-140 - 费小财回复AI初学者:
时域空域频域, 3DNr的话主要是看降噪的效果的，越多肯定是越好的，成本肯定也是越大的
2023-01-140 - AI初学者回复费小财:
好的。麻烦查下告诉我，谢谢
2023-01-141 - AI初学者回复AI初学者:
另外你之前说J5 ISP比XJ3强很多，主要强在哪？
2023-01-140 - AI初学者回复费小财:
还有就是BLC之后的GAIN模块是干什么用的？
2023-01-143 - AI初学者回复费小财:
还有一个问题，LSC和WB的位置是不是反了？一般LSC在前，WB在后
2023-01-140 - AI初学者回复费小财:
没看到有去紫边的模块啊？
2023-01-140 - 费小财回复AI初学者:
对，J5不支持去紫边的功能的
2023-01-150 - 费小财回复AI初学者:
目前我们现在设计上就是这样，而且车载的sensor一般也都是采用sensor awb的
2023-01-151 - 费小财回复AI初学者:
处理pixel的性能要大，支持的算法模式和sensor的pattern要多，同时内部的效果处理会更好
2023-01-151 - 费小财回复AI初学者:
好的，等周一上班了我查下手册
2023-01-151 - 费小财回复AI初学者:
另外好像J3是支持去紫边的，你们对去紫边有特殊的要求的吗
2023-01-150 - AI初学者回复费小财:
一般图像效果优化中，紫边是一个常见问题，所以比较好奇，为啥XJ3没有去紫边？
2023-01-150 - 费小财回复AI初学者:
XJ3是有这个模块的，J5 没有单独的去紫边模块，应该是demosaic中的FC相关参数
2023-01-150 - 费小财回复AI初学者:
不好意思之前没说清楚的
2023-01-150 - 费小财回复AI初学者:
一般都是这样的。blc后加ISP数字gain，不过会优先使用sensor again /dgain，intergration time。ISPgain会开的很小，防止欠爆
2023-01-150 - 费小财回复AI初学者:
drcd是一个抽象出来的模块，用于表示压缩解压缩功能。可用作pwl解压缩，在tuning介绍中实际模块是gamma fe。另外也有对应的动态范围压缩模块功能。
2023-01-150 - AI初学者回复费小财:
1.pwl是指sensor端HDR合成吧？
2.解压缩之后，raw数据是从多少bit解压成多少bit？
2023-01-150 - 费小财回复AI初学者:
1，对的，sensor端hdr合成
2.J5上会从12bit解压到20bit的
2023-01-150 - 费小财回复费小财:
这个是J5的数据，J3的话要double check一下，大概率是一样的
2023-01-150 - AI初学者回复费小财:
谢谢大佬
2023-01-150 - 费小财回复AI初学者:
?, 不客气的
2023-01-160 - 费小财回复费小财:
抱歉，之前的数据有误，
J3上是从12bit解压到20bit的J5上是从12bit解压到24bit的
2023-01-160 - AI初学者回复费小财:
好的，谢谢大佬
2023-01-160 - 费小财回复AI初学者:
嗯嗯，好的
2023-01-160
- 颜值即正义Lv.2感谢您使用地平线芯片算法工具链，最近我们在收集大家的满意度反馈，欢迎您填写问卷，详细情况可见：https://developer.horizon.ai/forumDetail/1461770536984647822023-04-2400