专栏算法工具链qat MultiheadAttention底层查表算子

qat MultiheadAttention底层查表算子

已解决
yy12342024-08-23
78
2

用户您好,请详细描述您所遇到的问题,详细的描述有助于帮助我们快速定位,解决问题~Thanks♪(・ω・)ノ

1. 芯片型号:J5

2. 天工开物开发包 OpenExplorer 版本: J5_OE_1.1.68

3. 问题定位:qat模型转换

4. 问题具体描述:qat与定点模型差异较大,通过工具链排查定位到是softmax及LayerNorm等算子的量化引起,手册说支持手动修改查表方法,有具体操作示例吗?




算法工具链
评论2
0/1000
  • yy1234
    Lv.2

    是不是底层的东西没办法改的,要通过其它手段优化量化损失?

    2024-09-02
    0
    0
  • Huanghui
    Lv.5
    2024-09-19
    0
    0