BitDance:在 MXFP6 硬件上计算 NVFP4
将 NVFP4 B32 的 E4M3 scale 拆分并折叠进 MXFP6,在保留 4-bit 权重存储的同时使用原生 MXFP6 矩阵计算,并分析量化误差、端到端精度、内存与性能。
分类
将 NVFP4 B32 的 E4M3 scale 拆分并折叠进 MXFP6,在保留 4-bit 权重存储的同时使用原生 MXFP6 矩阵计算,并分析量化误差、端到端精度、内存与性能。
从 MXFP4、MXFP6 与 NVFP4 的数据定义出发,分析 block scale、two-level scaling 及 scale 位宽分配对权重量化误差的影响。