模型量化怎么选?GPTQ、AWQ与SqueezeLLM原理和效果对比 同样是4-bit量化,为什么不同算法在同一个模型上的困惑度差异会超过1个点?答案藏在权重误差补偿、激活异常值保护和稀疏结构利用这三条技术路线里。GPTQ沿用OBQ的二阶误差思想,用Hessian逆矩阵逐列修正剩余权重,适合追求通用性和工程成熟度的场景;AWQ发现激活中的异常通道对量... 栏目:语言推理 时间:09-24 模型量化 GPTQ AWQ