AWQ：AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration

MLSys 2024 · MIT

通过激活分布识别并等价缩放1%重要权重通道，实现硬件友好的无重构低比特权重仅量化。