FP8 推理是怎么做的？和 INT8 量化有什么区别？

一句话速记：FP8 有 E4M3、E5M2 两种格式，Hopper 之后的 GPU 原生支持 FP8 矩阵乘。推理常用 E4M3 存权重和激活，按张量或按通道（甚至按块）算缩放因子。相比 INT8，FP8 的非均匀分布更贴合神经网络的数值分布，对离群值更宽容，往往不需要复杂的校准就能接近无损。

量化、FP8

同章节的其他八股

• KV Cache 是什么？显存怎么算？如何优化？
• vLLM 的 PagedAttention 解决了什么问题？
• 什么是 Continuous Batching？
• 投机解码（Speculative Decoding）的原理？
• 大模型量化方法有哪些？GPTQ 和 AWQ 有什么区别？
• Prefill 和 Decode 阶段有什么区别？
• 推理服务的关键指标有哪些？
• Greedy、Beam Search、Top-k、Top-p、Temperature 的区别？
• vLLM、SGLang、TensorRT-LLM 怎么选？
• 知识蒸馏在大模型中怎么做？
• 如何降低推理延迟、提高吞吐量？
• 什么是 PD 分离（Prefill-Decode 分离）？