一句话速记：大模型网关的核心功能包括「多模型协议归一化 + 双桶限流与配额预扣 + 零缓冲流式代理转发」。通常以标准接口协议为基准向下适配不同厂商模型，通过 RPM 与 TPM 滑动窗口进行配额预估拦截并在流式结束后按实际用量核销；反向代理层关闭响应缓冲以保障首字延迟（TTFT），重试策略通常仅限于首包返回之前，首包一旦吐出后若发生异常则中断连接并触发降级处理。
系统设计、LLM 网关