流式推理关键技术指标
实时遥测- 首字响应延迟 (TTFT): 165 ms (优化前 450ms)
- Token 生成间隔标准差: ±4.2 ms (极度平滑)
- Nagle 算法状态: 强制旁路 (TCP_NODELAY)
- 长连接保活心跳: 15s HTTP/2 PING 穿透
- 反向代理缓冲 (Proxy Buffer): Disabled (零缓存即时下发)
日志分析总结
大语言模型自回归推理每 30ms 产出微小 Token。传统网络栈倾向于攒满 MSS 报文再发出,导致界面呈现卡顿喷涌。xsus 观测站边缘节点在链路全路径剥离 Nagle 与延迟 ACK,配合持久化 HTTP/2 复用池,让思维互动如行云流水。
查阅完整专题论文 ARC-2026-02 →