我们很高兴地宣布 NeuroAI 3.0 正式发布！自研图融合算法、FP8 混合精度推理、多级 KV-Cache……让推理延迟降到 12ms 以内，吞吐提升 6 倍。
背景
大模型从 7B 一路走向 70B+，兼顾低延迟与高吞吐需硬件、算子、图、调度四层协同优化。
1. 图融合与算子重排
编译期自动识别可融合子图，200+ 个独立算子合并为 27 个内核，性能提升 2.4x。
2. 细粒度 KV-Cache
Page-based KV-Cache + PagedAttention，GPU 利用率从 58% 提升到 96%。
3. 投机解码
引入 4 层 Draft 小模型，平均 decoding step 从 30+ 降到 5~8。