大模型推理框架发布 v0.30.0 版本:新增 DeepSeek-V4.1、GLM-5.3 等多款模型及优化支持
开源大模型推理框架发布 v0.30.0 版本更新,包含来自 315 位贡献者的 762 次提交。新版本支持了多款前沿大模型及架构优化,包括支持 MXFP8 格式 KV 缓存与 FlashMLA 的 DeepSeek-V4.1-Flash、支持 ROCm 与 LoRA 的 DeepSeek-V4-Flash-Vision-Exp、支持 EPLB 的 GLM-5.3-Flash,以及 K2-Horizon、Cohere Compass、Bailing V3 VL 等,并引入了基于 AVX512/AMX 的 CPU 后端支持。
推荐理由包含 DeepSeek-V4.1、GLM-5.3 等最新模型的推理支持及 FlashMLA、MXFP8 等底层算力优化特性。
原标题:v0.30.0
阅读 vLLM 更新 原文 ↗