AIDC
DC AI 热点

全部 AI 动态

9月22日2026-09-22
vLLM 更新✦ 精选AI 评分 75/10013:20

大模型推理框架发布 v0.30.0 版本:新增 DeepSeek-V4.1、GLM-5.3 等多款模型及优化支持

开源大模型推理框架发布 v0.30.0 版本更新,包含来自 315 位贡献者的 762 次提交。新版本支持了多款前沿大模型及架构优化,包括支持 MXFP8 格式 KV 缓存与 FlashMLA 的 DeepSeek-V4.1-Flash、支持 ROCm 与 LoRA 的 DeepSeek-V4-Flash-Vision-Exp、支持 EPLB 的 GLM-5.3-Flash,以及 K2-Horizon、Cohere Compass、Bailing V3 VL 等,并引入了基于 AVX512/AMX 的 CPU 后端支持。

阅读原文 ↗推荐理由:包含 DeepSeek-V4.1、GLM-5.3 等最新模型的推理支持及 FlashMLA、MXFP8 等底层算力优化特性。# 大模型# 推理# 开源# 算力# 多模态
9月16日2026-09-16
vLLM 更新AI 评分 25/10016:32

vLLM 协议组件 vllm-proto 0.2.0 版本发布

开源大语言模型推理框架 vLLM 相关协议组件 vllm-proto 发布 0.2.0 版本更新。当前素材仅包含该版本通过相关 Pull Request CI 验证的基础记录,未披露具体的更新日志、新特性及性能优化等技术细节,整体信息较为有限。

阅读原文 ↗推荐理由:开源大模型推理引擎相关组件的常规版本发布记录,但缺乏详细变更细节。# 推理# 开源# 大模型