AIDC
← 返回全部动态
vLLM 更新AI 评分 30/10009月17日 11:47

vLLM-proto 0.3.0 版本正式发布

开源大模型推理引擎 vLLM 的关联组件库 vllm-proto 正式发布 0.3.0 版本。由于发布页面目前仅包含版本更新标签,未提供详细的更新日志、特性列表或功能改进说明,具体变更细节有待官方进一步补充披露。该库通常用于定义 vLLM 相关的协议缓冲区与接口规范,为推理系统服务化提供基础通信支持。

推荐理由开源大语言模型推理框架 vLLM 相关协议组件的版本发布,但缺乏具体更新细节。

原标题:proto-v0.3.0

阅读 vLLM 更新 原文 ↗