Google Cloud 在 vLLM 中原生支持 TPU，优化长上下文多模态嵌入推理
Google Cloud 已将 TPU 原生支持集成至开源推理框架 vLLM，开发者可通过 GKE 弹性扩展嵌入模型流水线。针对 Qwen3-Embedding-8B 等模型的 15K+ 超长上下文推理，工程团队引入了硬件安全张量对齐、JAX/XLA 编译预热及分块预填充的混合 StepPool 架构等专项优化，在实现与 GPU 基线近乎一致的数值精度的同时提升吞吐，相关配置方案已在 GitHub 开源。
DC AI 热点
全部 AI 动态
9月25日2026-09-25
谷歌云 API Gateway 支持 MCP：将 REST API 原生转化为 AI Agent 工具
Google Cloud API Gateway 现已支持作为原生远程模型上下文协议（MCP）服务器，无需构建和维护中间件即可将 REST API 开放给 AI Agent。开发者只需在现有的 OpenAPI 3.x 规范中添加特定注解，即可快速将标准 REST 操作转换为可发现的 Agent 工具。网关可自动将 MCP JSON-RPC 请求转码为 REST 调用，直接复用原有的鉴权、配额和日志策略。
阅读原文 ↗推荐理由：大幅降低了将传统企业级 REST API 接入 AI Agent 架构的门槛，加速 MCP 生态落地。# Google Cloud# MCP# 智能体# API Gateway# REST API