基于 Amazon EKS、EFA 与 DeepEP 扩展 MoE 强化学习,吞吐量提升 40%
文章介绍了如何在 Amazon EKS 上利用 Elastic Fabric Adapter (EFA) 和 DeepEP 扩展混合专家模型(MoE)的强化学习训练。该方案构建了结合 Amazon EKS、EFA 与 Amazon S3 的技术架构,有效针对大规模 RLHF 与 GRPO 训练场景,将整体强化学习 rollout 阶段的吞吐量提升了 40%,优化了分布式集群的通信与计算效率。
文章介绍了如何在 Amazon EKS 上利用 Elastic Fabric Adapter (EFA) 和 DeepEP 扩展混合专家模型(MoE)的强化学习训练。该方案构建了结合 Amazon EKS、EFA 与 Amazon S3 的技术架构,有效针对大规模 RLHF 与 GRPO 训练场景,将整体强化学习 rollout 阶段的吞吐量提升了 40%,优化了分布式集群的通信与计算效率。
该方案结合 Amazon SageMaker HyperPod 与云原生存储 Qumulo,支持将模型训练算力集群与数据集部署在不同的 AWS 区域。测试验证结果显示,通过利用 NeuralCache 进行短暂预热后,跨地域远程计算集群的训练数据吞吐量能够达到与本地同地域集群相同的性能水平,有效解决了跨区域算力调度与数据访问的瓶颈。
GPT-6 Sol 与 GPT-6 Luna 模型现已在 Amazon Bedrock 平台正式全面可用(GA)。这两款新模型的引入,旨在帮助开发者和企业用户根据不同业务工作负载的具体需求,更灵活地在智能水平与运行效率之间进行权衡和匹配,从而为日常工作流及各类生产力场景提供更多样化的生成式 AI 模型选择。
在智能体开发中,技能(Skills)可将特定领域流程编码为可复用的便携指令,但仅凭流畅的回答无法证明智能体选择了正确的技能或严格遵循了指令。本文介绍了如何利用 Strands Evals 与 Amazon Bedrock AgentCore 评测体系,量化衡量智能体在实际任务中的技能选择准确性及指令遵循能力,为构建可靠的智能体应用提供系统化评测方案。
Trane Technologies在约四周时间内,基于Amazon Bedrock AgentCore构建了一套AI智能体解决方案。该方案将原本需要花费20分钟、涉及多个屏幕的传统建筑诊断复杂工作流,简化为仅需20秒的自然语言交互,使获取建筑运行洞察的时间效率提升了60倍。相关内容详细介绍了该解决方案的系统架构方法与关键设计决策。
亚马逊云科技(AWS)汇总了 Amazon SageMaker AI 在 2026 年初至今推出的 13 项推理相关更新,涵盖全托管端点与 Amazon SageMaker HyperPod Inference 两大部署路径。重点功能包括推理配置推荐、容量感知实例池、分层 KV 缓存机制,以及预填充与解码解耦(disaggregated prefill and decode)等大模型推理优化技术,旨在提升云端 AI 部署效率并降低算力成本。