AIDC
← 返回全部动态
Cerebras 官方博客(网页)AI 评分 78/100收录于 09月25日 07:49

Cerebras为企业提供万亿参数推理支持,Kimi K2.6实测达981 token/秒

Cerebras宣布在其企业级测试中支持Kimi K2.6超大模型的极速推理,实测输出速度达到每秒981个Token。该方案旨在通过其专有算力芯片解决大模型推理的吞吐与延迟瓶颈,支持实时智能体编程及其他万亿参数级别的复杂AI工作负载,加速超大规模模型在企业级生产环境的高性能落地。

推荐理由Cerebras展现了其晶圆级芯片在超大参数模型上的极端推理吞吐表现,对低延迟企业级算力架构极具参考价值。

原标题:Cerebras Brings Trillion Parameter Inference to Enterprises with Kimi K2.6

阅读 Cerebras 官方博客(网页) 原文 ↗