mlxrunner 修复投机解码场景下的 KV 缓存内存泄漏缺陷
在 v0.34.2-rc2 版本中,mlxrunner 修复了投机解码过程中的内存泄漏问题。此前解码循环仅在生成 Token 数量恰好为 256 的整数倍时释放 MLX 缓冲区池;但投机解码每轮会生成多个 Token,容易直接跨过该固定边界导致释放逻辑未触发。在长上下文生成场景下,未释放的旧 KV 缓存会导致显存占用不断攀升直至 OOM。新版本修改为只要单轮跨越 256 边界即触发释放。
推荐理由针对投机解码在长上下文生成时的显存泄漏缺陷进行了针对性修复,提升了推理稳定性。
原标题:v0.34.2-rc2: mlxrunner: Release freed KV buffers during speculative decode
阅读 Ollama 更新 原文 ↗