DPara：结合并行草稿器与并行投机解码的高效推理框架
针对大模型推理加速，现有并行投机解码（PSD）虽能重叠草稿生成与验证过程，但往往依赖对接受前缀和额外标记的预先猜测，猜错会导致批处理回退至低效的串行起草。论文提出 DPara 框架，在复用高效并行草稿器的同时，确保目标模型验证与起草阶段在每一轮均实现重叠，彻底消除了概率性回退缺陷，保障了投机解码流水线的高效利用。注：素材末尾存在文本截断。
推荐理由提出 DPara 框架解决了并行投机解码中因猜测失误而退化为串行的痛点，进一步提升大模型推理吞吐与时延表现。
原标题：When Parallel Drafter Meets Parallel Speculative Decoding
阅读 arXiv 自然语言处理 原文 ↗