Transformers 现已支持直接运行 llama.cpp 量化模型
Hugging Face 旗下核心框架 Transformers 现已支持直接加载和运行 llama.cpp 的量化格式模型。该功能进一步融合了主流开源推理生态，允许开发者在 Transformers 生态内直接使用经过 llama.cpp 极限量化的模型权重，大幅降低本地推理的显存占用并提升部署灵活性。由于输入信息较少，详细支持范围与参数请参阅官方更新说明。
DC AI 热点
全部 AI 动态
9月22日2026-09-22
9月21日2026-09-21
像物理学家一样剪枝大模型：将层块移除转化为伊辛优化问题
该研究提出了一种从物理学视角出发的大语言模型剪枝新方法，将大模型中的层块移除（Block Removal）形式化建模为伊辛优化问题（Ising Optimization Problem），旨在通过统计物理中的经典优化模型探索更高效、系统化的模型压缩与结构化剪枝方案。注：原始素材仅提供标题，详细算法实现与实验结果待论文正文披露。