Transformers 现已支持直接运行 llama.cpp 量化模型
Hugging Face 旗下核心框架 Transformers 现已支持直接加载和运行 llama.cpp 的量化格式模型。该功能进一步融合了主流开源推理生态,允许开发者在 Transformers 生态内直接使用经过 llama.cpp 极限量化的模型权重,大幅降低本地推理的显存占用并提升部署灵活性。由于输入信息较少,详细支持范围与参数请参阅官方更新说明。
Hugging Face 旗下核心框架 Transformers 现已支持直接加载和运行 llama.cpp 的量化格式模型。该功能进一步融合了主流开源推理生态,允许开发者在 Transformers 生态内直接使用经过 llama.cpp 极限量化的模型权重,大幅降低本地推理的显存占用并提升部署灵活性。由于输入信息较少,详细支持范围与参数请参阅官方更新说明。
开源项目 oMLX 的创建者兼维护者 Jun Kim 宣布加入 Hugging Face,未来将专注于支持与发展苹果芯片机器学习框架 MLX 的开源生态。MLX 是苹果专为 Apple Silicon 设计的深度学习框架,oMLX 则为其相关衍生工具。由于原文仅提供标题信息,其具体职责及合作路线图等细节尚未披露。