mlxrunner 发布 v0.34.2-rc1:重构模型代码架构并整合量化逻辑
mlxrunner 推出 v0.34.2-rc1 预发布版本,重点对 model 模块进行了结构重构。新版本梳理了 runner 与模型架构协议、检查点打开以及从检查点张量构建神经网络层这三项核心职责。通过将 base.go 重命名为 model.go,并把 safetensors 头部扫描与 TensorQuantInfo 集中归入 quant.go,使得检查点量化信息的读取与解析逻辑更加聚合规范,同时规范了 nvfp4 等全局缩放辅助工具的处理。
推荐理由mlxrunner 推理运行框架的代码模块重构与维护版本,主要涉及量化解析和文件架构优化,技术影响力有限。
原标题:v0.34.2-rc1: mlxrunner: lay out model by contract, checkpoint and construction
阅读 Ollama 更新 原文 ↗