Bonsai 2 27B模型发布：实现近无损压缩且体积缩减至九分之一
开源社区发布了 Bonsai 2 27B 模型及其相关量化版本。该模型通过先进的压缩与量化技术，在保持接近无损性能的前提下将模型体积缩减至原来的九分之一，其 GGUF 格式模型大小仅约 5.95 GB。开发者可以通过定制的 llama.cpp 分支运行时环境在本地设备（如 macOS 等）上部署和体验该高效压缩模型。
推荐理由展示了大模型极端压缩（近9倍压缩）并在端侧高效推理的最新落地实践。
原标题：Bonsai 2 27B: Near-Lossless Compression in a 9x Smaller Footprint
阅读 Simon Willison 原文 ↗