苹果评估PrismML 1比特量化技术，实现27B大模型iPhone本地运行

苹果公司正对人工智能初创公司 PrismML 开发的苹果评估模型量化技术进行深度评估。该技术能够将大型语言模型（LLM）所需的比e本内存资源从约 54GB 大幅压缩至 4GB 以内，为端侧部署提供关键支持。特量

PrismML 的化技核心突破在于其原生 1-bit 模型压缩方案，可将模型体积缩减至全精度版本的术实约七分之一，内存占用降低超过 90%。现B型i行在精度保持上，大模地运压缩后的苹果评估模型性能接近半精度浮点数（FP16）水平，同时显著提升了推理速度并降低了设备功耗。比e本

近期，特量PrismML 正式发布了 Bonsai 27B 模型。化技该模型基于 Qwen 3.6 27B 架构进行优化微调，术实在保留原模型约 90% 智能水平的现B型i行前提下，已成功实现在配备 12GB 运行内存的大模地运 iPhone 15 及后续机型上本地部署，完整运行拥有 270 亿参数的苹果评估语言模型。

很赞哦!（37）