Mac双开源AI工作站搭建指南：精选工具与高效配置方案

2026年3月，Ollama的一项关键更新在开发者社区引发了广泛关注：其Mac版推理引擎正式从llama.cpp迁移至苹果的MLX框架。

这一决策的驱动力来自显著的性能提升。在配备M5芯片的Mac设备上，切换至MLX后，prefill速度提升超过57%，生成速度接近翻倍。部分测试中，首个token的等待时间（TTFT）甚至缩短至原先的25%。社区开发者实测反馈，解码速度最高提升了93%。

性能飞跃的根源在于架构的深度契合。Apple Silicon采用统一内存架构，CPU与GPU共享物理内存，消除了数据搬运瓶颈。MLX正是为此架构原生设计的框架，能够充分发挥其底层硬件优势。

更深层的加速来自M5芯片引入的专用硬件：每个GPU核心都集成了矩阵乘法单元Neural Accelerator，并通过Metal 4的TensorOps API进行调用。这标志着苹果首次在GPU层面为AI推理提供了可编程的硬件加速能力。

Ollama的这次转向，向生态释放了一个明确信号：Apple Silicon + MLX正成为本地AI推理的主流技术栈。Mac的角色，正从云端终端演变为能够独立运行AI任务的工作站。用户得以完全离线地部署OpenClaw、Hermes Agent等智能体应用。

然而，当技术迁移的兴奋期过后，一个更精细的技术挑战浮现出来。MLX当前支持的W4A16与W8A16量化模式，仅压缩了模型权重，计算过程中的激活值仍以FP16精度运行。这意味着，苹果专为INT8运算设计的Neural Accelerator硬件并未被完全利用，硬件潜力仅释放了一半。

正是在这个技术节点，明略科技通过两个开源项目给出了他们的解决方案：Cider与Mano-P。

Cider：释放Apple Silicon的完整AI算力

Cider是明略科技基于MLX自主研发并开源的端侧推理加速框架，专为macOS与Apple Silicon优化。

如果将Apple Silicon的推理过程比作工厂流水线，那么MLX当前的做法是：将原材料（权重）压缩后运输，但在加工（计算）环节仍使用原有的高精度工具。

Cider则更进一步：它连加工工具也一并更换，使其适配压缩后的材料。它不仅让权重以低精度存储，更让整个计算流程在INT8精度下执行，并通过TensorOps API充分调用GPU内的专用硬件加速单元。

具体而言，Cider提供了MLX原生缺乏的两种量化推理模式：

W8A8：权重与激活值同时量化至INT8，直接利用GPU TensorOps执行矩阵乘法，计算完成后反量化输出FP16结果。

W4A8：在W8A8基础上，将权重进一步压缩至INT4，使权重内存占用减半。两种模式均采用“融合算子”实现，将量化、计算、反量化合并为单次GPU调度，极大减少了中间结果的显存搬运开销。

目前，W8A8/W4A8激活量化已在Apple M5 Pro上稳定支持，M1至M4系列芯片暂不支持。

实测数据表现如何？在单算子层面，于Apple M5 Pro上对10240×2560规模矩阵进行测试，Cider的W8A8（Per-channel）模式相比MLX原生的W8A16方案，速度优势显著：序列长度M=1024时提速1.82倍，M=4096时提速1.84倍，M=8192时提速1.86倍。

在真实的VLM模型端到端测试中，使用Qwen3-VL-2B进行chunked prefill推理，W8A8模式下的整体prefill加速达到57%至61%。

这组数据的价值还在于其极小的精度损失。以Qwen3-8B为例，W8A8（Per-channel）量化后的困惑度（PPL）为9.756，与FP16原始精度（9.726）仅相差0.03。同时，整体Prefill耗时从FP16的179.9秒大幅降至123.5秒，提速约45%。这意味着，以微乎其微的精度代价，换取了远超原精度方案的推理速度，这在量化实践中是难得的平衡。

Cider服务于整个MLX生态。任何已适配MLX的模型，开发者仅需一行代码即可接入加速：convert_model(model)。

Qwen、Llama、Mistral等主流开源模型，以及Qwen3-VL等视觉语言模型均可直接受益，无需修改模型结构。针对VLM场景，Cider内置了OpenAI兼容的推理服务接口，开发者可在本地一键部署支持图文输入的推理服务，无缝对接现有工具链。这对于需要本地处理截图、文档或设计图的企业应用而言，提供了开箱即用的能力。需注意，为保护视觉编码器精度，最新建议仅对VLM中的语言模型部分调用convert_model(language_model)。

此外，Cider的量化加速仅作用于prefill阶段，decode阶段会自动无缝回退至原始权重推理，对输出质量无任何影响。

Cider还包含一个实验性模块，探索方向更为前沿。在苹果芯片的推理过程中，神经网络引擎（ANE）通常处于闲置状态。Cider的ANE+GPU异构并行模块尝试在prefill阶段，将线性层运算按输出维度拆分，由ANE处理约65%的通道，GPU处理剩余35%，两者并行计算后合并结果。在M4芯片的Qwen3-VL-2B prefill同步测试中，该方案相比纯GPU推理带来了3%至17%的速度提升。

该探索仍处早期，尚未实现MLX惯用的延迟求值，且目前仅在M4上验证。但它揭示了一个长远目标：最大化利用Mac上的每一块计算单元。我们期待明略团队基于此方向带来更多突破性进展。

Mano-P：赋予Mac视觉交互的“手”

与Cider同步开源的，是明略科技的GUI-VLA智能体模型Mano-P 1.0。Mano在西班牙语中意为“手”，P代表Private。其项目宣言指出：“我们坚信，个体与组织都能创造属于自己的私有AI，人机协同的美好世界即将到来。”

Mano-P的核心能力是通过纯视觉理解，让AI直接“看懂”屏幕并操作图形界面（GUI）。它不依赖CDP协议或HTML解析，因此不受限于浏览器，可覆盖桌面软件、Web系统乃至复杂的专业工具。

在全自动编程流水线中，其最直接的价值是替代人工执行GUI测试：Claude Code生成代码后，由Mano-P自动打开界面、点击验证并反馈结果，实现无需人工介入的完整开发闭环。在常规流程中，GUI测试消耗的云端token常超过50%，Mano-P端侧模型将这部分成本直接归零。

在OSWorld基准测试中，Mano-P 1.0-72B以58.2%的成功率位列所有专用GUI智能体模型全球第一，领先第二名超过13个百分点；在WebRetriever Protocol I上，它以41.7分超越了Gemini 2.5 Pro Computer Use（40.9）和Claude 4.5 Computer Use（31.3）。

在端侧部署上，其4B量化模型在Apple M4 Pro上可实现476 tokens/s的prefill速度和76 tokens/s的解码速度，峰值内存仅4.3GB。这意味着，一台配备M4芯片、32GB内存的Mac mini即可本地运行，所有截图与任务数据完全保留在设备内。相比标准PyTorch CPU推理，端侧推理速度提升超过60倍，且8-bit量化输出与全精度结果保持一致，坐标偏差严格控制在1像素以内。

在Apple M5 Pro与Cider推理SDK的组合下，Mano-P 1.0-4B启用Cider的W8A8激活量化后，同一输入的prefill时间从2.839秒降至2.519秒，加速约12.7%。

Mano-P与Cider的协同落地效果，也经过了真实任务的严格验证。明略科技围绕其端到端自动化应用构建流水线Mano-AFK构建了五个Web应用（涵盖差旅分账、订单管理等场景），并设计了一套包含100条任务的CUA基准。每条任务均区分“无bug版本”与“预注入bug版本”，以考察模型能否准确判断应用可用性。在MacBook Pro M5（16GB内存）上，Mano-P在W8A16模式下的准确率为58.0%，接入Cider W8A8模式后准确率为54.0%。

这组数据揭示了一个关键的工程细节：在16GB内存的设备上，W8A8模式需要同时保留原始权重与INT8权重，内存占用近乎翻倍。在内存紧张时可能引发换页操作，从而抵消prefill阶段的加速收益。

因此，最新建议在内存余量超出模型体积4GB以上的设备（如32GB或更高配置）上使用W8A8模式，以充分发挥Cider的加速优势——这也正是Mano-P推荐的标准硬件配置。这组数据的意义，不在于证明W8A8在所有场景下均优于W8A16，而在于验证了Cider与Mano-P组合在真实任务中已可端到端运行，其性能边界与适配条件已有了明确的工程结论。

Mano-P以Apache 2.0协议开源，支持商业使用与二次开发。其完整技术栈（包括训练方法、剪枝与量化方案）也将后续开源，赋能企业与开发者基于自身数据训练定制化的GUI Agent模型。

Cider + Mano-P：构建快速、实用的私有AI

单独来看，Cider是一个面向开发者的推理加速工具，惠及所有运行于Mac的MLX模型。单独来看，Mano-P是一个GUI智能体，其价值在于特定的自动化场景。

但将两者结合，它们共同指向同一个目标：Private AI——让AI真正归属于使用者，而非服务提供商。

这一理念在明略科技此前对Mano-P的阐述中已有体现，当时称为Personal AI。“AI for personal，并非指每个人都能使用AI，而是指每个人都能创造AI”。这句话的核心在于AI的所有权。当所有人都调用同一个云端模型时，AI只是一种服务；而当模型运行于你的设备、适配你的数据与场景时，AI才真正成为“属于你的工具”。

Private AI是这一理念的深化：Private不仅意味着私密，更意味着私有——数据私有、推理私有、能力私有。

Cider解决的是“速度”问题：让端侧推理足够快，使得本地运行不再是对云端的妥协，而是一个切实可行的工程选择。Mano-P解决的是“场景”问题：证明端侧AI可以在具体、高价值的场景中真正可用。

两者叠加，才使得“数据零上云”从安全口号转变为可实际部署的工程方案：无需调用API、无需上传截图、无需支付费用，成本可控、离线可用、数据完全自主。纯视觉感知与极速本地推理的结合，让数据隐私从承诺变为物理隔离的必然。端侧AI不是缩水版，而是下一代AI落地的重要形态。

这也是Apple Silicon生态中一个值得关注的方向。苹果自身持续加码MLX；在刚结束的ICLR 2026大会上，苹果展台的核心演示之一便是MLX在MacBook Pro M5上的本地LLM推理能力。

而Cider所做的工作，是在苹果最新生态已搭建好的地基上，补全了原生框架尚未覆盖的一层：更充分地调动苹果自家芯片内的专用硬件。用明略科技自己的话说：“我们拥抱了苹果的最新开源生态，并且比苹果原生框架更彻底地激发了硬件潜能。”

基于私有AI的未来展望

在我们此前对明略集团副总裁、多模态首席科学家赵晨旭的访谈中，他描绘了一个即将到来的应用场景：假设你有一个公司内部的保密系统，需要AI协助操作。现有方式是将账号密码以明文写入AI的记忆文件，安全隐患显而易见。

但如果模型运行在本地，便有了另一种可能：直接通过自然语言指令“将这个密码记入你的参数”，模型自动触发学习流程，将信息训练进自身权重，而非存储为可被读取的明文。当你再次询问密码时，它会回答“不知道”；但当你要求它登录时，它却能成功执行。

这套能力，明略科技称之为Auto Agent Learning。据了解，这将是他们即将公布的下一个技术方向。

Auto Agent Learning旨在解决一个核心问题：如何让一个运行在本地的小型模型，能够通过自然语言在用户设备上持续更新参数，从而适应其私有场景、工作习惯与专属数据。

正如前文探讨Private AI时所提及的，这不仅是隐私保护，更是对AI所有权的重新定义：你将告别传统的AI服务调用模式，转而培养一个完全专属的智能体。由于模型基于你的个人数据与习惯在本地持续演进，它真正实现了从“属于你”到“更懂你”的跨越。它将伴随你的使用场景不断成长，最终蜕变为最契合你个人需求的专属形态。

Cider和Mano-P是这条道路上已经落地的两步棋。Cider让本地推理足够快，确保模型能在你的苹果设备上迅速响应；Mano-P让模型能看懂屏幕、操作界面，打通从“理解”到“行动”的最后一步。两者均以开源协议发布，向更广泛的开发者社区发出了邀请。

而Auto Agent Learning，则是这条道路上等待落下的下一块关键棋子。

当模型运行于用户自己的设备，当它能够在用户场景中持续学习与进化，Private AI才会从一个概念，转变为每个人都能真正拥有的智能伙伴。

私有AI无疑是未来不可忽视的重要趋势。值得欣慰的是，在这条通往个人专属智能的道路上，我们已经看到了先行者的坚实足迹。