本地大模型硬件推荐：速度与效果选型指南
要在本地流畅运行 Hermes Agent，既要低延迟响应，又要高精度推理——关键在于摸清手头硬件的显存阈值。模型选错，轻则推理速度暴跌，重则进程直接崩溃。选对之后，调试代码、撰写邮件、解析文档等操作均能控制在数秒内完成。
先给一个硬性判断：模型选择的核心依据就是显存容量。M系列Mac用户直接拉取gemma4:e4b；搭载RTX 3060或4070的机器，用qwen2.5:7b-q4_k_m最稳；RTX 4090这类24GB显存的旗舰卡，直接上gemma4:26b-a4b。但光选对模型远远不够——max_context_length、量化等级、内存模式等参数，哪怕一个没校准，实际体验也会大打折扣。
先查硬件底牌：三步锁定可选模型范围
第一步，打开终端，NVIDIA用户执行nvidia-smi，Mac M系列用户执行system_profiler SPDisplaysDataType，确认显存总量。注意看【Total Memory】字段，别误读成已用值。
第二步，将显存数值对照实测占用门槛。Hermes-7B-v2在FP16精度下需要14GB显存，Gemma 4:26B-A4B在Q4_K_M量化下占用12.3GB，Llama 3.1-8B-Q4_K_S在M2 Ultra上只吃5.1GB统一内存。别轻信标注的“理论最低值”，以峰值实测为准。
第三步，务必留出至少15%的余量。如果仅有16GB显存，【绝对不要碰Hermes-13B-v1或Gemma 4:31B】，否则首次加载模型就会触发CUDA out of memory，进程直接退出且不给出具体报错。
按设备类型直接抄作业
方法一：MacBook Pro M1/M2/M3全系列（无独显）
苹果用户先安装Ollama，然后拉取gemma4:e4b。启动Hermes时，在config.yaml中指定model_name: "gemma4:e4b"即可。该版本的推理核心是Google专为移动端优化的，256K上下文全开也不卡顿。写邮件、读文档、生成PPT大纲这类中低复杂度任务，它完全胜任。
方法二：RTX 3060（12GB）/RTX 4070（12GB）台式机
优先拉取qwen2.5:7b-q4_k_m，然后启动ollama serve，再配置Hermes的provider为ollama，endpoint保持默认的http://localhost:11434/api/generate。这套组合在12GB显存下token/s稳定在38到42之间，能完整跑通skills/debug_helpers.py里的三步终端诊断流程，不会被截断上下文。
方法三：RTX 4090（24GB）或双卡3090工作站
直接上gemma4:26b-a4b。加载时用OLLAMA_NUM_GPU=1强制单卡加载，避免多卡通信额外开销。然后在config.yaml里开启streaming: true，同时将max_context_length设为262144。这一步必须警惕：【如果不设max_context_length，Ollama默认只喂8K token，Gemma 4那256K的长上下文能力就被废了一大半】。
速度与效果不可兼得？其实是配置没调对
为什么响应快但答不准？或者推理准但首字延迟特别高？
第一，若响应快但回答跑偏，大概率是模型太小或上下文被截断。马上检查config.yaml里的max_tokens，确保它大于等于2048；再查temperature是否被人误设成1.2以上。
第二，若推理准确但首字延迟（TTFT）超过2.3秒，则关掉所有非必要插件，临时把memory.type切到none，然后执行hermes config check。经验表明，90%的高TTFT问题出在向量库初始化阻塞，而非模型本身。
第三，量化档优先选Q4_K_M，别碰Q3_K_M或Q2_K。数据摆在那里：Q3量化下Hermes-7B-v2在4070上幻觉率直接上升37%，而Q4下精度损失仅0.8%，token/s反而提升了11%。