Ollama第三方应用访问指南:快速接入技巧
本地部署大模型时,一个常见的痛点在于:Ollama 默认会将模型文件存放在系统盘(Windows 环境通常是 C 盘),而单个模型动辄数 GB,C 盘空间很快就会被占满。更令人头疼的是,界面上找不到直观的“设置”按钮来调整存储位置。实际上,解决方案隐藏在环境变量中。
模型所在磁盘空间不足如何应对?
Windows
先查询 Ollama 的帮助信息,确认可调用的参数:
ollama.exe serve --help
返回的信息中包含一个关键的环境变量 OLLAMA_MODELS,其默认值为 ~/.ollama/models。只需将其修改为你希望存放的路径(例如 D 盘下的某个目录),Ollama 即会把模型存储到新位置。配置方式有两种:一是在系统设置中添加用户变量或系统变量;二是在命令行中直接设置。
命令行方式更为直接:
set OLLAMA_MODELS=d:ollama
设置完成后,记得重启 Ollama 服务,新路径才会生效。
Linux 和 macOS 下
在 Linux 或 macOS 上,默认路径同样是 ~/.ollama/models,与 Windows 一致,通过环境变量 OLLAMA_MODELS 来调整。例如希望迁移到 /data/ollama 目录:
export OLLAMA_MODELS=/data/ollama
将这条命令添加到 shell 配置文件(例如 .bashrc 或 .zshrc)中,即可免除每次手动设置的繁琐。
导出某个模型
有时需要将已下载的模型单独导出为 GGUF 文件,以便备份或迁移。以 qwen:7b 为例,先查看该模型的详细文件信息:
ollama show --modelfile qwen:7b
返回的信息中,FROM 行后面的路径即为模型文件的实际物理位置(一个以 SHA256 哈希命名的 blob 文件)。例如在 macOS 上看到的输出为:
FROM /Users/m2max/.ollama/models/blobs/sha256-87f26aae09c7f052de93ff98a2282f05822cc6de4af1a2a159c5bd1acbd10ec4
将此文件复制出来,并重命名为 qwen_7b.gguf 即可:
cp /Users/m2max/.ollama/models/blobs/sha256-46bb65206e0e2b00424f33985a5281bd21070617ebcfda9be86eb17e6e00f793 qwen_7b.gguf
Windows 下的操作类似,先用 ollama.exe show --modelfile qwen:7b 查看路径,然后使用 copy 命令导出:
copy C:Userssteven.ollamamodelsblobssha256-87f26aae09c7f052de93ff98a2282f05822cc6de4af1a2a159c5bd1acbd10ec4 qwen_7b.gguf
注意,导出的文件为标准 GGUF 格式,可直接被其他推理框架调用。
如何导入模型
如何从网上下载某个模型
你可以从 Hugging Face 或国内镜像站 hf-mirror.com 下载现成的 GGUF 格式模型(省去自行转换的环节)。以近期热门的 Octopus-v2 为例,搜索该模型名称,找到带有 GGUF 标识的仓库,例如 这个链接,选择对应量化版本的 .gguf 文件下载即可。
如何导入模型
下载好 GGUF 文件后,要将其转换为 Ollama 可识别的模型,需要准备一个 Modelfile。最简单的写法只需一行:
From /path/to/qwen_7b.gguf
也可以更完整地使用从 ollama show 导出的模板,将其中 FROM 路径替换为你自己的 GGUF 文件路径,并保留原有的 TEMPLATE 和 PARAMETER 配置。注意不同模型的 TEMPLATE 和 stop 参数可能有所差异,如果不确定,留空也可;Ollama 会使用默认值。
准备好 Modelfile 后,执行创建命令:
ollama create qwen:7b -f Modelfile
有一个容易踩坑的地方:导入时,硬盘可用空间最好保持在模型大小的 2 倍以上。因为 ollama create 过程会先复制一份模型数据(transferring model data),然后生成一个新的模型层(creating model layer),最后才删除临时副本。如果空间不足,导入就会失败。
第三方应用如何访问 Ollama
Ollama 默认提供了一套兼容 OpenAI 的 API,这意味着许多支持 OpenAI 接口的工具(例如浏览器翻译插件)可以直接调用本地的 Ollama 模型。以沉浸式翻译为例,你需要设置环境变量 OLLAMA_ORIGINS 来允许跨域访问。
最省事的办法是允许所有来源:
OLLAMA_ORIGINS=*
但需要留意,这样做任何应用都能访问你的 Ollama 服务。如果担心安全性,可以只开放特定的 origin,例如浏览器扩展的协议前缀:http://,https://,chrome-extension://,safari-extension://,moz-extension://,ms-browser-extension://。
设置好环境变量并重启 Ollama 后,在沉浸式翻译的配置里选择自定义 OpenAI API,填入地址 http://127.0.0.1:11434/v1,模型名填写你导入的模型(比如 qwen:14b),即可在浏览器中直接体验本地翻译。实际效果如何?试试看,流畅度令人满意。




