手把手教你本地快速部署Ollama运行大语言模型完整指南(2025最新推荐)

2026-06-20阅读 0热度 0
ai

前言

这篇文章要聊的是,如何在Windows上快速部署Ollama这个开源大语言模型运行工具,再装上Open WebUI,配合cpolar内网穿透,让你在外面也能随时访问自己家里搭的llama2、千问qwen这些大模型环境。

ChatGPT火起来之后,大语言模型(LLM)成了AI圈最热门的话题,各大厂也纷纷推出自己的模型,有的还开源了。今天要分享的Ollama,最近很火,对小白来说也特别友好——本地部署运行本地LLM的工具,一键搞定。

在本地跑大模型,好处挺明显的:隐私保护好、不用花钱、不受网络限制、还能随便尝鲜各种开源模型。Ollama支持现在主流的开源模型,比如llama2、千问qwen、mistral等,Windows、Linux、macOS都能装。稳定性和便利性都不错,下面就直接上实操。

1. 运行 Ollama

环境:Windows 10 专业版。

下载: 打开Ollama官网下载页(https://ollama.com/download),点Windows,再点下载按钮。

安装: 下载完双击安装程序。

点Install安装。

装完没提示,打开终端(这里用Windows PowerShell,其他也行)。现在Ollama装好了,需要跑一个大模型来测试。用千问qwen举例,它在中文上表现相对好点。

ollama run qwen

系统开始下载qwen模型,默认保存在C盘(路径:C:\Users\\.ollama\models)。想改位置,可以设置环境变量OLLAMA_MODELS,然后重启终端和Ollama服务。

setx OLLAMA_MODELS "D:\ollama_model"

下载完成后,在终端里直接输入问题就能用了。

到这儿,Windows本地部署Ollama并跑上千问模型就完成了。一键搞定,对新手来说确实友好。

2. 安装 Open WebUI

但只能在黑乎乎的终端里用,界面不如ChatGPT好看。要是能有个Web页面交互,体验好很多,还能保留聊天记录,方便翻阅。这时候就可以在Windows上部署Open WebUI,它之前叫Formerly Ollama WebUI,本来就是为了适配Ollama的Web界面,用惯了ChatGPT的人看着也亲切。当然,还有其他WebUI可选,以后有机会再聊。

2.1 在 Windows 系统安装 Docker

如果之前没装过Docker,需要按下面三步来:

第一步:启动 Hyper-V

打开控制面板 → 程序和功能 → 启用或关闭Windows功能。

勾选Hyper-V虚拟机平台Linux子系统,点确定。

然后重启电脑。

第二步:安装 WSL

以管理员身份打开PowerShell,执行:

wsl --update
wsl --install

再重启一次电脑。

第三步:下载 Docker Desktop

访问Docker官网Windows安装页面(https://docs.docker.com/desktop/install/windows-install/),下载最新版。

选择Windows版本下载。

双击安装,如果第一次装,完了会提示重启。重启后点桌面上的Docker Desktop图标,选先不注册直接登录。Docker Desktop打开后,左下角显示绿色的“running”就说明成功了。

2.2 使用 Docker 部署 Open WebUI

在Open WebUI的GitHub页面(https://github.com/open-webui/open-webui)可以看到,如果Ollama和Open WebUI装在同一台主机,用下面这行命令就能快速部署:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

打开终端(PowerShell),输入docker回车,如果看到命令运行成功,说明Docker装好了。

把上面那行部署命令复制粘贴到终端,回车。

等待安装完成,如下图所示。

装好后,在Docker Desktop里能看到Open WebUI的Web界面地址:http://localhost:3000

点击后在浏览器打开登录界面。

Sign up注册,填好账号、邮箱、密码(记好,下次登录要用)。

Create account创建账号,然后浏览器里就能看到类似ChatGPT界面的Open WebUI了。

右上角设置里可以改界面语言为简体中文,保存即可。

点“选择一个模型”旁边的加号可以增加大模型,下拉菜单能切换当前使用的模型,接下来就可以愉快地跟AI聊天了。

3. 安装内网穿透工具

本地用Docker部署Open WebUI和Ollama交互已经搞定了。但想出门在外也能随时随地访问,就需要一个内网穿透工具,比如cpolar。下面介绍安装cpolar并实现公网访问的步骤。

cpolar官网:https://www.cpolar.com

进入官网,点“免费使用”注册账号,然后下载最新版cpolar。

登录后下载Windows版本,一路默认安装。

安装成功后,浏览器访问http://localhost:9200,用cpolar账号登录,进入cpolar Web管理界面。

接下来配置Open WebUI的公网地址。登录后,点左侧“隧道管理”→“创建隧道”:

  • 隧道名称:ollama1(可自定义,别和已有的重复)
  • 协议:http
  • 本地地址:3000
  • 域名类型:免费选随机域名
  • 地区:China Top

创建成功后,点左侧“状态”→“在线隧道列表”,就能看到生成的公网地址,有http和https两种。

在手机或其他设备的浏览器里输入任意一个公网地址,就能看到Open WebUI界面。这样就用cpolar的公网域名搞定了远程访问,不用自己买云服务器。

小结

刚才创建的是随机域名,24小时会变,而且字符不好记。如果需要长期异地远程访问,最好换成固定的二级子域名,不用每次重新创建隧道。

4. 创建固定公网地址

配置固定HTTP端口地址,地址不会变,方便分享给别人长期访问,不用每天修改地址。

配置固定http端口地址需要将cpolar升级到专业版套餐或以上。

登录cpolar官网,点左侧“预留”,选择“保留二级子域名”,设置一个二级子域名名称,点“保留”,然后复制保留成功的二级子域名名称。

保留成功后复制名称,比如myollama(可自定义)。

回到cpolar Web管理界面,点“隧道管理”→“隧道列表”,找到隧道ollama1,点右侧“编辑”。

修改隧道信息:

  • 域名类型:选择二级子域名
  • Sub Domain:填写保留的二级子域名,比如myollama

点“更新”(注意一次就好,不用重复提交)。

更新完成后,打开“在线隧道列表”,公网地址已经变成固定的二级子域名了。

最后,用固定https地址访问,成功!这样就有了一个永久不变的公网地址,随时随地都能远程访问本地部署的Open WebUI。

以上就是Windows本地安装Ollama、用Docker部署Open WebUI,再通过cpolar实现公网访问并配置固定二级子域名的完整流程。欢迎留言交流。

免责声明

本网站新闻资讯均来自公开渠道,力求准确但不保证绝对无误,内容观点仅代表作者本人,与本站无关。若涉及侵权,请联系我们处理。本站保留对声明的修改权,最终解释权归本站所有。

相关阅读

更多
欢迎回来 登录或注册后,可保存提示词和历史记录
登录后可同步收藏、历史记录和常用模板
注册即表示同意服务条款与隐私政策