零门槛!电脑本地离线跑大模型实操指南
序言
在Windows环境下运行本地大语言模型,WSL(Windows Subsystem for Linux)搭配Ollama与OpenCode,是公认的低门槛方案。本文完整演示从模型选型、部署到接入IDE的每一步。尚未配置WSL的用户,可先参考《极简 WSL2 教程:开发、部署大模型必备》准备基础环境;开发环境搭建可查阅《2026 最新版:WSL + Ubuntu 全栈开发环境,一篇搞定!》。OpenCode和Ollama的具体安装细节另有专题文章,此处不再赘述。
1. 根据电脑配置选择大模型
部署本地模型的第一步,不是盲目下载,而是先评估硬件能力:你的机器到底能驱动哪类参数量的模型?
canirun这个网站能自动读取你的硬件配置,并为市面上主流的开源大模型评分。等级从S到F:S级表示最适配你的设备、运行流畅;A级体验良好;B级勉强可用;C级及以下不建议尝试,跑起来会严重卡顿。
1.1 canirun网站使用说明
该网站操作非常直观。访问后,系统会根据你的配置对所有开源大模型进行分级。S级:与你的机器最匹配的模型,可流畅运行;A级:适配性良好,正常使用;B级:勉强能跑;C级、D级、F级的模型,本地设备基本无法正常加载。
1.2 选择适合自己电脑的大模型
确认硬件能承载的模型范围后,按实际需求筛选。例如侧重代码生成或中文理解,就从对应的S级或A级模型中挑选。
2. 安装并运行本地大模型
选定模型后,以qwen3.5:0.8b为例,在终端执行以下命令:
ollama run qwen3.5:0.8b
这条命令会自动检测本地是否已下载该模型:已下载则直接启动运行;未下载则自动拉取后再运行。一步到位。
2.1 查看大模型详情
执行前,建议先到Ollama官网查看模型的参数大小、上下文长度、支持的功能等信息,做到心中有数。
2.2 启动Ollama服务
正式安装模型前,必须确保Ollama服务已启动。如图所示,需执行ollama serve命令在本地开启服务进程。
然后,在新打开的终端窗口中依次执行:
# 启动WSL
wsl -d Ubuntu
# cd命令进入用户的home(家)目录
cd
# 下载并安装运行qwen3.5:0.8b这个大模型
ollama run qwen3.5:0.8b
2.3 使用大模型
模型安装完成后,终端自动进入聊天界面,可直接在命令行中与模型对话,操作直观。
2.4 识别图片内容
像qwen3.5这类多模态模型,支持直接识别图片。将图片路径或直接拖入终端,即可让模型分析图片内容。
2.5 关闭大模型
在聊天界面输入/bye,即可退出当前大模型的对话模式。
2.6 重新启动大模型
再次启动时,执行相同命令即可:
# 重新启动qwen3.5:0.8b这个大模型
ollama run qwen3.5:0.8b
3. 本地大模型使用帮助文档
启动后Ollama会提示“输入/? 获取帮助”。输入/?即可调出完整命令说明,包括多轮对话、上下文清空、对话导出等操作,一目了然。
4. 让OpenCode使用我们本地大模型
Ollama不仅可以运行模型,还能协助启动OpenCode。执行以下命令:
# 通过ollama启动OpenCode
ollama launch opencode
4.1 启动时指定大模型
若想在启动时直接指定具体模型,可使用下面命令:
# 指定opencode使用qwen3.5:0.8b这个大模型
ollama launch opencode --model qwen3.5:8b
4.2 model.json配置文件
启动后Ollama会自动修改OpenCode的配置文件model.json。使用以下命令查看修改后的内容:
# 使用cd命令进入opencode的配置文件所在目录
cd /home/wangyi/.local/state/opencode
# 使用cat 命令查看model.json配置文件
cat model.json
4.3 ollama launch命令的作用
ollama launch opencode的核心功能是修改OpenCode的配置文件,将本地模型信息写入其中。只需成功执行一次,以后便可直接用opencode命令启动,无需每次都通过Ollama执行launch。
5. 使用VSCODE连接WSL通过OpenCode使用本地大模型
实际开发中,通常用VS Code远程连接到WSL,再在WSL内调用OpenCode使用本地模型。Windows仅作为终端显示工具,计算与模型均在WSL中运行。
5.1 opencode.json配置文件
在VS Code中通过ollama launch opencode使用OpenCode时,Ollama会自动修改opencode.json配置文件,并增加BASEURL配置。使用以下命令查看修改后的配置:
# 使用cd 命令进入用户的 home(家)目录
cd /home/wangyi/.config/opencode
# 使用cat命令查看opencode.json配置文件
cat opencode.json
6. 使用IDEA连接WSL通过OpenCode使用本地大模型
Java开发者更习惯使用IDEA。IDEA同样支持远程连接WSL,并在其中通过OpenCode调用本地大模型。Windows仅充当终端角色,计算与模型均运行在WSL中。
7. Ollama常用命令
Ollama的命令体系非常简洁,日常使用只需掌握几个核心操作。以下作为速查手册。
7.1 查看大模型的详细信息
# 查看大模型的详细信息
ollama show qwen3.5:0.8b
ollama show qwen3.5:0.8b --modelfile
7.2 查看大模型的安装目录
本地大模型的安装目录通常为:~/.ollama/models 或 /usr/share/ollama/.ollama/models。
# ~这个符号代表当前登录用户的home(家)目录
cd ~/.ollama/models/
# 查看目录下的文件列表
ls -la
7.3 查看本地都安装了哪些模型
# 查看本地都安装了哪些模型
ollama ls
# ls是list的缩写
ollama list
7.4 查看ollama正在运行大模型的进程信息
# 查看ollama正在运行大模型的进程信息
ollama ps
7.5 下载大模型
ollama pull 模型名字 仅下载模型,不启动运行。
# ollama pull 只下载大模型,不会启动大模型
ollama pull qwen3.5:9b
各模型的具体名称可在Ollama官网上查找。
7.6 运行大模型
ollama run 模型名字 会判断目标模型是否已下载:未下载则自动拉取再运行,已下载则直接启动。
# 启动大模型
ollama run qwen3.5:9b
注意,使用ollama run时必须指定具体版本,例如ollama run qwen3.5:0.8b。若只写模型名不写版本(如ollama run qwen),Ollama会默认下载最新版本,容易造成混淆。
7.7 默认下载最新版本的大模型
当ollama run或ollama pull仅指定模型名称、未标注版本号时,Ollama默认下载该模型的最新版本。例如ollama run qwen。如何判断哪个版本是latest?在Ollama官网上,模型名称带有latest标志的即为最新版。
7.8 停止本地大模型
若通过ollama run启动,在对话框中输入/bye即可停止。若通过后台服务启动,则需使用以下命令:
# 停止通过后台服务启动的本地大模型
ollama stop qwen3.5:0.8b
7.9 删除本地大模型
# 删除本地安装的大模型,rm是remove删除的意思
ollama rm qwen3.5:0.8b
7.10 停止Ollama serve服务
在执行ollama serve的终端窗口中按ctrl + c,即可终止服务。
7.11 升级ollama
# 升级Ollama的版本
curl -fsSL https://ollama.com/install.sh | sh
7.12 安装指定版本的ollama
# 安装或更新指定版本的ollama
curl -fsSL https://ollama.com/install.sh | OLLAMA_VERSION=0.5.7 sh
7.13 卸载ollama
结尾
以上是基于WSL + Ollama + OpenCode部署和使用本地大模型的完整流程。掌握这套方法后,本地跑模型、开发调试、搭建Copilot都将得心应手。下次有机会,再聊聊如何将本地部署的大模型通过公网端口暴露出去,让朋友和家人也能一起使用。



















































