零门槛!电脑本地离线跑大模型实操指南

2026-06-15阅读 0热度 0
大模型

序言

在Windows环境下运行本地大语言模型,WSL(Windows Subsystem for Linux)搭配OllamaOpenCode,是公认的低门槛方案。本文完整演示从模型选型、部署到接入IDE的每一步。尚未配置WSL的用户,可先参考《极简 WSL2 教程:开发、部署大模型必备》准备基础环境;开发环境搭建可查阅《2026 最新版:WSL + Ubuntu 全栈开发环境,一篇搞定!》。OpenCodeOllama的具体安装细节另有专题文章,此处不再赘述。

1. 根据电脑配置选择大模型

部署本地模型的第一步,不是盲目下载,而是先评估硬件能力:你的机器到底能驱动哪类参数量的模型?

canirun这个网站能自动读取你的硬件配置,并为市面上主流的开源大模型评分。等级从S到F:S级表示最适配你的设备、运行流畅;A级体验良好;B级勉强可用;C级及以下不建议尝试,跑起来会严重卡顿。

1.1 canirun网站使用说明

该网站操作非常直观。访问后,系统会根据你的配置对所有开源大模型进行分级。S级:与你的机器最匹配的模型,可流畅运行;A级:适配性良好,正常使用;B级:勉强能跑;C级、D级、F级的模型,本地设备基本无法正常加载。

1.2 选择适合自己电脑的大模型

确认硬件能承载的模型范围后,按实际需求筛选。例如侧重代码生成或中文理解,就从对应的S级或A级模型中挑选。

2. 安装并运行本地大模型

选定模型后,以qwen3.5:0.8b为例,在终端执行以下命令:

ollama run qwen3.5:0.8b

这条命令会自动检测本地是否已下载该模型:已下载则直接启动运行;未下载则自动拉取后再运行。一步到位。

2.1 查看大模型详情

执行前,建议先到Ollama官网查看模型的参数大小、上下文长度、支持的功能等信息,做到心中有数。

2.2 启动Ollama服务

正式安装模型前,必须确保Ollama服务已启动。如图所示,需执行ollama serve命令在本地开启服务进程。

然后,在新打开的终端窗口中依次执行:

# 启动WSL
wsl -d Ubuntu
# cd命令进入用户的home(家)目录
cd
# 下载并安装运行qwen3.5:0.8b这个大模型
ollama run qwen3.5:0.8b

2.3 使用大模型

模型安装完成后,终端自动进入聊天界面,可直接在命令行中与模型对话,操作直观。

2.4 识别图片内容

qwen3.5这类多模态模型,支持直接识别图片。将图片路径或直接拖入终端,即可让模型分析图片内容。

2.5 关闭大模型

在聊天界面输入/bye,即可退出当前大模型的对话模式。

2.6 重新启动大模型

再次启动时,执行相同命令即可:

# 重新启动qwen3.5:0.8b这个大模型
ollama run qwen3.5:0.8b

3. 本地大模型使用帮助文档

启动后Ollama会提示“输入/? 获取帮助”。输入/?即可调出完整命令说明,包括多轮对话、上下文清空、对话导出等操作,一目了然。

4. 让OpenCode使用我们本地大模型

Ollama不仅可以运行模型,还能协助启动OpenCode。执行以下命令:

# 通过ollama启动OpenCode
ollama launch opencode

4.1 启动时指定大模型

若想在启动时直接指定具体模型,可使用下面命令:

# 指定opencode使用qwen3.5:0.8b这个大模型
ollama launch opencode --model qwen3.5:8b

4.2 model.json配置文件

启动后Ollama会自动修改OpenCode的配置文件model.json。使用以下命令查看修改后的内容:

# 使用cd命令进入opencode的配置文件所在目录
cd /home/wangyi/.local/state/opencode
# 使用cat 命令查看model.json配置文件
cat model.json

4.3 ollama launch命令的作用

ollama launch opencode的核心功能是修改OpenCode的配置文件,将本地模型信息写入其中。只需成功执行一次,以后便可直接用opencode命令启动,无需每次都通过Ollama执行launch。

5. 使用VSCODE连接WSL通过OpenCode使用本地大模型

实际开发中,通常用VS Code远程连接到WSL,再在WSL内调用OpenCode使用本地模型。Windows仅作为终端显示工具,计算与模型均在WSL中运行。

5.1 opencode.json配置文件

在VS Code中通过ollama launch opencode使用OpenCode时,Ollama会自动修改opencode.json配置文件,并增加BASEURL配置。使用以下命令查看修改后的配置:

# 使用cd 命令进入用户的 home(家)目录
cd /home/wangyi/.config/opencode
# 使用cat命令查看opencode.json配置文件
cat opencode.json

6. 使用IDEA连接WSL通过OpenCode使用本地大模型

Java开发者更习惯使用IDEA。IDEA同样支持远程连接WSL,并在其中通过OpenCode调用本地大模型。Windows仅充当终端角色,计算与模型均运行在WSL中。

7. Ollama常用命令

Ollama的命令体系非常简洁,日常使用只需掌握几个核心操作。以下作为速查手册。

7.1 查看大模型的详细信息

# 查看大模型的详细信息
ollama show qwen3.5:0.8b
ollama show qwen3.5:0.8b --modelfile

7.2 查看大模型的安装目录

本地大模型的安装目录通常为:~/.ollama/models/usr/share/ollama/.ollama/models

# ~这个符号代表当前登录用户的home(家)目录
cd ~/.ollama/models/
# 查看目录下的文件列表
ls -la

7.3 查看本地都安装了哪些模型

# 查看本地都安装了哪些模型
ollama ls
# ls是list的缩写
ollama list

7.4 查看ollama正在运行大模型的进程信息

# 查看ollama正在运行大模型的进程信息
ollama ps

7.5 下载大模型

ollama pull 模型名字 仅下载模型,不启动运行。

# ollama pull 只下载大模型,不会启动大模型
ollama pull qwen3.5:9b

各模型的具体名称可在Ollama官网上查找。

7.6 运行大模型

ollama run 模型名字 会判断目标模型是否已下载:未下载则自动拉取再运行,已下载则直接启动。

# 启动大模型
ollama run qwen3.5:9b

注意,使用ollama run时必须指定具体版本,例如ollama run qwen3.5:0.8b。若只写模型名不写版本(如ollama run qwen),Ollama会默认下载最新版本,容易造成混淆。

7.7 默认下载最新版本的大模型

ollama runollama pull仅指定模型名称、未标注版本号时,Ollama默认下载该模型的最新版本。例如ollama run qwen。如何判断哪个版本是latest?在Ollama官网上,模型名称带有latest标志的即为最新版。

7.8 停止本地大模型

若通过ollama run启动,在对话框中输入/bye即可停止。若通过后台服务启动,则需使用以下命令:

# 停止通过后台服务启动的本地大模型
ollama stop qwen3.5:0.8b

7.9 删除本地大模型

# 删除本地安装的大模型,rm是remove删除的意思
ollama rm qwen3.5:0.8b

7.10 停止Ollama serve服务

在执行ollama serve的终端窗口中按ctrl + c,即可终止服务。

7.11 升级ollama

# 升级Ollama的版本
curl -fsSL https://ollama.com/install.sh | sh

7.12 安装指定版本的ollama

# 安装或更新指定版本的ollama
curl -fsSL https://ollama.com/install.sh | OLLAMA_VERSION=0.5.7 sh

7.13 卸载ollama

结尾

以上是基于WSL + Ollama + OpenCode部署和使用本地大模型的完整流程。掌握这套方法后,本地跑模型、开发调试、搭建Copilot都将得心应手。下次有机会,再聊聊如何将本地部署的大模型通过公网端口暴露出去,让朋友和家人也能一起使用。

免责声明

本网站新闻资讯均来自公开渠道,力求准确但不保证绝对无误,内容观点仅代表作者本人,与本站无关。若涉及侵权,请联系我们处理。本站保留对声明的修改权,最终解释权归本站所有。

相关阅读

更多
欢迎回来 登录或注册后,可保存提示词和历史记录
登录后可同步收藏、历史记录和常用模板
注册即表示同意服务条款与隐私政策