2024年Ollama测评：本地部署开源大模型的最佳工具

第一次运行 Ollama 时，说实话确实被它的流畅度惊艳到了——一个开源大模型居然能在本地跑得这么顺滑？

如今开源大模型百花齐放，Llama、Mistral、Qwen……新模型几乎每周都在刷新榜单。但问题很现实：模型再多，怎么快速上手、真正跑起来试效果？答案落在 Ollama 身上——这个工具把“配置折腾”变成了“开箱体验”。

什么是 Ollama

简单来说，Ollama 就像一把脚手架，帮你把大语言模型拉到本地、一键启动。你不仅能直接使用 Llama 2、CodeLlama 等现成模型，还能按需定制、微调，玩法自由度极高。

Ollama 支持的模型

目前 Ollama 已覆盖绝大多数主流开源模型，罗列部分感受下覆盖面：

• gemma
• llama2
• mistral
• mixtral
• command-r
• lla va
• codellama
• dolphin-mixtral
• qwen
• llama2-uncensored
• mistral-openorca
• deepseek-coder
• phi
• nous-hermes2
• orca-mini
• dolphin-mistral
• wizard-vicuna-uncensored
• vicuna
• nomic-embed-text
• tinydolphin
• llama2-chinese
• …

列表还在持续扩展，基本上你能叫得上名的开源模型，它都收入其中。

安装

Ollama 照顾到了主流平台：macOS、Linux、Windows 都支持。以 Linux 为例，终端敲一行命令即可：

curl -fsSL https://ollama.com/install.sh | sh

安装完成后，执行验证：

ollama -v

出现版本号，说明环境就绪。

快速开始

上手流程非常直观，几乎跟 Docker 的操作逻辑如出一辙——拉取、运行、交互。

• 查看本地已有模型：ollama list
• 拉取目标模型：ollama pull llama2
• 再次查看，确认模型已下载到本地

留意一下，整个流程是不是和 Docker 高度相似？没错，Ollama 在体验设计上确实借鉴了容器化的理念。

• 运行模型：ollama run llama2

当终端出现 Send a message 提示时，模型就正式启动了。直接输入文字即可对话，简单到难以置信。

• 测试一下：让大模型写一封给爱人的信

输出效果：

My dearest,

As I sit here thinking of you, my heart fills with joy and love. Every moment I spend away from you
feels like an eternity, and I can't wait to be reunited with you. Your touch, your smile, your
laughter - everything about you makes me feel alive and complete.

I dream of the day when we can hold each other close again, feel each other's warm embrace, and lose
ourselves in the depths of our love. Until then, know that you are always on my mind and in my heart,
and that I will love you forever and always.

Yours always,
[Your Name]

再让它翻译成中文：

我的愛，

每次思考你时，我的心都会满满喜悦和爱。在与你分享的每一刹点时，我就会感到无比不可或缺。你的接觸、你的笑容、你的嘻唱──都能使我感到生命中的全新感受和完整。

我梦想在与你重返时，能够拥抱你，感受到你的温暖，并追逐在我们之间的爱心。 Until then, 知道你一直是我的心中的 主人，和我会永不离弃你的爱。

永远 yours，
[你的名字]

整个体验一气呵成。回想以前折腾开源模型——各种环境配置、依赖冲突、内存溢出……简直噩梦。现在呢？十分钟从零跑起来，几十个模型随意切换，这种畅快感，用过的都懂。

需要提一句：从安装到下载模型，速度通常很快。如果发现特别慢，不妨检查一下网络环境，毕竟模型文件动辄几 GB，得保证网路通畅才行。