目录
- 为什么要在家运行 AI 模型？
- 什么是本地 LLM？
- 你需要什么样的电脑？
- 安装 Ollama
- 下载你的第一个模型
- 开始对话
- 如果模型太慢怎么办？
- 创建家庭实验室助手
- 从其他程序使用 Ollama
- 添加网页界面
- 常见问题
- 家庭实验室项目创意
- 保持你的设置私密
- 接下来有什么？
- 最后的想法
为什么要在家运行 AI 模型？
当大多数人听到 "AI 语言模型" 时，他们会想象昂贵的服务器和强大的计算机。
这并不总是必要的。
你可以在旧笔记本、普通台式机、迷你电脑或家庭实验室服务器上运行小型语言模型。虽然它可能不如最大的在线 AI 工具快，但它仍然适用于学习和实验。
在本指南中，我将展示如何使用 Ollama 运行本地 AI 模型。
什么是本地 LLM？
LLM 代表大型语言模型。它是许多 AI 聊天工具使用的技术。
本地 LLM 直接在你的电脑上运行，而不是在公司拥有的远程服务器上。
这有几个优势：
- 你的问题和文件可以留在你的电脑上
- 你可以使用它而无需为每次请求付费
- 模型下载后，它可以在没有互联网连接的情况下工作
- 你可以自由实验
- 这是了解 AI 应用程序工作原理的好方法
也有一些限制。较小的本地模型可能不如最大的基于云的模型准确或详细。然而，对于家庭实验室来说，它们通常已经足够好。
你需要什么样的电脑？
你不需要一台新的游戏电脑来开始。
一个实际的起始系统可能具备：
- 8 GB RAM 用于非常小的模型
- 16 GB RAM 用于更舒适的体验
- 四个或更多 CPU 核心
- 至少 10 GB 的可用存储空间
- 显卡有帮助，但不是必需的
如果你有一台较旧的电脑，可以从它开始。以后随时可以将环境移到更强大的机器上。
内存容量通常比拥有最新处理器更重要。较大的模型需要更多内存，而较小的模型可以在普通硬件上运行。
安装 Ollama
Ollama 是一个工具，使下载和运行本地 AI 模型变得更容易。
为您的操作系统下载并安装它。Ollama 支持 Windows、macOS 和 Linux。
安装后，打开 PowerShell、终端或命令提示符并运行：
ollama --version
如果能看到版本号输出，说明 Ollama 已正确安装。
如果想更深入地了解它的工作原理，也可以去 Ollama 的 GitHub 仓库一探究竟。
下载您的第一个模型
对于较旧或配置一般的计算机，请先从一个小型模型开始：
ollama pull llama3.2:3b
这会将模型下载到您的电脑。下载可能需要几分钟，具体取决于您的网络连接。您只需下载一次。
模型名称中的 3b 表示它大约有三十亿个参数。您暂时不需要理解技术细节。需要记住的是，较小的模型在普通电脑上运行更容易。
开始对话
模型下载完成后，使用以下命令启动它：
ollama run llama3.2:3b
现在您可以直接在终端中输入问题。
例如：
Explain Docker to me as if I have never used it before.
您还可以让模型解释错误信息、帮助编写小脚本或总结文本。
完成后，按 Ctrl + D 退出。
这就是运行您第一个本地 AI 模型所需的全部步骤。
如果模型运行太慢怎么办？
如果您的电脑变慢或模型响应时间过长，可以尝试使用更小的模型：
ollama pull phi3:mini
ollama run phi3:mini
较小的模型通常占用更少的内存且响应更快。权衡在于它们的回答可能更简短或细节较少。
一种简单的思考方式是：
- 较小的模型运行更快且更易于使用
- 较大的模型通常能给出更好的答案，但需要更多内存
没有必要从可用的最大模型开始。小模型完全足以用于学习。
创建家庭实验室助手
Ollama 允许您使用自己的指令创建模型。
创建一个名为 Modelfile 的文件并添加以下内容：
FROM llama3.2:3b
SYSTEM """
You are my home lab assistant.
Explain things clearly and avoid unnecessary technical language.
When giving commands, explain what each command does.
Warn me before suggesting commands that could delete or change data.
"""
现在创建自定义模型：
ollama create homelab-assistant -f Modelfile
使用以下命令启动：
ollama run homelab-assistant
您现在拥有一个专为家庭实验设计的助手。
它可以帮助解释 Linux 命令、Docker 容器、网络概念、Python 脚本和服务器错误。虽然它并不总是正确的，但它可以成为有用的学习伙伴。
在其他程序中使用 Ollama
Ollama 还提供了一个本地 API。这使得您自己的脚本和应用程序可以与模型进行通信。
API 通常可在以下地址访问：
http://localhost:11434
例如，您可以在 Linux 或 macOS 终端中使用 curl 发送请求：
curl http://localhost:11434/api/generate -d '{
"model": "llama3.2:3b",
"prompt": "Explain what a reverse proxy does",
"stream": false
}'
这使得可以构建诸如以下的小项目：
- 私有聊天机器人
- 日志文件助手
- 文档助手
- 命令行问答工具
- 本地编码助手
您不需要立即构建应用程序。只要了解 Ollama 在您准备好时可以连接其他程序即可。
添加 Web 界面
终端工作良好，但网页界面可能更舒适。
诸如 Open WebUI、LibreChat 和 AnythingLLM 之类的工具可以连接到 Ollama 并提供基于浏览器的聊天界面。
例如，可以使用 Docker 启动 Open WebUI：
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
启动后，在浏览器中打开此地址：
http://localhost:3000
Docker 命令在不同操作系统之间可能略有不同。如果连接无法立即工作，请查看 Open WebUI 文档。
常见问题
模型运行缓慢
仅使用计算机处理器运行模型时，这种情况是正常的。
尝试关闭其他应用程序并切换到更小的模型。您也可以通过添加更多内存或使用支持的显卡来获得更好的性能。
对于简单的问题，较慢的响应通常是可以接受的。
您的计算机内存耗尽
这通常意味着模型对于您的系统来说太大了。
尝试使用更小的模型，并避免同时运行许多其他应用程序。
答案不正确
本地模型可能会出错。即使信息错误，它们也可能听起来很有把握。
对于有关安全、医疗话题、法律事务以及可能删除或更改数据的命令的答案，请特别小心。
模型不遵循指令
尝试提供更多信息。
而不是编写：
Fix this.
试试：
I am new to Linux. Explain why this command failed and show me a safe way to test the fix.
清晰的提示通常会产生更好的答案。
Home Lab Project Ideas
一切正常运行后，尝试构建一个小项目。
一些想法包括：
- 一个解释服务器日志的聊天机器人
- 一个用于家庭实验室文档的私人助手
- 一个总结文本文件的工具
- 一个解释 Linux 命令的脚本
- 一个学习 Python 的助手
- 一个用于个人笔记的问答工具
这些项目不需要复杂。目标是理解不同部分如何协同工作。
Keep Your Setup Private
尽管模型在本地运行，您仍应注意如何暴露它。
除非您了解安全风险，否则不要将 Ollama API 公开。对于家庭实验室，通常最安全的做法是仅在您的计算机或本地网络上提供它。
此外，以下做法也是不错的选择：
- 为网页界面使用密码
- 保持操作系统更新
- 保持 Docker 更新
- 在运行之前检查不熟悉的命令
- 备份重要的配置文件
What Is Coming Next?
在我的下一篇文章中，我将探讨如何在具有有限 VRAM 的 modeste GPU 上运行更大的 LLMs。
拥有较小的 GPU 不一定局限于只能运行微型模型。通过使用压缩的模型格式、合适的设置以及一些实用技巧，您可以在不投资昂贵硬件的情况下运行出乎意料强大的开放模型。
我将介绍：
- 如何选择适合您可用 VRAM 的模型
- 减少内存使用的实际方法
- 如何在 GPU VRAM 和系统 RAM 之间分配工作负载
- 速度、内存使用和答案质量之间的平衡
- 可用于家庭实验室的一些强大的开放模型
目标将保持不变：让设置保持经济实惠、实用且易于遵循。
如果您想从 modeste GPU 中获得更多收益，请在 DEV 上关注我，以免错过下一篇指南。
Final Thoughts
运行本地 LLM 是一个有用且经济实惠的家庭实验室项目。
您可以从旧电脑、一个小型模型和 Ollama 开始。虽然体验可能不完全等同于使用大型在线 AI 服务，但这正是其吸引力所在。
您可以进行实验，了解本地 AI 的工作原理，并让数据保持在本地。
先从小模型入手，先做几个简单的项目，等你真正明白自己需要什么时再升级硬件。
