Mesh LLM：基于iroh的分布式AI计算

Mesh LLM：基于iroh的分布式AI计算

2026年7月11日，作者：Rae McKelvey

当人们想象运行大型语言模型时，脑海中浮现的是数据中心——一排排属于他人的GPU、按量计费的API，以及随着业务成功而逐月增长的账单。你将提示词发送给一个黑盒，祈祷价格、模型和隐私政策都保持注册时的原样。

对许多团队而言，这是一笔糟糕的交易。你放弃了控制权：无法掌控模型何时更新、数据流向何处、以及运行工作负载的硬件。随着使用量增长，账单也随之膨胀，而唯一的应对手段就是"付更多钱"。

Mesh LLM 提供了另一种形态。它将你已有的GPU和内存汇聚起来，支持任意数量的机器加入，并将整个集群暴露为一个兼容OpenAI的API。启动一个节点，后续再添加更多节点。让网格决定模型是在本地机器上运行、路由到对等节点、还是跨多台机器拆分执行。

问题：AI成本高昂，且属于他人

主流模型都是单体架构。大多数人通过UI或API密钥访问它们，付费让大型提供商运行一切。这确实方便，但也意味着投降——你无法控制模型何时更新、运行在什么内存中、底层使用什么硬件。

许多依赖这些模型的企业和服务渴望相反的东西：更多控制权、更强的可插拔性、更低的成本。他们的GPU散落在办公室、储物间、办公桌下——缺少的只是让这些机器协同工作的方式。

Mesh LLM：自行运行模型

理念很简单：无需购买更大的GPU就能运行更大的模型。与团队私密共享计算资源，或向世界公开共享，为智能体和聊天提供动力。将任何OpenAI客户端指向http://localhost:9337/v1，然后无需关心实际工作在哪里完成。

在底层，Mesh LLM 将模型计算分布到由iroh端点组成的网格中。请求可以通过三种方式处理：

• 本地运行：在本机的GPU上执行
• 路由到对等节点：转发给已加载该模型的节点
• 拆分执行：将单个机器无法容纳的大模型作为流水线跨多台机器拆分

工作原理

架构是可插拔的。插件在清单中声明其提供的能力，运行时启动它们、路由调用，并通过MCP、HTTP、推理和网格事件暴露其能力。目录包含40多个模型，从适合笔记本电脑的5亿参数模型到2350亿参数的混合专家巨兽。

对于大型模型，Mesh LLM 提供拆分模式（内部称为"Skippy"）。模型按层范围划分为多个阶段：第0-15层在一个节点上，第16-31层在下一个节点上，依此类推形成流水线。激活值从一个阶段流向下一个阶段，因此多台普通机器可以运行任何单台机器都无法容纳的模型。OpenAI客户端完全看不到这一切——它仍然只与localhost通信。

如何使用iroh

每个节点——无论是提供模型服务还是仅发送请求——都会启动一个iroh端点。该端点是节点的身份标识（公钥），也是其唯一的网络接口。没有中央服务器。iroh负责处理打洞、NAT穿透和中继回退，以便在任何两个节点之间建立直接、经过身份验证的QUIC连接，无论它们位于何处。

为了在开放互联网上保持正常工作，Mesh LLM 在不同区域运行两个iroh中继，因此无法直接互通的节点始终有就近的回退路径。

整个协议基于QUIC的ALPN协商。共有三种：

在主要的mesh-llm/1连接内部，所有内容都是双向QUIC流，通过单个前导字节标记流类型。一个连接承载gossip、推理、路由查询和对等节点生命周期事件，全部通过该首字节解复用：

精妙之处在于这带来的能力。iroh在任何两台机器之间提供经过身份验证、支持NAT穿透的QUIC连接，通过公钥寻址。因此，"路由到对等节点"和"将激活值流式传输到下一个流水线阶段"变成了与"与localhost通信"相同的原语——只是端点ID不同。网络不再是你需要操心的事情。

iroh提供安全传输。Mesh LLM在其之上构建自己的gossip层，从而精确控制谁可以加入网格、哪些版本兼容、以及哪些对等节点值得信任。

快速开始

用户可以安装轻量级软件（约18 MB），然后加入公共网格或配置私有部署。系统以localhost:9337/v1的形式呈现给任何标准OpenAI客户端。

基于iroh的Swift SDK，移动端应用即将推出。计划支持新兴的智能体标准ACP，以便其他客户端也能加入网格。贯穿始终的核心理念与驱动整个项目的初衷一致：更多点对点连接，更少封闭服务器，零锁定。

• 查看代码
• Mesh LLM 网站

Iroh 是一个即插即用的设备互联网络库。从现成协议生态系统中组合所需功能，或在纯管道抽象之上完全自定义。Iroh是开源的，已在数十万台设备上投入生产运行。

要开始使用，请查看我们的文档，直接深入代码，或在我们的Discord频道中与我们交流。

原文：https://www.iroh.computer/blog/mesh-llm