← 返回
IT技术

美国开源权重大模型全球现状情况的评估

✍️ zhirenhun 📅 2026/10/4 👁 316 阅读 ⏱ 24 分钟
美国开源权重大模型全球现状情况的评估

Introduction

美国生产了全球最广泛使用的开放权重模型之一,涵盖超大规模厂商发布的 Meta 的 Llama 和 Google 的 Gemma,来自 NVIDIA 的硬件优化模型,微软 Phi 团队的小型但强大的模型,以及非营利组织 Allen Institute for AI 的完全透明的 OLMo 模型家族。它们共同覆盖从地球上最公开文档化的模型到一些最受商业限制的模型,以及从能在笔记本上运行的 140亿参数模型到 5500亿参数的推理系统。结果是一个独具特色的多元生态系统,没有单一的设计理念将其统一。

为了纪念美国成立 250 周年,本文回顾了美国开放权重大模型的现状。我们审视表现最佳的选择,分析美国开放权重 LLMs 在架构上的差异,并推测未来开源模型可能出现哪些改进。目标不是评选单一冠军,而是映射谁在美国构建开放模型、他们如何构建以及生态系统可能的下一步方向。

Key Takeaways

美国开放权重模型数据概览

下表列出了截至 2026 年中旬领先美国开放权重模型的经核验基准测试结果,数据来源于官方模型卡、技术报告以及独立的 Artificial Analysis 排行榜。

我们将推理模型与通用模型分别列出。具备测试时思维链的推理模型在数学和科学基准测试中往往能够击败非推理模型。因此我们将它们放在不同的表格中。此外,基准测试版本和条件也有所不同。LiveCodeBench 有 v3 和 v6 两个版本,美国邀请数学考试(AIME)按年份有 2024、2025、2026 三个版本,且大多数得分来自厂商自行评估的报告。GPQA Diamond 和 LiveCodeBench 结果波动较大。将一两分的差异当作噪声处理。

具备推理能力的开放模型

得分对应推理模式(“思考开启”),前提是模型支持该开关。所有数据均来源于官方模型卡或技术报告。

模型(厂商) 参数量(总/激活) MMLU-Pro GPQA Diamond LiveCodeBench AIME 2025 上下文 许可证
Nemotron 3 Ultra 550B(NVIDIA) 550B / 55B MoE 86.8 87.0 89.0(v6) — † 1M OpenMDW-1.1(权重+数据)
Gemma 4 31B(Google) 31B dense 85.2 84.3 80.0(v6) 89.2('26) 256K Apache 2.0
Nemotron 3 Super 120B(NVIDIA) 120B / 12B MoE 83.7 79.2 81.2 90.2 1M NVIDIA Open Model
OLMo 3 32B Think(Ai2) 32B dense — ‡ 58.1 83.5(v3) 72.5 65K Apache 2.0(全栈开放)
Llama-Nemotron Ultra 253B(NVIDIA) 253B dense — 76.0 66.3 72.5 128K NVIDIA Open Model
Hermes 4 405B(Nous Research) 406B dense 80.5 70.5 61.3(v6) 78.1 ~40K Llama 3.1
Nemotron 3 Nano 30B(NVIDIA) 30B / ~3B MoE 78.1 72.5 67.6 87.7 1M NVIDIA Open Model
Phi-4-reasoning-plus(Microsoft) 14B dense 76.0 68.9 53.1 78.0 32K MIT

† Nemotron 3 Ultra 的模型卡报告了 GPQA、MMLU-Pro、LiveCodeBench、SWE-Bench Verified(70.7)和 RULER-1M(94.7)的成绩,但没有单独给出 AIME 2025 的分数;在工具增强的奥赛数学基准(IMOAnswerBench)上,它拿到 92.3 分。‡ OLMo 3 32B Think 报告的是标准版 MMLU 85.4 和 MATH 96.1,而非 MMLU-Pro。它是目前最强的完全开放(权重+代码+数据)推理模型。

通用(非推理)开放模型

模型(实验室) 参数量(总/激活) MMLU-Pro GPQA Diamond LiveCodeBench 吞吐量 上下文 许可证
Llama 4 Maverick(Meta) 400B/17B 80.5 69.8 43.4 ~108 tok/s 1M Llama 4 Community
Llama 4 Scout(Meta) 109B/17B 74.3 57.2 32.8 ~95 tok/s 10M Llama 4 Community
Phi-4(Microsoft) 14B dense 70.4 56.1 — — 16K MIT
Gemma 3 27B(Google) 27B dense 67.5 42.4 29.7 — 128K Gemma
DBRX Instruct(Databricks) 132B/36B — ‡ — — ~150 tok/s 32K Databricks Open

‡ DBRX(2024 年 3 月发布)早于 MMLU-Pro/GPQA 成为通用基准,其报告成绩为 MMLU 73.7、HumanEval 70.1、GSM8K 66.9。列出它只是为了提供规模和速度上的参照,并非当前的竞争力候选。

数字汇总

什么定义了美国开放权重 AI

美国开放权重 AI 的格局,是由几家大型科技公司、一家芯片厂商和少数研究型非营利机构各自下注拼成的,彼此之间几乎没有共同的设计理念。最显著的特征是:架构多元,却没有共识。分组查询注意力(GQA)是最常见的组件,但除此之外,各家实验室在同一时期走向了截然不同的方向:Mamba-2 状态空间模型、Meta 交错的旋转位置编码(iRoPE)注意力机制、NVIDIA 的 LatentMoE,以及各种层级缩放方案——这些实验各走各路,没有一条共同的设计主线。NVIDIA 是其中方向性最鲜明的实验室:它让模型与芯片协同演进,用 NVIDIA FP4(NVFP4)4 位格式预训练 Nemotron,并围绕自家 GPU 构建面向硬件的 Mamba-2 混合架构。

这些模型如何获得能力,也与中国路线不同。美国实验室历来把推理视为后训练阶段的问题,通过监督微调和强化学习把推理能力“嫁接”上去,而不是在预训练阶段就融入其中。另外,由于头部玩家都是平台型公司,分发渠道成了独立实验室至今无法匹敌的结构性优势。Meta 坐拥数十亿用户,这让 Llama 拥有远超其基准测试排名所能体现的真实触达能力。

开放性是这个生态里矛盾最集中的地方。过去几年的模式似乎是“先闭源、后开源”,开放权重的发布往往落后于实验室内部的前沿产品一代。NVIDIA 的 Nemotron 3 系列最近打破了这一惯例:它发布的开放权重直接登顶美国多项基准测试榜单,Ultra 模型甚至连训练数据也一并公开。艾伦研究所的 OLMo 系列走得更远,权重、训练代码、完整训练数据和中间检查点全部开放,堪称全球开放程度最高的模型发布之一。但同一个国家也产出最严格的许可证:从 Llama 的月活用户上限,到 DBRX 的竞业限制条款。贯穿其中的一条主线是小规模下的高效率。微软 140 亿参数的 Phi-4-reasoning 能与体量数倍于它的模型一较高下,苹果的 OpenELM 则推动了层级效率方面的研究。

中国开放权重 AI 的定义

美国实验室出现分歧,而领先的中国实验室则趋于一致。多头潜在注意力(MLA)最初由 DeepSeek 提出,此后被 Moonshot 的 Kimi K2 采用,并在 GLM-5 版本中被 Zhipu GLM 系列采用(更早 GLM 版本使用了 GQA)。这些模型中的几种还共享细粒度混合专家设计,并采用 DeepSeek 无辅助损失负载均衡。

他们的训练理念也很独特。中国实验室越来越把推理作为预训练目标,将完整的“阶段 2”预训练阶段用于更高级的数学、代码和 STEM 数据,而不仅仅依赖后训练。一些实验室还构建自循环的合成数据回路。例如,阿里巴巴使用专门的 Qwen2.5-Math 和 Qwen2.5-Coder 模型为 Qwen3 生成合成训练数据,从而降低对专有 API 教师的依赖。而且中国模型似乎能够以低成本实现这一点。DeepSeek V3 声称在约 560 万美元的成本下训练了 14.8 万亿个 token,这将使其成为有史以来成本最低的前沿训练运行。

欧洲和其他全球模型的定义

在美国和中国之外,开放权重的工作受到的驱动力,在主权和语言覆盖方面与能力相当。法国的 Mistral 是目前最具前沿竞争力的玩家,最大模型如今以 Apache 2.0 许可证发布,这种规模下十分罕见。尽管对于大多数欧洲项目而言,动机更多是减少对美国和中国平台的依赖,而不是直接击败它们。这一目标得到了公共资金的支持,尤其是 EuroHPC’s AI Factories,它们为中小企业(SMEs)和非营利组织提供免费 GPU 使用。一个显著的例子是,拉脱维亚的一家翻译公司在完全获得补贴的算力支持下,训练出了一个 300 亿参数模型,这在美国是没有对应的。

该领域的其他参与者往往填补巨头忽视的空白。多语言覆盖是一个反复出现的主题。OpenEuroLLM 覆盖欧盟的 24 种官方语言。新加坡的 SEA-LION 涵盖东南亚语言。印度的 Sarvam 处理 22 种印度语言。许可方式多种多样:加拿大的 Cohere 以非商业(CC-BY-NC)许可证发布其 Command A 模型用于研究,商业使用需要单独签署协议。几曾经的竞争者已经退出。德国的 Aleph Alpha 转向企业主权软件,退出了前沿竞赛。阿联酋的 Falcon 则回归到规模更小的模型。

美国开源 AI 的未来是什么

无论是 DeepSeek 风格的 MLA,还是 NVIDIA 正在推出的混合 Mamba-Transformer 设计,内存高效注意力机制正在成为标准,因为它在不牺牲质量的前提下降低了推理成本。推理很可能在流水线中更早发生,人们将其视为预训练目标而非后训练补丁,单一检查点将越来越多地同时承担“思考”和“快速”两种模式,而不是实验室发布两个独立的模型。完整技术栈的更多部分——包括训练数据、代码乃至训练成本披露——也可能随权重一起发布。

更大的机遇在于组织而非技术。几乎每一个主要的美国开源模型都是一家公司的副产品,而该公司的真实产品是别的东西,这意味着开放始终是专有路线图的次要考量。Allen Institute 的 OLMo 展示了一个真正以开源为先的组织能够取得多大成就,但它基本上是孤军奋战。在美国,仍有空间容纳更多以开放发布为主要使命的组织,尤其是在服务不足的 300 亿到 700 亿参数范围内,目前尚未有一个完全开放、架构现代且已发布训练数据的美国模型。

最后,并非所有机遇都在于更大的模型。最有价值的开源工作之一将是小型、超特定、紧凑的模型,它们针对单一领域进行调优,此外还有路由器、模型选择架构以及用于 推测性解码 的专用验证器。这些系统会奖励开放,因为它们需要被检查、微调以及自由组合,而且它们直接发挥了美国在小模型效率方面的已证明优势。未来的美国开源生态系统可能在拥有单一最大模型上的竞争会减少,而更多地体现在提供一个丰富的小型、可互操作、专用工具包上。

常见问题

美国的开源 AI 落后于中国吗?

Not 在开放程度上,也不一致在能力上。美国既产出世界上最开放的模型家族之一(Ai2 的 OLMo),也产出一些最广泛使用的开源模型(Llama、Gemma);然而,Qwen(中国)目前在全球下载量和衍生物上领先。美国开源模型落后的地方在于顶线基准测试表现。目前得分最高的开放权重模型都是中国的。

最开放的美国模型是什么?

Ai2 的 OLMo 系列(OLMo 2 和更新的 OLMo 3)。它在宽松的 Apache 2.0 许可证下一起发布权重、训练代码、完整的训练数据集以及数百个中间检查点。这已经是全球最完整的开源发布之一。大多数所谓的“开放”模型仅发布权重。

Mistral 在美国设有办事处。Mistral 是美国的开源项目吗?

不。Mistral 是一家总部位于巴黎的法国公司。它在美国的存在只是一个销售和运营办事处。模型开发由法国母公司控制。它是美国和中国以外最强的近前沿开放权重实验室。

为什么美国实验室不使用 MLA?

混合时机、基础设施锁定、硬件特权和使命。Meta 的架构早于 MLA 的成熟。NVIDIA 选择了一种竞争方法。Google 和 Microsoft 面临服务栈限制。归根结底,只有 Ai2 将开放权重视为其首要使命,因此大多数美国实验室根据产品时间表采用该架构。

NVIDIA 的 Mamba-2 押注是否已获回报?

随着时间的推移,答案是肯定的。吞吐量优势已经得到充分证实,且随着 Nemotron 3 系列的推出,混合 Mamba-2 设计如今接近前沿质量。Nemotron 3 Ultra 在美国开放权重基准测试中排名第一。它尚未展示过相较于最佳纯注意力模型的质量优势。顶尖的中国模型仍然领先于综合排行榜,而 NVIDIA 仍保留少量完整注意力层,而不是转向纯状态空间。

结论

经过两百五十年的发展,美国开源 AI 的现状是真正的领导力伴随着自我施加的滞后。美国的许多公司和大量人才专注于在全球领先的封闭模型,导致开放权重工作得到的关注和投入减少。美国拥有世界上一些最开放的模型以及一些最广泛使用的模型,但其最强的实验室越来越倾向于将前沿工作保留给封闭产品。Meta 在 2026 年转向专有的 Muse Spark 是最明显的例子。

最有趣的机会在于结构而非渐进。一个以开源为先的组织,在 30B+ 规模上优先构建 MLA,在预训练中融入推理并发布完整的训练栈,将能一次性弥合此处指出的大多数差距。这些技术已经公开。缺失的是一个以使用它们为首要使命的美国实验室。

——

广告 广告
🧑‍💻

zhirenhun

一个热爱技术的程序员,喜欢分享前沿AI知识和开发经验。