Un-0：用耦合振荡器生成图像

Un-0：用耦合振荡器生成图像

2026年6月25日
模型发布

作者：

TL;DR。 在GPU上执行深度神经网络主导了人工智能十年，但我们认为，下一次能效飞跃需要一种根本不同的计算机——一种由物理本身执行计算的计算机。我们构建了Un-0，这是一个由模拟耦合振荡器系统驱动的图像生成器，是新兴物理计算基底的一个实例。在ImageNet 64×64上，它达到了6.74的FID分数，与领先的传统图像生成方法首次发布时的质量相当。权重、训练和消融代码均已开源。加入我们，开启一段非传统的旅程！

图0：Un-0随时间生成的轨迹样本。每条线颜色对应一个相似颜色的框，表示类别和随时间生成的图像。

Un-0

在Unconventional AI，我们正在构建一种新型计算机，它利用物理定律来执行计算。我们的目标是用当今机器所需能量的一小部分（大约低1000倍）来运行现代AI。作为第一步，我们提出一个问题：我们能否训练一个物理动力系统来大规模生成图像？

当今最好的AI模型是带有transformer主干网络的传统深度网络。然而，历史上也存在许多替代方案，它们通过利用物理系统的动力学来寻求能效，例如使用模拟电压和电流（而非传统数字化数字）进行计算的模拟电路的噪声、时变行为。

这些基于物理的替代方案包括神经形态计算（Mead, 1990）、Hopfield网络（Hopfield, 1982）和储层计算（Jaeger, 2001; Maass et al., 2002）。最近，社区还开发了哈密顿网络（Greydanus et al., 2019）和液态网络（Hasani et al., 2021）、神经波机（Keller & Welling, 2023）、热力学计算（Coles et al., 2023; Jelinčič, 2025）以及Kuramoto振荡器（Miyato et al., 2025; Song et al., 2025）。

为了利用这些替代计算方法，需要将AI任务高效地映射到物理系统的动力学上。Un-0验证了现代AI工作负载在物理基底上可以比在当今硬件上运行得更高效。

图像在数据空间中的轨迹，类别为：雏菊、湖畔、伞菌、间歇泉、火山、水母。

在日益壮大的、在物理和非传统基底上构建AI的社区中[1–8及其他]，据我们所知，Un-0是迄今为止使用物理动力系统模拟的最强大的图像生成器。Un-0在类别条件ImageNet 64×64上达到了6.74的FID，尽管在模型性能随参数数量向传统前沿提升方面仍有改进空间。

虽然我们探索的物理基元并不新鲜，但我们将其扩展到更大的生成基准，对动力学本身进行了消融分析，并对模型行为提供了可解释性分析。

我们发布了模型权重以及训练、评估和消融代码，以便任何人都能更轻松地试验基于物理系统动力学的模型。我们相信，很快就能超越Un-0；将现代AI重新建立在物理动力学之上并实现约1000倍的能效增益，这一旅程才刚刚开始。

Un-0的工作原理

图1a：两个类似节拍器的振荡器展示了随时间切换的三种耦合状态：1）漂移（无耦合），2）同步（正耦合），3）反相同步（负耦合）。

想象两个节拍器并排滴答作响（图1a）。每个节拍器在任何时刻都可以用其相位来描述，即其摆臂在摆动中的角度。将两个节拍器放在同一张桌子上，它们会通过共享的表面相互作用。根据它们对彼此的敏感程度（即耦合强度），它们会进入同步或反相状态。这就是振荡器：一个基元组件，其相位倾向于以自身速率旋转，并受邻近作用力的影响。

图1b：一组耦合振荡器演化的示意图。

现在将两个振荡器扩展到数千个。大量振荡器，每个都以自身强度相互耦合，会自组织成模式（图1b）。Un-0的计算引擎就是一个大型振荡器群体，其中所有振荡器对之间的耦合强度是模型的主要可学习参数。

这些耦合振荡器通常被建模为Kuramoto振荡器。具体来说，每个振荡器的运动遵循一个随时间连续应用的简单规则：它以其固有频率旋转，并受到其他每个振荡器的牵引。以下常微分方程描述了振荡器随时间的演化。

\dot{\theta}_i = \omega_i + \sum_{j=1}^{N} K_{ij}\,\sin(\theta_j - \theta_i), \qquad i = 1, \dots, N

每个振荡器 i 携带一个相位 \theta_i \in [0, 2\pi)，而 \omega_i 是其固有频率。矩阵 K_{ij} 指定了耦合强度，决定了振荡器 j 将 i 拉向或拉离对齐的力度。Un-0这一组件的学习问题是学习耦合矩阵 K 和频率 \omega；这些是物理系统的参数。

为什么选择振荡器？在大脑中，节律性活动和同步现象普遍存在，长期以来一直被假设执行计算工作，例如将分布式特征绑定成连贯的感知、门控区域间的通信以及组织脉冲的时间（Gray et al., 1989; Buzsáki, 2006; Fries, 2015）。耦合振荡器是这类行为最简单的数学模型之一，这使其成为研究神经启发计算模型的自然基元（Winfree, 1967; Kuramoto, 1975; Ermentrout, 1996; Ermentrout et al., 2010）。

对我们Unconventional来说最重要的是，振荡器是一种原始的物理电路。我们可以直接在CMOS或其他物理基底中实现耦合振荡器系统，使得系统的物理特性直接计算动力学。这就是Un-0背后的赌注：如果物理定律可以计算AI工作负载，那么执行基底可以看起来与当今的截然不同。

模型

图2：耦合振荡器（带有一个从条件振荡器到振荡器池的单向低秩类别条件矩阵）在其训练好的耦合作用下随时间演化。在时间T，通过解码器读出图像以生成图像。通过多次采样初始条件来生成图像分布。

模型架构。 使用Un-0生成图像的推理遵循五个步骤：

• 从随机开始。 将每个振荡器的相位设置为随机角度 \theta_i \in [0, 2\pi)。这个随机起始状态就是种子，即扩散模型或GAN采样的噪声的对应物。不同的种子会产生不同的图像。
• 选择类别。 第二组较小的振荡器驱动请求的类别（例如，“雏菊”或“火山”），并耦合到主群体中，将主群体偏向与该类别相关的排列。
• 让物理执行。 释放系统，让振荡器相互牵引。振荡器从初始随机状态演化，并趋向于由其耦合决定的状态。
• 快照。 在指定时间 T，记录每个振荡器的相位。最终相位的集合是一个数字网格，即图像的潜在表示。
• 渲染。 一个传统的解码器（占模型参数的13%以下）将该潜在表示转换为最终的像素。

训练 只改变模型内部的三个部分：1）振荡器如何耦合在一起（矩阵 K），2）每个振荡器的固有频率（\omega_i），以及3）解码器的权重。总之，振荡器取代了原本是一堆传统神经网络层的东西。

为什么选择这种模型架构？ 我们选择这种模型架构是为了给动力学执行计算提供最大的灵活性。具体来说，训练的前向传播只需要：1）设置耦合矩阵、振荡器频率和初始相位，2）演化动力学，以及3）读取最终图像潜在表示。这与扩散[Sohl-Dickstein et al., 2015]和流匹配[Lipman et al., 2022]等其他动态生成方法形成对比，这些方法在训练期间明确引导动力学。然而，我们方法的权衡是，它需要一个更复杂的损失函数，该函数仅基于生成的样本进行操作。

更多细节，我们在附录中提供了更丰富的模型规范。

我们如何构建它

对于CIFAR-10和ImageNet 64×64，我们分别训练了3种不同大小的模型。

CIFAR-10：

ImageNet 64×64：

训练。 我们在CIFAR-10和ImageNet 64×64上端到端地训练了耦合矩阵、振荡器频率和解码器，使用了最近提出的漂移损失（Deng et al., 2026）、DINOv2特征提取器[Oquab, Darcet, Moutakanni et al., 2024]和AdamW优化器。该模型使用显式欧拉方案对动力学进行积分。

评估。 我们对这些基准使用标准评估方法。对于CIFAR-10模型，我们使用50k个生成样本进行评估，并使用标准包和评估流程与参考CIFAR-10统计数据进行比较。对于ImageNet 64×64模型，我们使用50k个生成样本进行评估，并使用ADM评估套件计算FID。

计算。 我们在1块B200 GPU上训练了所有CIFAR-10模型，在8块B200 GPU上训练了所有ImageNet 64×64模型。最大的CIFAR-10模型训练需要20 B200小时，最大的ImageNet 64×64模型训练需要640 B200小时。训练中最大的瓶颈是计算漂移损失函数，这需要使用传统的图像特征提取器，并在多个特征视图上计算。

Un-0的定位

我们将Un-0放在质量与参数数量的曲线上，与传统的和非传统的模型进行比较。

图3a：CIFAR-10的参数数量与FID对比。

图3b：ImageNet 64×64的参数数量与FID对比。

在图表中，实心点是我们自己在每个数据集相同的FID-50k协议下测量的模型。空心点是已发表的数字，我们无法直接复现，因为代码、检查点或确切的评估设置不可用。

这些已发表的数字应作为参考点，而非严格相同的测量值，因为不同论文的评估协议可能不同；例如，一些结果早于CleanFID，可能使用不同的Inception实现或预处理细节。当我们的复现结果与已发表结果非常接近时，我们报告我们的测量值；当由于未解决的设置不匹配导致复现结果明显更差时，我们采用已发表值并将其标记为空心。

对于ImageNet 64×64，我们特别包含了在ImageNet 64×64分辨率下训练和评估的模型，而不是通过后处理或从更高分辨率ImageNet模型（如ImageNet 256×256）下采样获得的结果。每个模型使用的代码和检查点链接请参阅参考部分。

讨论。 Un-0的质量与早期的传统生成器相当或更高，例如NCSN、DCGAN-TTUR、WGAN-GP、BigGAN、iDDPM、CD和TRACT（Song & Ermon, 2019; Heusel et al., 2017; Gulrajani et al., 2017; Brock et al., 2019; Nichol & Dhariwal, 2021; Song et al., 2023; Berthelot et al., 2023）。Un-0仍然落后于后来的高性能模型，如EDM和GDD（Karras et al., 2022; Zheng & Yang, 2024）。我们将Un-0视为一种有前景的初步方法，其质量与几种已建立的图像生成家族首次引入社区时的质量相当。

就参数数量而言，在我们找到的比较点中，Un-0扩展了小模型的帕累托前沿。在更大规模上，Un-0尚未达到最先进的传统基线：质量随规模扩大而持续提升，但速度慢于传统前沿。我们将这些结果解释为新方法的起点：我们比较的传统方法经过多年的架构和算法改进，才从早期阶段发展到现在的水平。通过更好的学习算法、模型架构和物理基元来改进Un-0的扩展方式，是下一步的工作。

消融实验

Un-0是一个不寻常的模型，因为我们不仅关心模型质量，还希望将其行为归因于非传统（振荡器）和传统（解码器）组件。如果所有工作都由传统组件完成，那么模型就没有利用物理动力学。为了验证这一点，我们对模型进行消融以归因责任，我们发现振荡器正在执行有用的计算。

我们进行了以下消融实验。对于每次消融，我们进行了完整的学习率扫描，并选择了为该特定消融产生最低FID的学习率。

仅解码器。 我们在没有动力学的情况下单独训练解码器，通过从先验生成噪声并将该噪声直接通过解码器，并优化与完整模型相同的损失。这个基线告诉我们，在没有动力学帮助的情况下，解码器本身作为生成模型的表现如何。

储层。 我们使用与完整模型相同的损失进行训练，但将动力学权重固定为其初始随机初始化。此消融实验检查仅将动力学用作随机特征提取器（也称为特征储层[Tanaka et al., 2019]）是否足够。

时间增量。 对于Un-0和储层，我们在训练期间改变推理步数。使用单步积分时，模型的行为类似于典型神经网络中的单层，或在其初始条件附近线性化的动力系统。增加积分步数会增加底层动力学的保真度（和潜在的非线性）。如果动力学确实在执行非平凡的计算，我们期望动力学中更高的保真度和非线性会带来更好的模型性能。对于储层，我们将单步积分模型解释为先验噪声的未学习随机特征投影，而多步模型则解释为动态特征储层。

图4a：使用FID-50k协议（越低越好），我们量化了从移除动力学（灰色）、冻结动力学（绿色）到近似动力学（紫色）的完整消融套件对CIFAR-10生成的影响。我们发现，训练后的动力学在规模减小时比储层动力学鲁棒得多。即使在最大的模型规模下，训练动力学也为性能带来了明显的好处，长时间的训练继续产生价值。

图4b：使用FID-50k协议（越低越好），我们量化了从移除动力学（灰色）、冻结动力学（绿色）到近似动力学（紫色）的完整消融套件对ImageNet 64×64生成的影响。我们发现，训练后的动力学在规模减小时比储层动力学鲁棒得多。即使在最大的模型规模下，训练动力学也为性能带来了明显的好处，长时间的训练继续产生价值。

讨论。 在CIFAR-10和ImageNet 64×64模型中，我们发现，在没有额外结构帮助的情况下，解码器难以将来自先验分布的噪声映射到目标图像分布。然而，即使是随机Kuramoto动力学提供的少量结构，储层也产生了显著的改进，其FID介于仅解码器FID与1步和10步储层模型FID之间。我们假设这是因为随机动力学为解码器提供了一个输入，该输入更易于按目标类别分离。

有趣的是，我们看到，在CIFAR-10上，学习到的1步动力学模型并未显著优于储层动力学；在这种设置下，学习如此简单的线性化动力学似乎没有太多好处。然而，将积分步数从1步增加到10步，显示出FID明显优于随机动力学基线的趋势，表现最好的模型是那些具有最多积分步数和学习到的动力学的模型。

我们还检查了这些学习到的动力学模型是否仅仅是对所使用的积分器进行了过拟合，对于使用10个积分步训练的模型，当使用更多积分步或自适应求解器时，我们只看到FID增加了约3%。

这些结果共同表明，Un-0正在利用非线性动力学进行计算，其作用超出了其他消融实验的范围。

动力学在做什么

我们的消融实验告诉我们动力学很重要；下一个自然的问题是，动力学是如何表现的？以下分析从多个角度审视了动力学行为，逐步构建出一个我们在最后探索的假设：动力学和解码器扮演着不同的角色，动力学负责多样性，解码器负责图像质量。

可分离性。 我们的方法不训练完整的轨迹，而是专注于 T=1。通过查看时间 T=1 时解码器空间中的相对相位，我们更好地理解了动力学如何服务于改进图像生成的目标。为了演示类别可分离性，我们可视化了50个ImageNet 64×64类别在前三个主成分上的投影，以定义一个低维投影。

图5a：将1024个初始条件积分到 T=1，跨越50个ImageNet 64×64类别，在解码器空间的低维投影（主成分）中显示出清晰的聚类。

图5b：通过从低维坐标拟合一个MLP到所有1k个ImageNet 64×64类别，我们展示了在这个低维空间中，32个维度足以对训练模型中90%以上的类别进行分类（top-1），而储层在低维空间中显示出明显较少的分离特征。

我们发现（见图5a），在训练好的网络中，在这个关键时间点上，类别之间确实表现出高度的视觉可分离性。为了验证这在所有1000个ImageNet 64×64类别中是否成立，我们将其扩展为一个可解码性分析，旨在识别每组低维坐标编码了多少关于类别的信息（见图5b）。这一综合分析证实，我们在 T = 1 时作用的目标，在相对于有效解码器输入维度（例如，可用维度的0.25%）的低维空间中，推动了 T = 1 时的分离。

吸引子。 如果我们积分我们的推理

原文出处：https://unconv.ai/blog/un-0/