SANA-WM：2.6B参数开源世界模型，生成1分钟720p视频
NVIDIA研究团队近日发布了SANA-WM，一个仅26亿参数的开源世界模型，却能够生成长达1分钟、分辨率为720p的高质量视频。这一突破打破了“世界模型必须巨大”的刻板印象，为视频生成、规划、仿真等应用提供了轻量级、可复现的解决方案。 世界模型（World Model）的核心目标是对环境动态进行...
神经算法推理：当神经网络学会像计算机一样思考
经典计算与神经网络——这两个看似平行的世界，正在通过“神经算法推理”（Neural Algorithmic Reasoning）这一新兴研究领域逐渐交汇。传统上，算法是精确的、可证明的、基于符号操作的计算过程；而神经网络则是统计的、近似的、基于学习的数据驱动模型。神经算法推理的目标是让神经网络能够学...
文本嵌入能完美编码文本吗？——Vec2text的反向重建与安全警示
文本嵌入（text embeddings）作为NLP系统的基石，广泛应用于语义搜索、聚类、检索增强生成（RAG）等任务。这些嵌入向量将自然语言压缩为高维稠密表示，通常被视为一种“抽象”形式——丢失了原始句子的精确词汇顺序，仅保留语义特征。然而，The Gradient的这篇文章揭示了一个颠覆性事实：...
形状、对称与结构：数学在机器学习研究中角色的演变
过去十年，机器学习研究经历了一场深远的方法论变革：从精心设计、数学原理驱动的模型构建，转向了日益经验化、以大规模实验和调参为核心的范式。这种转变在改变AI发展速度的同时，也引发了一个根本问题——数学在这场变革中扮演的角色究竟发生了怎样的变化？The Gradient的这篇文章以“形状、对称与结构”为...
Mamba详解：状态空间模型如何挑战Transformer在长序列处理中的霸主地位
在深度学习领域，Transformer架构凭借其自注意力机制几乎统治了自然语言处理、计算机视觉等众多方向。然而，当序列长度持续增长时，Transformer的二次方复杂度(O(n²))成为难以回避的瓶颈——无论是处理长文档、基因序列还是长时间视频，计算和显存的消耗都会快速膨胀。近年来，一类基于状态空...
自蒸馏赋能持续学习：实现从演示中高效知识积累
自蒸馏微调（SDFT）概述 自蒸馏微调（Self-Distillation Fine-Tuning, SDFT）是一种简单而高效的方法，它能够直接从演示（demonstrations）中实现策略内（on-policy）学习。SDFT巧妙地利用了上下文学习（in-context learning）的...
δ-mem：面向大型语言模型的高效在线记忆
δ-mem：面向大型语言模型的高效在线记忆 翻译自 arXiv:2605.12357 | 分类: AI 技术 Jingdi Lei†1,3, Di Zhang†2,3, Junxian Li4, Weida Wang2, Kaixuan Fan5,3, Xiang Liu6,3, Qihan...