← 返回
AI技术

物理AI:下一个重要前沿是赋予软件代理双手

✍️ zhirenhun 📅 2026/9/30 👁 182 阅读 ⏱ 19 分钟
物理AI:下一个重要前沿是赋予软件代理双手

过去三年,科技行业一直把人工智能当作被玻璃屏幕困住的幽灵——一个能回邮件、写代码、总结会议、在网上争论的实体。

我们已经习惯把大型语言模型当作纯数字对话者,以至于忽略了摆在眼前的深层架构真相:能在 40 步自主循环中编写、调试并执行复杂代码的 AI 已经攻克了机器人领域最难的一半。

看看现代编码和研究代理每天都在做什么。模型会检视代码库,把长期目标拆成子任务,调用 API 工具,观察终端输出或编译错误,反思出错原因,调整心智模型,然后执行下一次工具调用。这不是简单的文本预测,这就是 具身认知——只不过它在操作系统里运行,而不是在实体车间里。

这就是为什么 Physical AI 是下一个巨大的前沿。对推理模型而言,真实世界——无论是六轴机械臂、自动化化学液体处理器、五轴 CNC 铣床,还是双足人形机器人——都不是陌生领域。对推理代理来说,物理硬件只不过是另一个 API 端点。

下面,我们将解释为什么从软件代理到物理机器的飞跃如今正在发生,探讨 Anthropic 开创性的 Model Hardware Standard(MHS),考察 OpenAI 重新启动内部人形机器人项目,走通过 Isaac Lab 及真实机器人上的接触丰富齿轮装配案例,并说明为什么在可验证的物理健身房(RLVR)内训练模型是构建具身智能而不毁掉价值百万美元硬件的唯一途径。

1. 已被验证的循环:长期任务的工具使用已经解决

经典机器人研究陷入端到端纯主义的陷阱长达四十年——认为要让机器人变聪明,必须训练一个单一的单体神经网络,直接从原始相机像素输入,以 1000 Hz 输出原始电机电压或关节扭矩。

这种方法无法规模化,因为它把两个完全不同的问题纠缠在一起:

  1. 高层次推理:理解世界,制定长期策略,并适应失败。
  2. 低层次运动控制:保持平衡,计算逆运动学,并抑制关节振荡。

人类也不是这样工作的。当你冲泡一杯咖啡时,你的前额叶皮层不会有意识地计算前臂二头肌纤维的电压曲线。你的意识大脑会发出高层语义指令:“拿起水壶 → 检查水位 → 向咖啡粉倒入 200 毫升 → 检查萃取颜色。” 你的小脑和脊髓处理底层的毫秒级运动物理。

这张技术文章配图描述了一个高级规划器和一个低级控制器之间的关系

将问题拆分:LLM 代理在几秒内进行规划并选择工具调用;低级控制器以 100–1,000 Hz 的频率跟踪轨迹和关节扭矩。

在过去两年里,前沿语言模型无疑已经掌握了“前额叶皮层”的角色:

无论该工具调用是 git_commit()、sql_query() 还是 robotic_arm_grip(force=12N),对模型内部推理循环的数学影响几乎可以忽略不计。

2. 物理桥梁:硬件作为有状态的 API

走进一个现代化的高级化学实验室、自动化半导体洁净室或高精度机加工车间。你会看到什么?

你不会看到模拟表盘和皮带轮。你会看到由嵌入式微控制器控制、暴露网络接口的自动化仪器:

对 AI 代理而言,自动化化学工作站与云基础设施平台毫无区别。

代理概念 数字软件代理(例如 Cursor / Devin) 物理 AI 代理(例如 湿实验室 / 机器人单元)
环境状态 仓库文件、Git 状态、数据库行。 孔板架坐标、试剂液体体积、关节编码器、热成像摄像头。
动作原语(工具调用) write_file(path, diff) aspirate_reagent(channel=4, volume_uL=50)
感官反馈 编译器 stderr、单元测试断言日志、终端退出码。 光谱紫外吸收曲线、压力传感器增量、计算机视觉边界框。
路径修正 修复第 42 行的语法错误并重新运行测试套件。 检测到液体起泡,降低移液器吸液速度,并重新取样。

认知回路完全一致:理由 → 通过工具执行 → 观察物理反馈 → 再次推理。


同样的 reason → act → observe → correct 循环既驱动编码代理也驱动实验室机器人;只有工具和传感器有所不同。

3. 接触丰富的现实:Isaac Lab 齿轮装配演练

想看看这在真实硬件上如何运作,不妨以一个工业基准为例:齿轮装配。

机器人将一个精密齿轮悬在未完成机构上方。任务是:将中心孔与轴对齐,下降齿轮直至其牙齿与相邻齿轮平稳啮合,将其牢固就位后释放。

齿轮装配是一种典型的 接触丰富任务:物理接触零件会改变机器人接下来必须执行的操作。仅有 0.5 毫米的定位误差,就可能导致齿轮边缘停留在轴顶部而非滑入。在软件中,如果 API 调用失败,重复相同请求有时最终会成功。而在物理世界中,重复相同的向下推力会使机器人夹具弯曲、划伤黄铜轴或触发电机扭矩故障。

NVIDIA的 Isaac Lab 齿轮装配教程 展示了一个控制策略在GPU仿真和真实的Universal Robots UR10e机械臂上都能完成此操作。下图将任务分解为六阶段闭环,包括当齿轮错位时策略所执行的操作:


齿轮装配作为六步闭环。接触时的力峰值触发回退、重新估计和重新接近,且在夹爪释放后检查成功。

原文同时播放 NVIDIA 的仿真到真实视频,并提供此闭环的交互式 3D 演练。

拆解分层控制层

注意,齿轮装配工作流在架构层面上清晰地分离了关注点:

层 齿轮装配实现 成功所需条件
高层任务规划器 协调宏观序列:observe() → approach() → try_insert() → seat() → release() → verify()。 长期任务目标、状态机恢复转换以及高层工具定义。
感知引擎 从深度相机估计齿轮孔中心、轴向以及相邻齿轮牙角。 已校准的变换、亚毫米级姿态估计以及不确定性估计。
运动与顺从控制器 在监测六轴力矩传感器以检测意外阻力的同时跟踪轨迹。 实时 100–500 Hz 控制回路、阻抗控制、关节扭矩限制以及碰撞避免。
独立结果验证器 检查夹爪释放并后退后,齿轮是否仍保持在目标深度。 独立的物理基准真相,而不仅仅是 API 返回的“成功”代码。

在软件中,返回状态码 200 OK 的 API 调用通常表示任务已完成。在机器人领域,“移动命令已完成”并不能证明装配成功。零件可能卡住、从夹爪手指滑出或弹起。真正的物理智能需要闭环:在宣布胜利前先验证物理状态。

4. 标准正在到来:从 MCP 到 Anthropic 的 MHS

在软件领域,由于行业达成了一致的标准,代理工具的使用激增。2024 年底,Anthropic 推出了 模型上下文协议(MCP)(随后将其捐赠给 Linux 基金会的 Agentic AI 基金会,与 OpenAI 和 Block 并列)。MCP 解决了 N × M 集成问题:开发者不再需要为每个模型分别编写自定义代码来连接 GitHub、PostgreSQL、Slack 和 Google Drive,而是只需编写一个 MCP 服务器。

2026 年 8 月,Anthropic 通过预览 模型硬件标准(MHS),迈出了不可避免的下一步。

什么是模型硬件标准(MHS)? 在与霍华德·休斯医学研究所(HHMI)珍利亚研究校园等顶尖研究机构合作下开发,MHS 是一个开放的、与模型无关的规范,使 AI 能安全地发现、校准和操作物理实验室和工厂设备。正如 MCP 为模型提供了读取软件文件的通用接口,MHS 为模型提供了操作显微镜、机械臂、微流体泵和光学对准台的通用接口。


共享协议将每个模型–仪器对(N × M)的定制集成替换为每侧一个适配器(N + M):MCP 用于软件工具,MHS 用于仪器。

MHS 的早期现场报告令人惊叹:

  • 通用硬件驱动: Hugging Face 正在将 MHS 支持加入到他们的机器人库(LeRobot)中,而从树莓派到工业自动化供应商的硬件团队正在交付原生的 MHS 驱动程序。
  • 一旦硬件具备类似 USB 的通用驱动标准,模型可以查询,软件智能与物理执行之间的障碍便会消失。

    5. 前沿实验室的竞相加速:OpenAI、人形机器人以及硬件软件协同设计

    如果有人对 AI 前沿的发展方向仍有疑问,OpenAI 在 2026 年中期明确给出了答案。

    在 2021 年悄然关闭原始机器人团队以专注于纯语言模型之后,OpenAI 在研究副总裁 Aditya Ramesh 的领导下正式重启了 机器人部门。并在 Sources 播客中,CEO Sam Altman 确认了数月来一直被低声讨论的雄心:“我们肯定会做一个人形机器人。我们还会做其他形态。”

    为什么前沿实验室纷纷进军硬件?

    推动这一转变的有两个巨大的经济和技术现实:

    1. 数字数据墙: 前沿模型已经几乎摄取了整个公共互联网。通过再次抓取 Reddit 无法将预训练数据提升十倍。物理世界——材料如何变形,液体如何倾倒,工具如何与表面相互作用,物体如何保持平衡——是一个 无限未驯化的高带宽训练真相之海。
    2. 5 万亿美元的实体经济: 软件规模巨大,但实体经济——建筑、半导体制造、精密加工、农业、医药研究和物流——远远超过它。仅能操作像素的模型只能捕获全球 GDP 的一小部分;能够安全操作物质的模型则能捕获其余部分。

    此外,领先的参与者正在趋向于 硬件-软件协同设计。与其购买 1995 年为刚性工厂循环设计的现成工业机器人,然后尝试将现代神经网络硬加在上面,各团队正在设计执行器、顺应传感器和关节几何形状,以专门满足高层神经策略的需求。

    6. 训练需求:为什么物理 AI 需要可验证的健身房(RLVR)

    以下是 Physical AI 的根本瓶颈:你无法在真实的价值 $500,000 的物理机器上通过试错来训练强化学习智能体。

    在软件中,如果模型产生了错误的指针或写了一个无限循环,你会杀死进程,给它奖励 0,然后重启。在物理世界中,如果未训练的 27B 策略输出随机轨迹命令,它可能会折断金刚石尖端的 CNC 刀具,使移液器头撞碎石英板,或让一个 150 磅的人形机器人撞上墙壁。

    这就是为什么 Physical AI 需要在高保真任务健身房内使用可验证奖励的强化学习(RLVR),在任何电机在真实世界中移动之前:


    在带有域随机化的可验证模拟健身房中进行训练,将进入真实硬件的移动作为门控,并将真实世界的故障反馈回仿真。

    通过首先在确定性的数字健身房中证明其推理过程,智能体到达物理机器时不是一个鲁莽的新手,而是一个合格的、安全验证过的操作员。

    7. 物理世界是终极健身房

    现代 AI 的历史一直是在不断扩展的竞技场上稳步前进。

    首先,AI 攻克了封闭的离散游戏:国际象棋、围棋、星际争霸。接着,它攻克了数字语言:对话、写作、翻译。随后,它攻克了软件工程:代码库、语法树、编译器和 API。

    最终的、最大的竞技场始终是物理世界。分子、金属、电路、玻璃和钢铁。

    模型已经准备好。长时程推理循环正在工作。工具调用协议(MCP 和 MHS)正在标准化。此外,全球最雄心勃勃的工程实验室正在打造具身。

    不要把智慧锁在玻璃后面。赋予它双手。


    最初发表于 g-ftech.com。

    ——

    广告 广告
    🧑‍💻

    zhirenhun

    一个热爱技术的程序员,喜欢分享前沿AI知识和开发经验。

    ai robotics machinelearning llm