Skild AI 借助 NVIDIA 物理 AI 技术,让机器人仅凭一段视频学会新任务
原题:NVIDIA介绍Skild S1合作进展:机器人从一段视频学习新任务
内容导读
Skild AI 的 S1 机器人基础模型运用了 NVIDIA 的合成数据生成、模型训练、仿真和现实世界部署技术。

全文阅读
来源:blogs.nvidia.com即会翻译
Skild AI 借助 NVIDIA 物理 AI 技术,让机器人仅凭一段视频学会新任务
Skild AI 的 S1 机器人基础模型运用了 NVIDIA 在合成数据生成、模型训练、仿真以及现实世界部署方面的技术。

制造车间、仓库和生产线很少一成不变:任务会调整、布局会变化、新产品会到来,而大多数机器人如果不经过大量重新编程,就难以跟上这些变化。
Skild AI 推出的 S1 机器人基础模型旨在应对这一问题。它能够通过一段视频示范学习此前未见过、需要长时间连续完成的任务。该模型于上周发布,以视频作为输入来理解和执行任务,无需更新模型权重,也无需针对特定任务进行后训练;这种方法称为上下文学习。
Skild 在 NVIDIA AI 基础设施上构建了 S1 并开展相关研究。双方的合作还涵盖合成数据生成、模型训练、仿真和现实世界的物理 AI 部署。
Skild AI 联合创始人兼首席执行官 Deepak Pathak 表示:“通过经验学习而不是预先编程,是机器人领域已经发生的重大变化。”他提到,NVIDIA Isaac Lab 与 NVIDIA Cosmos 帮助 Skild 创造可扩展、多样化的经验,让机器人能够在多种场景和不同本体形态下学习。
在首次商业部署 10 个月后,Skild 的年化收入运行率达到 1 亿美元。同期,公司建立了 60 多个部署合作关系,应用涉及制造、物流、巡检、安防、食品制备等领域。
通过一段视频学习新任务
大多数工业机器人都是为固定工作设计的,每增加一种产品、工艺或布局,都需要更多数据、重新训练和验证。
S1 采用了不同的方法:操作人员录制目标任务的视频,并将其作为提示提供给模型。模型会理解示范中的意图、物体和操作顺序,再将其映射成眼前机器人的动作;这个过程无需重新训练,而且经常能够应对预训练数据集中未覆盖的任务。
S1 可以执行最长 10 分钟的陌生任务,例如给盆栽装盆、制作煎饼、冲煮手冲咖啡和组装套件。这些任务可能包含几十个操作步骤,需要机器人组合此前未曾按该顺序执行过的技能。
在一项植物装盆测试中,Skild AI 团队从录制示范到机器人在真实设备上自主执行,只用了 11 分钟。模型还可以在物体移动时调整动作、从错误中恢复,并组合没有被明确编程过的技能序列。
在针对新型多步骤任务的测试中,S1 机器人每一步的成功率约为 66%,而一套类似的 AI 系统约为 9%,提升超过七倍。Skild 还估算,向机器人展示一段简短的视频示范,其效果可能相当于提供约 380 个人工操作示例。人工收集这些示例可能需要 50 到 100 小时。
从研究走向工厂作业
S1 让操作人员可以直接示范新任务,从而摆脱机器人遇到新情况就必须不断重新训练的循环;每次变化都不再需要重新采集一套数据并启动训练。根据客户协议允许的范围,Skild 商业部署中的经验也可以反哺更广泛的模型,推动后续部署。
相关工作已进入工厂。Skild、NVIDIA 与 Foxconn 正在将 Skild Brain 部署到双臂机械臂上,用于高精度组装 NVIDIA Blackwell 系统。在展示的一种流程中,机器人会安装母线排和限位块、拧紧 16 颗螺丝,并适应多步骤作业中的干扰。该任务需要精确运动、感知接触、跟踪操作顺序,并在现场与计划不同时恢复执行。
NVIDIA 技术贯穿开发周期
NVIDIA 加速计算为 Skild 提供了训练通用机器人模型所需的规模,训练数据包括仿真、人工视频、远程操控,以及在获准情况下采集的部署数据。NVIDIA Cosmos 开放世界基础模型帮助丰富训练数据并将视频转换为结构化描述;Cosmos Curator 则用于大规模标注、筛选和整理数据。
Skild 大量使用 NVIDIA 的开放仿真框架,在现实部署前训练和验证机器人模型。NVIDIA Omniverse 库和 NVIDIA Isaac Sim 框架提供基于物理规律的虚拟环境,可用于生成数据、测试边界情况和验证行为。
Skild 还通过 Isaac Lab 中的强化学习进一步提升模型技能。Isaac Lab 是一款开放式模块化机器人学习框架,由 Newton 物理引擎提供支持,可帮助工程师精确建模力、接触、碰撞和压力等物理参数,并缩小仿真与现实之间的差距。
Skild 与 NVIDIA 还在共同开发新的 GPU 加速仿真求解器,用于快速、准确地模拟机器人对实体进行触碰、抓握和操作。这些求解器将很快通过 Newton 向所有开发者开放。
模型走向生产部署时,NVIDIA Nsight 工具帮助工程师发现训练过程中的性能瓶颈;NVIDIA TensorRT 软件开发套件则优化推理性能,让机器人能够快速响应。整套技术连接了数据、仿真、训练和部署环节,而不是将它们割裂开来。
阅读 Skild AI 的 S1 研究,并探索 NVIDIA Isaac 机器人平台。
即会整理稿
平台内容 · 非发布方原文一段视频,就能让机器人学会一项此前从未见过的长程任务——这不是演示视频里的剪辑技巧,而是Skild AI最新发布的S1机器人基础模型所宣称的能力。而NVIDIA在9月10日披露的合作更新,则把这条技术路线从实验室推向了工厂车间。
先厘清时间线:8月发模型,9月谈落地
需要先明确一个容易混淆的时序问题。根据NVIDIA博客的表述,S1模型是"上周"发布的[1];而Skild AI自家博客则以"Introducing S1"为题介绍了该模型[2]。综合来看,S1的模型发布在前(8月),NVIDIA于9月10日发布的是双方的合作与部署进展更新,而非模型本身的首发。这一区分对理解整条新闻的性质很重要:它不是一次产品发布,而是一次合作深化与落地进展的披露。
S1到底解决了什么问题
NVIDIA博客开篇点出了痛点:制造车间、仓库和产线很少保持固定——任务会变、布局会挪、新产品会进来,而大多数机器人如果不经过大量重新编程就跟不上节奏[1]。

*图1:CeBIT 2005 Nvidia Stand(Strubbl / CC BY-SA 4.0,Wikimedia Commons)*
S1的应对方式是"上下文学习"(in-context learning)。据NVIDIA博客,该模型以视频作为输入来理解和执行任务,过程中**不更新权重、也不做任务特定的后训练**[1]。Skild AI自己的博客把这一范式类比为语言模型从BERT时代走向ChatGPT的跃迁:早期模型每换一个应用都要重新收集数据、微调模型,而上下文学习让用户仅通过提示就能引入全新概念,无需微调权重[2]。Skild的博客还给出了几个关键指标:未见过的任务、10分钟级的时间跨度、一段视频提示、无需后训练[2]。
合作范围不止于训练
据NVIDIA博客,Skild构建S1并开展相关研究,均基于NVIDIA的AI基础设施,这属于双方更广泛合作的一部分,覆盖合成数据生成、模型训练、仿真以及真实世界的物理AI部署[1]。两家公司表示,正合作把可适应的机器人智能从实验室推向工厂及其他动态运行环境[1]。

*图2:Jensen huang stanford 2026-04-30 004(Anderseidesvik / CC BY-SA 4.0,Wikimedia Commons)*
Skild AI联合创始人兼CEO Deepak Pathak在NVIDIA博客中表示:"通过经验学习、而非预先编程,是机器人领域已经发生的阶跃式变化。"他提到,NVIDIA Isaac Lab和NVIDIA Cosmos技术帮助Skild创造出可扩展、多样化的经验,使其机器人能够在多种场景和本体形态中学习[1]。
商业化数据同样值得注意
NVIDIA博客还披露了一组商业进展数据:在首次商业部署10个月后,公司达到了1亿美元的年化收入运行率;同期,Skild已建立60多个部署合作关系,工作覆盖制造、物流、巡检、安防、食品制备及其他应用[1]。需要说明的是,这组数据出自NVIDIA博客的转述,Skild官方博客的摘录中未包含这些数字,该信息未经Skild方面资料的独立证实。

*图3:NVIDIA H100 (极客湾Geekerwan) 005(极客湾Geekerwan / CC BY 3.0,Wikimedia Commons)*
客观地说
把"一段视频学新任务"讲成机器人领域的ChatGPT时刻,目前还为时过早——Skild自己的博客也承认,机器人研究此前长期停留在"BERT时代"[2]。S1的价值主张能否在真实产线的噪声、光照和长尾异常中稳定兑现,取决于后续部署数据,而非发布时的指标。NVIDIA此次更新的意义,或许更多在于确认了一条路径:物理AI的落地,正在从单点模型能力转向"数据—训练—仿真—部署"的全栈协作。
参考来源
[1] Skild AI Taps NVIDIA Physical AI to Teach Robots New Tasks From a Single Video
https://blogs.nvidia.com/blog/skild-ai-s1-physical-ai/
[2] Introducing S1: In-Context Learning for Robotics
原文及图片版权归原作者或相应权利人。文中观点是原作者的,与即会无关。