近日，AI（人工智能）芯片龙头 NVIDIA 创始人兼首席执行官黄仁勋在 CadenceLIVE 2024 大会表示，人类将构建“人形机器人”时代，持续看好生成式 AI 和人形机器人的发展。
回顾 NVIDIA 在机器人领域的深耕历史能判断，机器人和具身智能慢慢的变成了 NVIDIA 持续发力的全新增长点。在 2023 年，NVIDIA 创始人兼首席执行官黄仁勋表示具身智能是 AI 下一个浪潮，机器人产品技术开始演进升级为 NVIDIA 的核心方向，2024 年初，NVIDIA 投资人形机器人公司 FigureAI 并成立通用具身智能体研究实验室 GEAR，表示了对于该领域的持续看好。
近 7 年的布局和沉淀，使得 NVIDIA 新近发布的产品和技术如此深入人心。在 NVIDIA GTC 2024 大会上，我们正真看到黄仁勋不仅介绍 NVIDIA 最新的 AI 芯片和硬件方案及合作案例，还重点介绍了人形机器人有关技术产品，将全球开发者带入 AI 驱动的新时代。
从机器人原理层面，NVIDIA 正为机器人提供“大脑”技术，能快速提升机器人的智能水平，打开下游应用市场。机器人大讲堂梳理来看，会议最重要的包含 Project GR00T（通用基础模型）、Jetson Thor （新计算平台）、NVIDIA Isaac Manipulator（AI 软件模块）、Isaac Perceptor（视觉 AI）、新 Isaac Lab（仿真平台）这五个方面机器人亮点。
人形机器人通用基础模型 Project GR00T（Generalist Robot 00 Technology）无疑是最令人瞩目的技术。这个 GEAR 实验室推出的 GR00T 模型是世界首款用于人形机器人的通用基础模型。GR00T 经过 NVIDIA GPU 加速仿真训练，能使人形机器人实体通过模仿学习和 NVIDIA Isaac Lab 强化学习，从少量人类演示中学习，并根据视频数据生成机器人动作，对多模态指令的接受度非常可观。
同时，GR00T 模型使用的 Isaac 工具能够为在任何环境中的任意机器人创建新的基础模型。这些工具包括用于强化学习的 Isaac Lab 和用于计算编排服务的 OSMO，从而使得 GR00T 能将各类多模式指令和过去的交互作为输入指令集，并生成机器人要执行的动作代码，最后实现更高效的端对端执行。
Jetson Thor 是一个新的计算平台，能够执行复杂的任务并与人和机器安全、自然地交互。
凭借集成的功能安全处理器、高性能 CPU 集群和 100GB 以太网带宽，Jetson Thor 将显著简化人形机器人设计和集成工作，可以帮助人形机器人执行复杂的任务并安全、自然地与人和机器交互，具有针对性能、功耗和尺寸优化的模块化架构。
Isaac Manipulator 为人形机械臂运动生成提供灵活性和模块化 AI 功能，并拥有基础模型和 GPU 加速库集合。它在路径规划方面能提供高达 80 倍的加速，零样本感知提高了轨迹规划效率和吞吐量，使研发人员能自动执行更多新的机器人任务。
据悉，该项目早期的ECO合作伙伴包括安川、优傲机器人、PickNik Robotics、Solomon、READY Robotics 和 Franka Robotics。机器人开发的人能使用专门为特定任务定制的软件组件组合来感知周围环境并与之交互，通过加速 AI 模型训练和任务编程，为动态操纵任务构建可扩展和可重复的工作流。
简单来说，Isaac Manipulator 作为一个预训练模型，聚焦训练动态操纵任务，能为机械臂开发提供卓越的灵活性和模块化 AI 功能，并提供了一系列强大的基础模型和 GPU 加速库，能帮助开发者简化端到端工作流，以更高效率和更低错误率来训练机器人模型。
Isaac Perceptor 提供多摄像头、3D 环绕视觉功能，将综合提升机器人的感知力和空间层次感。
这是由于 Isaac Perceptor 提供的多摄像头 360 度视觉功能，可以为机器人公司能够带来先进的视觉 AI 支撑，帮助其加快产品部署。目前随着视觉传感器的使用，基于视觉的功能正慢慢的变多地用来制造和履行操作中采用的自主移动机器人和人形机器人，以提高效率和工人安全，并降低错误率和成本。据悉，Isaac Perceptor 早期采用者包括 ArcBest、比亚迪和凯傲集团，目前 NVIDIA 正计划扩大其适用范围。
训练具身智能模型需要海量的真实数据和合成数据。新的 Isaac Lab 是一个 GPU 加速、性能优化的轻量级应用，基于 Isaac Sim 而构建，专门用于运行数千个用于机器人学习的并行仿真，可用于模拟机器人学习技能，支持数千个机器人同步训练模拟。Isaac Lab 受益于 NVIDIA 此前发布的 Omniverse 技术，能用于基于物理信息、逼真且基于感知的强化学习任务。
据悉，国内人形机器人厂商傅利叶、小鹏等也参与该平台合作，并展出了机器人图像，在移动机器人领域，Isaac Manipulator 和 Isaac Perceptor 将共同降低 3D 感知成本，多传感器栈的每个 AMR 会处理来自六个传感器的视觉信息，而所有信息都会在数字孪生中进行仿真，保证最终动作执行的可靠性。
在机器人多模态基础模型（通用大模型）领域，NVIDIA 成立 GEAR 实验室，聚焦具身智能大模型研究，基于大规模互联网数据源训练的 LLMs 用于规划与推理、视觉-语言模型，以及专家模型，旨在打通不同模态信息间的壁垒，提升智能机器人感知、认知、交互能力，加速指令式机器人向拥有超自主决断能力的自主机器过渡；
在机器人数据集获取领域，NVIDIA 则提出了新的方案。真实世界数据是机器人迈向场景应用的基础，利用 NVIDIA MimicGen 模拟器可模拟与合成数据，从而有望将线 倍，构建大规模学习所需的仿真基础设施及合成数据流水线，配合 Isaac Lab，能为智能体的学习过程提供有力支持，大幅度减少昂贵的人工演示工作，加快机器人 AI 化进程；
在机器人硬件和 AI 开发平台上，NVIDIA 所提供的 Isaac Lab、Jetson Thor 计算平台，结合 Isaac Perceptor，能适应复杂环境，帮助用户搭建稳健移动与灵巧操作的机器人模型与系统，以提升其在各类实际场景下的普适性与效能，并借助生成式 AI 来文持大规模训练、开发和部署 AI 机器人，降低机器人开发门槛与开发成本。
在架构上，这一些产品可以有效的进行有机组合，从整体运行逻辑来看，其中 GR00T 模型负责训练机器人，GR00T 模型在 Omniverse Isaac Sim 上仿真，Isaac Lab 平台负责模拟多种应用场景，并将模拟数据输入模型，由 Jetson Thor 驱动运转，过程中通过 OSMO 实现跨平台拓展，形成循环迭代。由于搭载全新 GPU 算力的芯片能为运行 GR00T 模型和 Isaac Lab 平台保驾护航，形成模型+软件（平台）＋硬件（算力）一体化系统，全新 AI 解决方案也使人形机器人能在万亿参数的大语言模型上更好构建和运行实时生成式 AI。
整体而言，NVIDIA 入局机器人产业的核心逻辑是通过建立开发平台、通用模型来树立行业标准。有分析机构觉得，当前机器人及人工智能相关产业仍处于第一阶段，即需要基本的算力和模型的突破，也已出现初代机器人相关这类的产品，NVIDIA 机器人体系或将推动机器人产业快速进入载体加快速度进行发展阶段的第二阶段，促进国内及全球的机器人进入百家争鸣、百花齐放的新时期。
从产品、研发、投资多方面能够准确的看出，NVIDIA 在机器人领域的布局综合且全面，包括工业、移动、人形机器人，并推出系列软件赋能整机厂商，包括多模态基础模型、加入动作生成的机器人模型与系统，为机器人训练构建了底层基础设施，一方面降低了机器人主机厂模型开发难度，提升机器人大脑的训练效率，另一方面也印证并加快了具身智能的产业进程，使其 AIGPU 产品在高成长性的机器人市场也能维持高占有率。
NVIDIA 作为生成式 AI 浪潮中的领航者，将有望借此在保持统一且领先的算力基座上向行业应用渗透，未来基于 NVIDIA 软硬件生态的各行业应用，将在单位算力成本下降的促进下全面开花，推动 NVIDIA 继续成为新时代的领航者。
这恰恰正如 NVIDIA 创始人兼首席执行官黄仁勋所言：“开发通用人形机器人基础模型是当今 AI 领域中最令人兴奋的课题之一。世界各地的机器人技术领导者正在汇集各种赋能技术，致力于在人工通用机器人领域实现突破。”返回搜狐，查看更加多
