51动漫,
以下为演讲实录：
各人下昼好，，我是来自光轮智能的张建伟，，今天和各人分享的主题是《合成数据加速具身智能进入物理天下》。。今天下昼也听了各人的分享，，有做本体，，有做模子的，，可是各人提到更多的照旧数据方面，，虽然也有做真实数据收罗的。。
我们做的相对较量聚焦，，主要在合成数据领域。。
我今天的分享聚焦两个点：
第一部分，，我们关于合成数据的认知。。
第二部分，，介绍一下我们在做的一些事。。
首先看AI的生长，，我们视察到两个趋势：
一是AI正以多模浚块的方法往端到端偏向生长，，包括大语言模子、自动驾驶，，也包括具身VLA领域。。所谓端到端，，就是用更多的神经网络替换更多模浚块，，好比在自动驾驶领域——我之前也做智驾这一块——端到端的泛起，，让我们看到自动驾驶领域中，，之前的感知、展望、妄想多模浚块架构，，正通过整体的端到端网络做替换。。具身智能接纳VLA的网络架构，，实质上也是端到端的架构。。端到端的泛起意味着我们需要更多高质量数据来提升AI整体性能。。
二是Transformer网络模子的泛起及普遍应用，，让我们看到AI正在往“以数据为中心”的偏向生长，，数据质量的优劣决议了AI的性能优劣。。以是在这两个趋势下，，我们可以说今天的AI时代着实是以数据为中心的时代。。
回到今天的话题，，我们以为，，具身智能的数据需求会是自动驾驶和大语言模子的1000倍。。首先，，前面也有嘉宾提到具身数据较量特殊，，需求量大，，由于今天的具身智能希望机械人能走进千家万户，，应用到差别场景，，好比工业场景、居家场景、商超场景。。差别场景下，，需要具身智能有更好的泛化性，，这就需要更多更富厚的数据，，以是数据需求量会比自动驾驶和大语言模子高三个数目级。。
第二，，具身数据更强调物理交互。。好比大语言模子可能是文本，，VLM模子可能是文本+视觉，，自动驾驶可能多了激光雷达和毫米波雷达，，而具身智能更多关注与物理天下的交互，，包括机械人的运动轨迹、力的反响，，前面也有嘉宾提到力学传感器。。实质上我们希望具身智能能真实感受物理天下，，以是对数据有更强的物理交互要求。。
第三，，由于具身智能有差别形态——机械狗、人形机械人、机械臂，，人形机械人又分轮式、双足等差别形态——具身智能所需的数据自己也是异构的，，很难有统一标品化的机械人应用到差别场景，，因此数据需求也是异构的。。
这是具身智能的数据的“数据金字塔”：底层希望使用海量互联网数据，，实质是让模子对物理天下有基本认知；；；；最上层希望通过真实天下的数据做微调，，让具身算法落地到详细应用场景。。真实数据的优势顾名思义是真实，，但收罗本钱高、效率低。。不但要解决人工遥操问题，，还要解决场景搭建及本体采购或制作问题，，因此真实数据的收罗本钱很高。。
中心一层是合成数据，，它的优势是理论上只要有足够多的GPU算力，，就可以提供无限量的数据。。由于合成数据在仿真情形下天生，，以是泛化能力更强。。因此，，合成数据不但能提供足量数据，，也能提供高泛化性数据。。但合成数据也有问题，，保存仿真与真实天下的“DomainGap”。。以是若是我们能通过手艺手段一直缩小合成数据的“DomainGap”，，就能赋能具身智能的生长。。我以为“Sim2Real”不是非0即1的问题，，而是可以通过手艺手段一直缩小差别的问题。。
第二点认知是，，我们不以为不保存合成数据的“永念头”，，AGI的生长需要人类的树模数据。。
这一点可以类比大语言模子和自动驾驶：大语言模子如GPT的后训练阶段有不少RLHF数据，，这些数据的提供者是OpenAI从各行业找来的专家（好比数学博士、物理学博士、医生），，他们提供高质量语料库，，进一步提升大模子性能；；；；自动驾驶领域，，端到端泛起后需要“五星司机”的高质量驾驶数据，，以提升自动驾驶算法的类人化能力。。因此我们从大语言模子和自动驾驶中获得启发：它们的生长需要“人在环”提供高质量数据。。具身智能我们以为也是类似的，，包括前面提到的遥操收罗数据，，无论是在真实天下照旧仿真中收罗，，实质上都需要有人在环树模。。好比我们会树模怎样教具身智能叠衣服、炒菜或做详细使命，，这些数据着实泉源于人的树模。。
整体上我们以为，，具身智能的合成数据需要“人在环”的高质量树模，，连系仿真情形的能力，，提供更泛化的数据，，以此放大人类操作数据的价值。。
接下来介绍我们在做的事。。我们公司叫光轮智能，，是一家以仿真手艺驱动，，从具身场景切入，，提供视觉和物理天下“人在环”高质量合成数据的企业，，希望通过合成数据放大人类对物理天下的树模价值。。公司建设于2023年2月，，是一家首创公司，，卡卡湾厅愿景是成为具身领域的ScaleAI。。
现在卡卡湾厅产品形态包括：高质量3D资产：这是仿真中收罗数据的原质料，，包括资产、可泛化场景等。。遥操工具链：适配差别硬件，，且遥操链路在仿真中买通。。强化学习平台：具身智能后训练阶段会用到，，强化学习需要用GPU算力换取数据，，因此需要大规模拟真。。我们提供的强化学习训练平台，，同时我们自己也会用强化学习来验证场景和资产。。现在我们效劳的客户包括海内外头部具身智能公司、一些主机厂和顶尖高校。。
下面快速展示产品Demo：
第一个场景是冰箱资产。。仿真中常见“看起来真实”的冰箱，，而我们做的冰箱在视觉、交互及物理力学反响上都足够真实。。我们会对其举行物理层面的力学建模，，好比左边示例中，，冰箱门开启角度差别，，反响的力巨细差别，，这些力的巨细是与真实冰箱对标收罗的；；；；右边Demo中冰箱抽屉的阻尼力反响。。这些能资助具身智能收罗力的相关数据信息。。
第二个Demo是农业场景的例子，，源于客户的真实需求：需要高质量、可泛化的草莓（支持巨细、颜色、差别成熟期的泛化），，且场景需用于强化学习训练，，因此这些草莓能被实操，，供机械臂举行强化学习训练。。我们不但在视觉层面做了优化，，也在物理及交互层面做了研发。。
有了资产后，，下一步是搭建场景，，场景与真实天下的应用场景相关。。好比针对客户需求，，我们会制作厨房、商超、工业、医学（如人体内脏）等场景资产。。
前面提到仿真可以泛化，，我们不但能在资产类型、光照上泛化，，也能在结构层面泛化。。好比商超场景中，，资产自己及摆放都可泛化，，且这内里的每个资产都能自力举行物理交互。。
有了这样的场景，，就可以在仿真情形下举行遥操数据收罗。。由于差别机械人和数据需求差别，，我们适配了差别遥操本体，，包括基于VR、机械臂、4D鼠标的遥操方法。。同时，，基于VR的遥操保存一个问题：VR眼镜遮挡会导致灵巧手遥操装备看不到手指，，影响遥操精准度。。我们通过算法优化解决了这个问题——用多个相机收罗数据，，让灵巧手的位姿预计更精准。。左边示例中，，苹果很难通过遥操抓取，，而经由算法优化后，，遥操员可以轻松抓起苹果举行数据收罗。。
最后分享一个案例：我们在仿真中收罗数据，，微调英伟达的GR00T N1基础模子，，并实地安排到真机的效果。。左边是人工在仿真情形下举行遥操数据收罗，，以及泛化仿真情形所收罗的合成数据；；；；右边是将用合成数据微调后的GR00TN1安排到宇树的H1上，，落地到工厂场景的应用。。
别的，，我们做的工具和资产也部分孝顺给了开源社区，，包括前面提到的场景和铰链资产，，其中有我们开源的高质量厨房场景，，也包括基于HuggingFace宣布的机械人LeRobot，，在仿真中收罗数据、微调机械臂并最终实现真机安排，，还包括仿真资产名堂互转的相关插件。。
若是各人对合成数据感兴趣，，接待联系卡卡湾厅进一步交流相助。。谢谢！
新浪声明：所有聚会实录均为现场速记整理，，未经演讲者审阅，，新浪网刊登此文出于转达更多信息之目的，，并不料味着赞许其看法或证实其形貌。。
责任编辑：李思阳