uzun tom kopkan haya lazim嘿嘿,
以下为演讲实录：
各人下昼好，，，，，，我是来自光轮智能的张建伟，，，，，，今天和各人分享的主题是《合成数据加速具身智能进入物理天下》。。。。。。今天下昼也听了各人的分享，，，，，，有做本体，，，，，，有做模子的，，，，，，可是各人提到更多的照旧数据方面，，，，，，虽然也有做真实数据收罗的。。。。。。
我们做的相对较量聚焦，，，，，，主要在合成数据领域。。。。。。
我今天的分享聚焦两个点：
第一部分，，，，，，我们关于合成数据的认知。。。。。。
第二部分，，，，，，介绍一下我们在做的一些事。。。。。。
首先看AI的生长，，，，，，我们视察到两个趋势：
一是AI正以多？？？？？？榈姆椒ㄍ说蕉似蛏，，，，，，包括大语言模子、自动驾驶，，，，，，也包括具身VLA领域。。。。。。所谓端到端，，，，，，就是用更多的神经网络替换更多？？？？？？，，，，，，好比在自动驾驶领域——我之前也做智驾这一块——端到端的泛起，，，，，，让我们看到自动驾驶领域中，，，，，，之前的感知、展望、妄想多？？？？？？榧芄，，，，，，正通过整体的端到端网络做替换。。。。。。具身智能接纳VLA的网络架构，，，，，，实质上也是端到端的架构。。。。。。端到端的泛起意味着我们需要更多高质量数据来提升AI整体性能。。。。。。
二是Transformer网络模子的泛起及普遍应用，，，，，，让我们看到AI正在往“以数据为中心”的偏向生长，，，，，，数据质量的优劣决议了AI的性能优劣。。。。。。以是在这两个趋势下，，，，，，我们可以说今天的AI时代着实是以数据为中心的时代。。。。。。
回到今天的话题，，，，，，我们以为，，，，，，具身智能的数据需求会是自动驾驶和大语言模子的1000倍。。。。。。首先，，，，，，前面也有嘉宾提到具身数据较量特殊，，，，，，需求量大，，，，，，由于今天的具身智能希望机械人能走进千家万户，，，，，，应用到差别场景，，，，，，好比工业场景、居家场景、商超场景。。。。。。差别场景下，，，，，，需要具身智能有更好的泛化性，，，，，，这就需要更多更富厚的数据，，，，，，以是数据需求量会比自动驾驶和大语言模子高三个数目级。。。。。。
第二，，，，，，具身数据更强调物理交互。。。。。。好比大语言模子可能是文本，，，，，，VLM模子可能是文本+视觉，，，，，，自动驾驶可能多了激光雷达和毫米波雷达，，，，，，而具身智能更多关注与物理天下的交互，，，，，，包括机械人的运动轨迹、力的反响，，，，，，前面也有嘉宾提到力学传感器。。。。。。实质上我们希望具身智能能真实感受物理天下，，，，，，以是对数据有更强的物理交互要求。。。。。。
第三，，，，，，由于具身智能有差别形态——机械狗、人形机械人、机械臂，，，，，，人形机械人又分轮式、双足等差别形态——具身智能所需的数据自己也是异构的，，，，，，很难有统一标品化的机械人应用到差别场景，，，，，，因此数据需求也是异构的。。。。。。
这是具身智能的数据的“数据金字塔”：底层希望使用海量互联网数据，，，，，，实质是让模子对物理天下有基本认知；；；；；最上层希望通过真实天下的数据做微调，，，，，，让具身算法落地到详细应用场景。。。。。。真实数据的优势顾名思义是真实，，，，，，但收罗本钱高、效率低。。。。。。不但要解决人工遥操问题，，，，，，还要解决场景搭建及本体采购或制作问题，，，，，，因此真实数据的收罗本钱很高。。。。。。
中心一层是合成数据，，，，，，它的优势是理论上只要有足够多的GPU算力，，，，，，就可以提供无限量的数据。。。。。。由于合成数据在仿真情形下天生，，，，，，以是泛化能力更强。。。。。。因此，，，，，，合成数据不但能提供足量数据，，，，，，也能提供高泛化性数据。。。。。。但合成数据也有问题，，，，，，保存仿真与真实天下的“DomainGap”。。。。。。以是若是我们能通过手艺手段一直缩小合成数据的“DomainGap”，，，，，，就能赋能具身智能的生长。。。。。。我以为“Sim2Real”不是非0即1的问题，，，，，，而是可以通过手艺手段一直缩小差别的问题。。。。。。
第二点认知是，，，，，，我们不以为不保存合成数据的“永念头”，，，，，，AGI的生长需要人类的树模数据。。。。。。
这一点可以类比大语言模子和自动驾驶：大语言模子如GPT的后训练阶段有不少RLHF数据，，，，，，这些数据的提供者是OpenAI从各行业找来的专家（好比数学博士、物理学博士、医生），，，，，，他们提供高质量语料库，，，，，，进一步提升大模子性能；；；；；自动驾驶领域，，，，，，端到端泛起后需要“五星司机”的高质量驾驶数据，，，，，，以提升自动驾驶算法的类人化能力。。。。。。因此我们从大语言模子和自动驾驶中获得启发：它们的生长需要“人在环”提供高质量数据。。。。。。具身智能我们以为也是类似的，，，，，，包括前面提到的遥操收罗数据，，，，，，无论是在真实天下照旧仿真中收罗，，，，，，实质上都需要有人在环树模。。。。。。好比我们会树模怎样教具身智能叠衣服、炒菜或做详细使命，，，，，，这些数据着实泉源于人的树模。。。。。。
整体上我们以为，，，，，，具身智能的合成数据需要“人在环”的高质量树模，，，，，，连系仿真情形的能力，，，，，，提供更泛化的数据，，，，，，以此放大人类操作数据的价值。。。。。。
接下来介绍我们在做的事。。。。。。我们公司叫光轮智能，，，，，，是一家以仿真手艺驱动，，，，，，从具身场景切入，，，，，，提供视觉和物理天下“人在环”高质量合成数据的企业，，，，，，希望通过合成数据放大人类对物理天下的树模价值。。。。。。公司建设于2023年2月，，，，，，是一家首创公司，，，，，，卡卡湾厅愿景是成为具身领域的ScaleAI。。。。。。
现在卡卡湾厅产品形态包括：高质量3D资产：这是仿真中收罗数据的原质料，，，，，，包括资产、可泛化场景等。。。。。。遥操工具链：适配差别硬件，，，，，，且遥操链路在仿真中买通。。。。。。强化学习平台：具身智能后训练阶段会用到，，，，，，强化学习需要用GPU算力换取数据，，，，，，因此需要大规模拟真。。。。。。我们提供的强化学习训练平台，，，，，，同时我们自己也会用强化学习来验证场景和资产。。。。。。现在我们效劳的客户包括海内外头部具身智能公司、一些主机厂和顶尖高校。。。。。。
下面快速展示产品Demo：
第一个场景是冰箱资产。。。。。。仿真中常见“看起来真实”的冰箱，，，，，，而我们做的冰箱在视觉、交互及物理力学反响上都足够真实。。。。。。我们会对其举行物理层面的力学建模，，，，，，好比左边示例中，，，，，，冰箱门开启角度差别，，，，，，反响的力巨细差别，，，，，，这些力的巨细是与真实冰箱对标收罗的；；；；；右边Demo中冰箱抽屉的阻尼力反响。。。。。。这些能资助具身智能收罗力的相关数据信息。。。。。。
第二个Demo是农业场景的例子，，，，，，源于客户的真实需求：需要高质量、可泛化的草莓（支持巨细、颜色、差别成熟期的泛化），，，，，，且场景需用于强化学习训练，，，，，，因此这些草莓能被实操，，，，，，供机械臂举行强化学习训练。。。。。。我们不但在视觉层面做了优化，，，，，，也在物理及交互层面做了研发。。。。。。
有了资产后，，，，，，下一步是搭建场景，，，，，，场景与真实天下的应用场景相关。。。。。。好比针对客户需求，，，，，，我们会制作厨房、商超、工业、医学（如人体内脏）等场景资产。。。。。。
前面提到仿真可以泛化，，，，，，我们不但能在资产类型、光照上泛化，，，，，，也能在结构层面泛化。。。。。。好比商超场景中，，，，，，资产自己及摆放都可泛化，，，，，，且这内里的每个资产都能自力举行物理交互。。。。。。
有了这样的场景，，，，，，就可以在仿真情形下举行遥操数据收罗。。。。。。由于差别机械人和数据需求差别，，，，，，我们适配了差别遥操本体，，，，，，包括基于VR、机械臂、4D鼠标的遥操方法。。。。。。同时，，，，，，基于VR的遥操保存一个问题：VR眼镜遮挡会导致灵巧手遥操装备看不到手指，，，，，，影响遥操精准度。。。。。。我们通过算法优化解决了这个问题——用多个相机收罗数据，，，，，，让灵巧手的位姿预计更精准。。。。。。左边示例中，，，，，，苹果很难通过遥操抓取，，，，，，而经由算法优化后，，，，，，遥操员可以轻松抓起苹果举行数据收罗。。。。。。
最后分享一个案例：我们在仿真中收罗数据，，，，，，微调英伟达的GR00TN1基础模子，，，，，，并实地安排到真机的效果。。。。。。左边是人工在仿真情形下举行遥操数据收罗，，，，，，以及泛化仿真情形所收罗的合成数据；；；；；右边是将用合成数据微调后的GR00TN1安排到宇树的H1上，，，，，，落地到工厂场景的应用。。。。。。
别的，，，，，，我们做的工具和资产也部分孝顺给了开源社区，，，，，，包括前面提到的场景和铰链资产，，，，，，其中有我们开源的高质量厨房场景，，，，，，也包括基于Hu ggingFace宣布的机械人LeRobot，，，，，，在仿真中收罗数据、微调机械臂并最终实现真机安排，，，，，，还包括仿真资产名堂互转的相关插件。。。。。。
若是各人对合成数据感兴趣，，，，，，接待联系卡卡湾厅进一步交流相助。。。。。。谢谢！
新浪声明：所有聚会实录均为现场速记整理，，，，，，未经演讲者审阅，，，，，，新浪网刊登此文出于转达更多信息之目的，，，，，，并不料味着赞许其看法或证实其形貌。。。。。。
责任编辑：李思阳