美女逼逼下载软件,
以下为演讲实录：
各人下昼好，，，，，我是来自光轮智能的张建伟，，，，，今天和各人分享的主题是《合成数据加速具身智能进入物理天下》。。。。今天下昼 也听了各人的分享，，，，，有做本体，，，，，有做模子的，，，，，可是各人提到更多的照旧数据方面，，，，，虽然也有做真实数据收罗的。。。。
我们做的相对较量聚焦，，，，，主要在合成数据领域。。。。
我今天的分享聚焦两个点：
第一部分，，，，，我们关于合成数据的认知。。。。
第二部分，，，，，介绍一下我们在做的一些事。。。。
首先看AI的生长，，，，，我们视察到两个趋势：
一是AI正以多模浚？？？ ？榈姆椒ㄍ说蕉似蛏，，，，，包括大语言模子、自动驾驶，，，，，也包括具身VLA领域。。。。所谓端到端，，，，，就是用更多的神经网络替换更多模浚？？？ ？，，，，，好比在自动驾驶领域——我之前也做智驾这一块——端到端的泛起，，，，，让我们看到自动驾驶领域中，，，，，之前的感知、展望、妄想多模浚？？？ ？榧芄，，，，，正通过整体的端到端网络做替换。。。。具身智能接纳VLA的网络架构，，，，，实质上也是端到端的架构。。。。端到端的泛起意味着我们需要更多高质量数据来提升AI整体性能。。。。
二是Transformer网络模子的泛起及普遍应用，，，，，让我们看到AI正在往“以数据为中心”的偏向生长，，，，，数据质量的优劣决议了AI的性能优劣。。。。以是在这两个趋势下，，，，，我们可以说今天的AI时代着实是以数据为中心的时代。。。。
回到今天的话题，，，，，我们以为，，，，，具身智能的数据需求会是自动驾驶和大语言模子的1000倍。。。。首先，，，，，前面也有嘉宾提到具身数据较量特殊，，，，，需求量大，，，，，由于今天的具身智能希望机械人能走进千家万户，，，，，应用到差别场景，，，，，好比工业场景、居家场景、商超场景。。。。差别场景下，，，，，需要具身智能有更好的泛化性，，，，，这就需要更多更富厚的数据，，，，，以是数据需求量会比自动驾驶和大语言模子高三个数目级。。。。
第二，，，，，具身数据更强调物理交互。。。。好比大语言模子可能是文本，，，，，VLM模子可能是文本+视觉，，，，，自动驾驶可能多了激光雷达和毫米波雷达，，，，，而具身智能更多关注与物理天下的交互，，，，，包括机械人的运动轨迹、力的反响，，，，，前面也有嘉宾提到力学传感器。。。。实质上我们希望具身智能能真实感受物理天下，，，，，以是对数据有更强的物理交互要求。。。。
第三，，，，，由于具身智能有差别形态——机械狗、人形机械人、机械臂，，，，，人形机械人又分轮式、双足等差别形态——具身智能所需的数据自己也是异构的，，，，，很难有统一标品化的机械人应用到差别场景，，，，，因此数据需求也是异构的。。。。
这是具身智能的数据的“数据金字塔”：底层希望使用海量互联网数据，，，，，实质是让模子对物理天下有基本认知；；；；；；最上层希望通过真实天下的数据做微调，，，，，让具身算法落地到详细应用场景。。。。真实数据的优势顾名思义是真实，，，，，但收罗本钱高、效率低。。。。不但要解决人工遥操问题，，，，，还要解决场景搭建及本体采购或制作问题，，，，，因此真实数据的收罗本钱很高。。。。
中心一层是合成数据，，，，，它的优势是理论上只要有足够多的GPU算力，，，，，就可以提供无限量的数据。。。。由于合成数据在仿真情形下天生，，，，，以是泛化能力更强。。。。因此，，，，，合成数据不但能提供足量数据，，，，，也能提供高泛化性数据。。。。但合成数据也有问题，，，，，保存仿真与真实天下的“DomainGap”。。。。以是若是我们能通过手艺手段一直缩小合成数据的“DomainGap”，，，，，就能赋能具身智能的生长。。。。我以为“Sim2Real”不是非0即1的问题，，，，，而是可以通过手艺手段一直缩小差别的问题。。。。
第二点认知是，，，，，我们不以为不保存合成数据的“永念头”，，，，，AGI的生长需要人类的树模数据。。。。
这一点可以类比大语言模子和自动驾驶：大语言模子如GPT的后训练阶段有不少RLHF数据，，，，，这些数据的提供者是OpenAI从各行业找来的专家（好比数学博士、物理学博士、医生），，，，，他们提供高质量语料库，，，，，进一步提升大模子性能；；；；；；自动驾驶领域，，，，，端到端泛起后需要“五星司机”的高质量驾驶数据，，，，，以提升自动驾驶算法的类人化能力。。。。因此我们从大语言模子和自动驾驶中获得启发：它们的生长需要“人在环”提供高质量数据。。。。具身智能我们以为也是类似的，，，，，包括前面提到的遥操收罗数据，，，，，无论是在真实天下照旧仿真中收罗，，，，，实质上都需要有人在环树模。。。。好比我们会树模怎样教具身智能叠衣服、炒菜或做详细使命，，，，，这些数据着实泉源于人的树模。。。。
整体上我们以为，，，，，具身智能的合成数据需要“人在环”的高质量树模，，，，，连系仿真情形的能力，，，，，提供更泛化的数据，，，，，以此放大人类操作数据的价值。。。。
接下来介绍我们在做的事。。。。我们公司叫光轮智能，，，，，是一家以仿真手艺驱动，，，，，从具身场景切入，，，，，提供视觉和物理天下“人在环”高质量合成数据的企业，，，，，希望通过合成数据放大人类对物理天下的树模价值。。。。公司建设于2023年2月，，，，，是一家首创公司，，，，，卡卡湾厅愿景是成为具身领域的ScaleAI。。。。
现在卡卡湾厅产品形态包括：高质量3D资产：这是仿真中收罗数据的原质料，，，，，包括资产、可泛化场景等。。。。遥操工具链：适配差别硬件，，，，，且遥操链路在仿真中买通。。。。强化学习平台：具身智能后训练阶段会用到，，，，，强化学习需要用GPU算力换取数据，，，，，因此需要大规模拟真。。。。我们提供的强化学习训练平台，，，，，同时我们自己也会用强化学习来验证场景和资产。。。。现在我们效劳的客户包括海内外头部具身智能公司、一些主机厂和顶尖高校。。。。
下面快速展示产品Demo：
第一个场景是冰箱资产。。。。仿真中常见“看起来真实”的冰箱，，，，，而我们做的冰箱在视觉、交互及物理力学反响上都足够真实。。。。我们会对其举行物理层面的力学建模，，，，，好比左边示例中，，，，，冰箱门开启角度差别，，，，，反响的力巨细差别，，，，，这些力的巨细是与真实冰箱对标收罗的；；；；；；右边Demo中冰箱抽屉的阻尼力反响。。。。这些能资助具身智能收罗力的相关数据信息。。。。
第二个Demo是农业场景的例子，，，，，源于客户的真实需求：需要高质量、可泛化的草莓（支持巨细、颜色、差别成熟期的泛化），，，，，且场景需用于强化学习训练，，，，，因此这些草莓能被实操，，，，，供机械臂举行强化学习训练。。。。我们不但在视觉层面做了优化，，，，，也在物理及交互层面做了研发。。。。
有了资产后，，，，，下一步是搭建场景，，，，，场景与真实天下的应用场景相关。。。。好比针对客户需求，，，，，我们会制作厨房、商超、工业、医学（如人体内脏）等场景资产。。。。
前面提到仿真可以泛化，，，，，我们不但能在资产类型、光照上泛化，，，，，也能在结构层面泛化。。。。好比商超场景中，，，，，资产自己及摆放都可泛化，，，，，且这内里的每个资产都能自力举行物理交互。。。。
有了这样的场景，，，，，就可以在仿真情形下举行遥操数据收罗。。。。由于差别机械人和数据需求差别，，，，，我们适配了差别遥操本体，，，，，包括基于VR、机械臂、4D鼠标的遥操方法。。。。同时，，，，，基于VR的遥操保存一个问题：VR眼镜遮挡会导致灵巧手遥操装备看不到手指，，，，，影响遥操精准度。。。。我们通过算法优化解决了这个问题——用多个相机收罗数据，，，，，让灵巧手的位姿预计更精准。。。。左边示例中，，，，，苹果很难通过遥操抓取，，，，，而经由算法优化后，，，，，遥操员可以轻松抓起苹果举行数据收罗。。。。
最后分享一个案例：我们在仿真中收罗数据，，，，，微调英伟达的GR00TN1基础模子，，，，，并实地安排到真机的效果。。。。左边是人工在仿真情形下举行遥操数据收罗，，，，，以及泛化仿真情形所收罗的合成数据；；；；；；右边是将用合成数据微调后的GR00TN1安排到宇树的H1上，，，，，落地到工厂场景的应用。。。。
别的，，，，，我们做的工具和资产也部分孝顺给了开源社区，，，，，包括前面提到的场景和铰链资产，，，，，其中有我们开源的高质量厨房场景，，，，，也包括基于HuggingFace宣布的机械人LeRobot，，，，，在仿真中收罗数据、微调机械臂并最终实现真机安排，，，，，还包括仿真资产名堂互转的相关插件。。。。
若是各人对合成数据感兴趣，，，，，接待联系卡卡湾厅进一步交流相助。。。。谢谢！
新浪声明：所有聚会实录均为现场速记整理，，，，，未经演讲者审阅，，，，，新浪网刊登此文出于转达更多信息之目的，，，，，并不料味着赞许其看法或证实其形貌。。。。
责任编辑：李思阳