卡卡湾厅

张建伟：具身智能数据需求会是自动驾驶和大语言模子的1000倍

泉源：千龙网

2025-08-10 05:01:24

最新永久4虎最新人口,
以下为演讲实录：

各人下昼好，，，，，，我是来自光轮智能的张建伟，，，，，，今天和各人分享的主题是《合成数据加速具身智能进入物理天下》。。今天下昼也听了各人的分享，，，，，，有做本体，，，，，，有做模子的，，，，，，可是各人提到更多的照旧数据方面，，，，，，虽然也有做真实数据收罗的。。

我们做的相对较量聚焦，，，，，，主要在合成数据领域。。

我今天的分享聚焦两个点：

第一部分，，，，，，我们关于合成数据的认知。。

第二部分，，，，，，介绍一下我们在做的一些事。。

首先看AI的生长，，，，，，我们视察到两个趋势：

一是AI正以多 ？？？？榈姆椒ㄍ说蕉似蛏，，，，，，包括大语言模子、自动驾驶，，，，，，也包括具身VLA领域。。所谓端到端，，，，，，就是用更多的神经网络替换更多 ？？？？，，，，，，好比在自动驾驶领域——我之前也做智驾这一块——端到端的泛起，，，，，，让我们看到自动驾驶领域中，，，，，，之前的感知、展望、妄想多 ？？？？榧芄，，，，，，正通过整体的端到端网络做替换。。具身智能接纳VLA的网络架构，，，，，，实质上也是端到端的架构。。端到端的泛起意味着我们需要更多高质量数据来提升AI整体性能。。

二是Transformer网络模子的泛起及普遍应用，，，，，，让我们看到AI正在往“以数据为中心”的偏向生长，，，，，，数据质量的优劣决议了AI的性能优劣。。以是在这两个趋势下，，，，，，我们可以说今天的AI时代着实是以数据为中心的时代。。

回到今天的话题，，，，，，我们以为，，，，，，具身智能的数据需求会是自动驾驶和大语言模子的1000倍。。首先，，，，，，前面也有嘉宾提到具身数据较量特殊，，，，，，需求量大，，，，，，由于今天的具身智能希望机械人能走进千家万户，，，，，，应用到差别场景，，，，，，好比工业场景、居家场景、商超场景。。差别场景下，，，，，，需要具身智能有更好的泛化性，，，，，，这就需要更多更富厚的数据，，，，，，以是数据需求量会比自动驾驶和大语言模子高三个数目级。。

第二，，，，，，具身数据更强调物理交互。。好比大语言模子可能是文本，，，，，，VLM模子可能是文本+视觉，，，，，，自动驾驶可能多了激光雷达和毫米波雷达，，，，，，而具身智能更多关注与物理天下的交互，，，，，，包括机械人的运动轨迹、力的反响，，，，，，前面也有嘉宾提到力学传感器。。实质上我们希望具身智能能真实感受物理天下，，，，，，以是对数据有更强的物理交互要求。。

第三，，，，，，由于具身智能有差别形态——机械狗、人形机械人、机械臂，，，，，，人形机械人又分轮式、双足等差别形态——具身智能所需的数据自己也是异构的，，，，，，很难有统一标品化的机械人应用到差别场景，，，，，，因此数据需求也是异构的。。

这是具身智能的数据的“数据金字塔”：底层希望使用海量互联网数据，，，，，，实质是让模子对物理天下有基本认知；；；；最上层希望通过真实天下的数据做微调，，，，，，让具身算法落地到详细应用场景。。真实数据的优势顾名思义是真实，，，，，，但收罗本钱高、效率低。。不但要解决人工遥操问题，，，，，，还要解决场景搭建及本体采购或制作问题，，，，，，因此真实数据的收罗本钱很高。。

中心一层是合成数据，，，，，，它的优势是理论上只要有足够多的GPU算力，，，，，，就可以提供无限量的数据。。由于合成数据在仿真情形下天生，，，，，，以是泛化能力更强。。因此，，，，，，合成数据不但能提供足量数据，，，，，，也能提供高泛化性数据。。但合成数据也有问题，，，，，，保存仿真与真实天下的“DomainGap”。。以是若是我们能通过手艺手段一直缩小合成数据的“DomainGap”，，，，，，就能赋能具身智能的生长。。我以为“Sim2Real”不是非0即1的问题，，，，，，而是可以通过手艺手段一直缩小差别的问题。。

第二点认知是，，，，，，我们不以为不保存合成数据的“永念头”，，，，，，AGI的生长需要人类的树模数据。。

这一点可以类比大语言模子和自动驾驶：大语言模子如GPT的后训练阶段有不少RLHF数据，，，，，，这些数据的提供者是OpenAI从各行业找来的专家（好比数学博士、物理学博士、医生），，，，，，他们提供高质量语料库，，，，，，进一步提升大模子性能；；；；自动驾驶领域，，，，，，端到端泛起后需要“五星司机”的高质量驾驶数据，，，，，，以提升自动驾驶算 法的类人化能力。。因此我们从大语言模子和自动驾驶中获得启发：它们的生长需要“人在环”提供高质量数据。。具身智能我们以为也是类似的，，，，，，包括前面提到的遥操收罗数据，，，，，，无论是在真实天下照旧仿真中收罗，，，，，，实质上都需要有人在环树模。。好比我们会树模怎样教具身智能叠衣服、炒菜或做详细使命，，，，，，这些数据着实泉源于人的

整体上我们以为，，，，，，具身智能的合成数据需要“人在环”的高质量树模，，，，，，连系仿真情形的能力，，，，，，提供更泛化的数据，，，，，，以此放大人类操作数据的价值。。

接下来介绍我们在做的事。。我们公司叫光轮智能，，，，，，是一家以仿真手艺驱动，，，，，，从具身场景切入，，，，，，提供视觉和物理天下“人在环”高质量合成数据的企业，，，，，，希望通过合成数据放大人类对物理天下的树模价值。。公司建设于2023年2月，，，，，，是一家首创公司，，，，，，卡卡湾厅愿景是成为具身领域的ScaleAI。。

现在卡卡湾厅产品形态包括：高质量3D资产：这是仿真中收罗数据的原质料，，，，，，包括资产、可泛化场景等。。遥操工具链：适配差别硬件，，，，，，且遥操链路在仿真中买通。。强化学习平台：具身智能后训练阶段会用到，，，，，，强化学习需要用GPU算力换取数据，，，，，，因此需要大规模拟真。。我们提供的强化学习训练平台，，，，，，同时我们自己也会用强化学习来验证场景和资产。。现在我们效劳的客户包括海内外头部具身智能公司、一些主机厂和顶尖高校。。

下面快速展示产品Demo：

第一个场景是冰箱资产。。仿真中常见“看起来真实”的冰箱，，，，，，而我们做的冰箱在视觉、交互及物理力学反响上都足够真实。。我们会对其举行物理层面的力学建模，，，，，，好比左边示例中，，，，，，冰箱门开启角度差别，，，，，，反响的力巨细差别，，，，，，这些力的巨细是与真实冰箱对标收罗的；；；；右边Demo中冰箱抽屉的阻尼力反响。。这些能资助具身智能收罗力的相关数据信息。。

第二个Demo是农业场景的例子，，，，，，源于客户的真实需求：需要高质量、可泛化的草莓（支持巨细、颜色、差别成熟期的泛化），，，，，，且场景需用于强化学习训练，，，，，，因此这些草莓能被实操，，，，，，供机械臂举行强化学习训练。。我们不但在视觉层面做了优化，，，，，，也在物理及交互层面做了研发。。

有了资产后，，，，，，下一步是搭建场景，，，，，，场景与真实天下的应用场景相关。。好比针对客户需求，，，，，，我们会制作厨房、商超、工业、医学（如人体内脏）等场景资产。。

前面提到仿真可以泛化，，，，，，我们不但能在资产类型、光照上泛化，，，，，，也能在结构层面泛化。。好比商超场景中，，，，，，资产自己及摆放都可泛化，，，，，，且这内里的每个资产都能自力举行物理交互。。

有了这样的场景，，，，，，就可以在仿真情形下举行遥操数据收罗。。由于差别机械人和数据需求差别，，，，，，我们适配了差别遥操本体，，，，，，包括基于VR、机械臂、4D鼠标的遥操方法。。同时，，，，，，基于VR的遥操保存一个问题：VR眼镜遮挡会导致灵巧手遥操装备看不到手指，，，，，，影响遥操精准度。。我们通过算法优化解决了这个问题——用多个相机收罗数据，，，，，，让灵巧手的位姿预计更精准。。左边示例中，，，，，，苹果很难通过遥操抓取，，，，，，而经由算法优化后，，，，，，遥操员可以轻松抓起苹果举行数据收罗。。

最后分享一个案例：我们在仿真中收罗数据，，，，，，微调英伟达的GR00TN1基础模子，，，，，，并实地安排到真机的效果。。左边是人工在仿真情形下举行遥操数据收罗，，，，，，以及泛化仿真情形所收罗的合成数据；；；；右边是将用合成数据微调后的GR00TN1安排到宇树的H1上，，，，，，落地到工厂场景的应用。。

别的，，，，，，我们做的工具和资产也部分孝顺给了开源社区，，，，，，包括前面提到的场景和铰链资产，，，，，，其中有我们开源的高质量厨房场景，，，，，，也包括基于HuggingFace宣布的机械人LeRobot，，，，，，在仿真中收罗数据、微调机械臂并最终实现真机安排，，，，，，还包括仿真资产名堂互转的相关插件。。

若是各人对合成数据感兴趣，，，，，，接待联系卡卡湾厅进一步交流相助。。谢谢！

新浪声明：所有聚会实录均为现场速记整理，，，，，，未经演讲者审阅，，，，，，新浪网刊登此文出于转达更多信息之目的，，，，，，并不料味着赞许其看法或证实其形貌。。

责任编辑：李思阳

睁开剩余80%

沈阳市在“两节”时代开展系列专项行动“解民忧、纾民困、暖民心” 孩子高热 真的会“烧”坏脑子吗 ？？？？ 4小时前 工业视察：“满天星”何以点亮重庆软件和信息效劳业未来 ？？？？广西南宁开展吸入式新冠疫苗接种孩子37年后重回母亲怀抱 绵阳公安2022年资助136个家庭实现团圆梦 12小时前 走进粮仓看丰收丨一颗大豆的旅程聚焦乡土写作古板在新时代的新可能 长篇小说《野望》钻研会举行从直播电商吹向跨境电商 A股市场涌现百起“A拆A”妄想 21家子公司买通上市之路宁夏提升农业综合生产能力 粮食实现“十九连丰” 18分钟前 大批火烈鸟群集 湖面似乎解锁“粉色限制皮肤” 广西药店免费发放退烧药 预计惠及60余万民众 7小时前 广州增城6项特色小吃制作武艺标准通过国家平台认证广西南宁开展吸入式新冠疫苗接种 1分钟前 龚波任中国航天科工集团总司理、党组副书记 “辽宁迎新消耗节”启动 推动商旅文体深度融合国家林草局：到2025年，，，，，，妄想完成沙化土地治理使命1亿亩国防部就中俄两国水师克日举行“海上联合-2022”联合军事演习等答问香港海关检获市值2600万港元嫌疑可卡因山西今年煤炭产量超13亿吨 一连两年增产1亿吨以上 6小时前 中国抗疫中的那些“小事” 【图刊】永远的“球王” 影像回首贝利的传奇一生广州楼市南北极分解：紧凑型产品“内卷”，，，，，，高端型物业脱销广西田西高速建成通车 革命老区再添生长“新引擎” 巴西“球王”贝利去世 享年82岁酒类产品仅靠包装赢市场行欠亨江秋莲与刘暖曦生命权纠纷案二审驳回上诉维持原判北京：元旦假期高速公路难免收小客车通行用度河南打造国际化营商情形再“出招” 在黄河岸边，，，，，，发明山沟沟里的幸福蜕变

宣布于：

声明：该文看法仅代表作者自己，，，，，，搜狐号系信息宣布平台，，，，，，搜狐仅提供信息存储空间效劳。。

阅读 (0)

网站地图

新闻

财经

娱乐

军事

体育

图库

汽车

房产

科技

时尚

小说

历史

用户反响相助

Copyright ? 2023 Sohu All Rights Reserved

搜狐公司 版权所有

【网站地图】