18禁男女,
以下为演讲实录：
今天给各人分享一些纷歧样的，，，跟各人聊一下灵巧操作这个领域的一些生长历程和未来相助的偏向。。
在我们看来，，，具身这个领域主要由四个方面组成，，，首先是本体。。？？？？？梢跃鲆槟阕鍪裁闯【，，，场景决议了会采到什么数据，，，数据来逊с法。。
很主要的一个点是你的算法是可以界说硬件的，，，以是我们更希望做的是循环历程，，，从算法出发可以界说需要怎么样的灵巧手，，，它的各项指标会是怎么样的。。
关于算法而言，，，我们把它一样平常分成四个水平。。第一个水平就是非标自动化，，，用CV之类的要领可以做一些较量牢靠的操作，，，可是泛化性较量有限，，，会有迁徙到别的场景，，，会有一些问题。。
第二个水平就是现在有一些端到端的算法，，，纯粹的喂数据，，，可以做一些较量灵巧具有一定泛化性的操作，，，可是没有解决的是长程使命着实很难，，，第二就是乐成率的问题。。实质上模拟学习就是天生数据漫衍，，，并不知道这个使命的详细目的是什么。。以是我们灵初定位一最先做的L3，，，就是长程性和灵巧性，，，我们以为在这里较量主要的VLA手艺和强化学习手艺。。
关于VLA分成了端到端的架构，，，已经成为了较量主流的共识，，，我们其时较量早的提出了分成端到端，，，大脑、小脑的架构。。可是我们以为有一个没有说透的点就是怎么做长程使命以及怎么把强化学习加进来，，，这两个是我们公司较量善于的。。
这就是很早的时间做的强化学习训练的使命，，，有许多朋侪问我，，，这么多的Demo，，，着实很难分出来哪些是模拟学习做的，，，哪些是强化学习做的。。可是以为这是一个较量好的例子，，，它网络模拟学习数据都是较量难，，，以是能够做出来一定是用强化学习训出来的，，，这个也是我们当初的亮点。。
它的整个系统是用两个灵巧手和双臂组成，，，我们在内里也用了一些多智能体强化学习和联合训练，，，在仿真内里泛化到种种物体姿态上面，，，整体的效果也是在州差别形态物体，，，包括抛的位置不太一样，，，可是我们有一个较量快的速率接住，，，也是体现出强化学习关于高动态以及高灵巧度的使命优势。。
在这之后我们做了双手灵巧手长程使命勾通的使命，，，人手是很是灵巧的，，，好比说像叠饺子的使命，，，着实是有八个差别的手艺组成的。。我为什么要选灵巧手的缘故原由是我们并不想让它只做一个使命，，，以是我们其时在想怎么用机械人做较量长程的使命，，，好比说像搭乐高，，，可能涉及到在一个乐高内里翻找、抓取、插入等等。。后期人手的操作是较量多的，，，有灵巧手方面的事情，，，好比说抓取、弹钢琴等等。。
这些事情大部分都是只包括使用一个使命，，，许多人以为把两个使命勾通起来是较量容易的，，，划分训练一个使命要串起来就可以了，，，可是我们有一个较量好的例子，，，好比说像这个使命从桌子上拿起一个锤子然后朝下。。我们可以划分训练，，，可是着实最后勾通起来的水平较量低，，，原来是我上一个使命抓取使命竣事状态可能是蓝色圈较量大的，，，可是下一个使命是在内里较量小的圈作为初始状态才华乐成。。以是这个Gap会导致两个勾通起来并不是一定就可以勾通得很是好，，，以是我们提出了双向优化的框架。。
简朴来说，，，我们思量了整个历程，，，我们后面的乐成与否做前一个参考，，，在这个历程中加入强化学习思索怎么做下一个的时间更适合前一个使命。。
除了这个之外我们就把这个框架运用到搭乐高的使命当中，，，内里有4个skill，，，划分是在乐高堆内里翻找，，，然后朝上、抓取、插入。。所有的这些工具着实都是我们在仿真内里用强化学习举行训练的，，，用卡卡湾厅这套要领勾通起来。。这有一些泛化性的展示，，，我们可以泛化到州差别的形状物体上面。。
把这个训完之后可以在内里翻找出来，，，然后转到插头朝上然后再抓取插入，，，能够做到较量好的效果，，，包括多个物体都可以较量好的插拔。。
这个是我们新的系统，，，这是最后的整体效果，，，鲁棒性也较量好。。好比说像这个自动在统一个真实的乐高堆内里翻，，，然后再转到插入朝说，，，然后再抓起来插入到下面。。当你对它举行打断的时间，，，它也可以有一个很是？？？？？焖俚膔ecover。。所有的系统都是纯粹推动强化学习举行训练，，，然后迁徙到真机当中的。。各人若是需要看更多的视频可以去卡卡湾厅网站上。。
从单个物体较量灵巧的强化操作，，，到多个物体的勾通长程使命。。接下来就是上层大脑部分，，，就是卡卡湾厅VLA怎么做。。
VLA也是分层的架构，，，一最先会有上层的Planner和CONTROLLER，，，最后再凭证使命做control。。我们一个较量奇异的点，，，卡卡湾厅上下层之间是通过我们主要设计的actionToken举行毗连的。。详细来说上层可以通过自己的COT判断出最适合下层的是哪个使命，，，有一点像刚刚展示的搭乐高的效果一样，，，然后再选择合适的contro给到下层，，，这样的话就可以让长程使命的勾通变得很是丝滑，，，然后乐成率很是高。。
这内里较量焦点的手艺就是在上层内里做训练，，，我们也是通过像DeepSeekR1之类的一些大模子做后训练，，，我们所有的工具都是可以在仿真内里做的。。好比说像最近的打麻将的Demo，，，所有的工具都是在仿真内里做训练，，，验证完之后迁徙到真机内里的，，，有一些真机数据可是用得较量少。。
关于VLA的话，，，我们以为没有一个较量好的从毗连出来展示的共性，，，以是我们做了这么一个综述。。VLA越来越火，，，各人也最先熟悉到若是要做较量泛化的长程使命，，，VLA是必不可少的。。国际上也有一些较量先进的Demo，，，就像谷歌之类的。。
以是我们联合北大灵初联合实验室就做了一个较量全的VLA的综述。。由于在我们看来，，，做一个VLA的系统最主要的是是不是端到端的，，，若是不是端到端的话，，，上下层是通过什么工具毗连的，，，这着实是极大的影响了VLA的性能。。
我们也对VLA下了一个较量通用的界说，，，最少用了一个基座模子，，，并且有较量大的预训练的模子，，，我们就界说成VLA。。
为什么要用VLA，，，从大模子的视角来看，，，从离身的智能到具身智能必需要有一个实体影响天下，，，以是从打大模子的视角看就是VLA是很是主要的。。从机械人的视角，，，更多的是像我适才说的做一个使命然后怎么做到多个使命并且多个使命勾通起来，，，这个也是需要很是强的reason的能力，，，以是是从两个领域来看为什么VLA较量主要。。
这个也是卡卡湾厅一些生长图和分类，，，感兴趣的话各人可以看一下卡卡湾厅综述照旧很是周全的。。
在我们视角看来VLA很是要害点就是上下层怎么毗连的，，，我们或许分成许多种。。像code有一些VLA，，，上层可能是输出一些code，，，然后下层挪用code执行，，，有一些端到端的就把这个rowation。。现在尚有一些通过latent毗连的，，，我们也下一个较量好的界说，，，也把市面上的所有的paper集中在一起，，，利便各人对这个领域有一个较量好的明确。。这是对种种Token的可视化。。这个也是现在的一些VLA的生长历程图，，，内里也会有一些take away，，，各人感兴趣的话也可以详细去看。。
接下来说到未来灵巧操作的领域需要怎么生长，，，在我们看来模子最主要的数据，，，我们现在把数据分成了四层：互联网数据、仿真数据、真实数据、真机数据。。右边也是我们现在的in the wild手套。。
为什么我们界说真实数据很有用呢？？？？？？由于我们判断或许率有真实GAP，，，真机数采出来的数据可能，，，关于某一些牢靠产品有用，，，可是由于不可能把天下上所有产品、所有物品、所有物体以及所有的操作都搬到数采厂来，，，以是他采出来的数据diverstiy一定是不敷的，，，以是我们更prefer一种分包式的网络要领。。
好比说一些家政姨妈可以带一些手套、摄像头平时不影响她的事情，，，把她一天的操作录下来，，，这个着实区别于互联网数据，，，由于互联网数据是较量杂乱的。。好比说一个小狗随处跑步，，，包括有一些从洗衣机内里掏出某一些衣服，，，手是被盖住的，，，这个也是为什么我们说一定需要一个手套的缘故原由。。
第二点也是触觉很是主要，，，我们很早意识到触觉着实是很是主要的点。。由于人手的骨骼和机械手的骨骼纷歧样，，，包括看上去也纷歧样，，，可是碰没遇到工具是一样的，，，以是很主要的一个点是我们可以通过触觉的信息来grounding embodiment gap，，，以是卡卡湾厅手套上也是触觉信息传感器的。。
在这之后我们有一套奇异的强化学习要领，，，可以转换成高效的真机数据，，，并且可以介绍一 下。。
这个也是我们2024年做的研究，，，这个是其时最早的把人手的数据迁徙到机械手上，，，并且能够很是work的事情。。其时我们有一个很是主要的insight是纯强化学习是较量难题的，，，由于它可能很难探索，，，哪怕真的训出来了他的行动也不是很好。。以是我们其时就想由于人手的数据是较量多的，，，并且人的数据着实是很是diverse的，，，以是我们就想怎么用人手的数据为机械人的训练做效劳呢？？？？？？
在这之前有一些别的研究，，，可能从一些互联网视频内里沉淀出来内里的行动，，，可能也用了人手的数据，，，也在real world上做了。。可是由于我刚刚说的工具，，，这些数据的质量是很是低的，，，以是导致他们险些不可做到除了pick and place以外其他的操作。。
包括我刚刚介绍的较量长程的使命，，，虽然可以训练到一定的泛化性，，，可是想要真正的泛化到种种各样的场景下，，，着实是仍然缺Data的，，，这个也是为什么我们说纯RL照旧不敷，，，一 定要引入人手数据的缘故原由。。
以是我们其时就用了两小我私家手双手灵巧操作的数据集，，，我们就实验把他的一些人看手机好比说翻开柜子操作用到机械人上。。我们焦点的insight就是像我们刚刚说的，，，仿真机械人的数据是没有embodiment gap的，，，以是在我们看来比人手质量是更高的，，，可是由于一些种种各样的问题很难完全做到。。人类的数据是可以收罗较量多的，，，以是他的scaling的能力较量好，，，可是它由于和真实的机械人保存Gap，，，以是导致各人许多用不起来的缘故原由。。
以是我们一个很是要害的点是可以通过强化学习做优化来把人手的数据给到机械手上，，，以是这个是卡卡湾厅框架。。就好比说我们有一个high level的planner和lower的controller。。high level的planner我们输入的是物体需要怎么运动，，，我们有一个generated model天生一个简陋的双手手腕的轨迹。。
下层我们用强化学习训练出真实的灵巧手操作轨迹，，，这内里我们以为这个框架很是优美的点就是建模了之前各人对RL一直忽略的问题，，，就是每一个使命都需要一个奖励函数，，，可是用这套方法所有的使命都可以酿成一件事，，，就是给我一个物体需要怎么运动的轨迹，，，RL的使命就是操作这个物体，，，使得这个物体能够切合这个轨迹就可以了，，，以是我们所有的reward function就可以酿成一个formulation就是物体的pose和你目的pose的差，，，以是这种情形下就可以训一些很是diverse的操作，，，就可以乐成地把一些人手的数据迁徙到机械手上。。
inference就是先通过我上层的planner给我一个大模子或者输出一个物体需要怎么运动，，，好比说喝水就是水杯到嘴边。。卡卡湾厅generation molel先天生一个双手手腕的简陋轨迹，，，大部分是从人类的数据内里来的，，，内里细腻地涉及到碰撞的操作是由强化学习认真训练的。。
所有的这些都是在反推内里做训练的，，，这个也是卡卡湾厅效果，，，在真机内里是加起来60多个自由度的双臂和双手吧，，，可以看到和人的操作是很是配合的，，，然后包括一些双手一起抬某个物体的行动，，，所有这些都是倍数。。
这也是我们为什么做灵巧手的缘故原由，，，很主要的一点是可以使用人类的数据。。
硬件会做到极致的自制，，，发明最终具身智能照旧要ToC，，，在C端一定要起量的本钱才华下去。。至于要怎么起量，，，很洪流平需要有一个很是强的预训练的模子能够很是？？？？？斓乃秤Φ饺魏蔚某【爸，，，这又回到了刚刚的闭环里，，，现在的仿制方较量难做到，，，以是必需要用人类的数据，，，由于人手和灵巧手是较量靠近的，，，以是gap是最小的，，，这也是反推出为什么要做灵巧手，，，这是我们以终为始的理念。。
关于场景，，，未来做ToC，，，现在由于限制，，，从一些ToB的物流、工厂先切入，，，逐步的积累数据和模子，，，直到跨场景的泛化能力较量好的话，，，我们做一个新的场景就会较量快，，，逐步的再往细分生长。。
这是我今天的演讲，，，谢谢各人！
新浪声明：所有聚会实录均为现场速记整理，，，未经演讲者审阅，，，新浪网刊登此文出于转达更多信息之目的，，，并不料味着赞许其看法或证实其形貌。。
责任编辑：李思阳