The Robot Brain and the Novelist

哈喽,大家好,我是张小珺。今天我们的嘉宾是硅谷机器人公司 Physical Intelligence(Pi)的研究员柯丽一鸣。Pi 是一家专注于研究机器人大脑的明星创业公司,成立仅两年,投后估值已经超过了 50 亿美元,是这个赛道最受瞩目的独角兽之一,部分业界人士对它的期望是成为机器人领域的 OpenAI。柯丽一鸣在 Pi 主要负责强化学习方向的研究,也是 Pi 核心论文的作者之一。在科研之余,她也追求在工作和人文表达之间找到平衡,所以业余时间她也会写写小说,这让今天的聊天变得更有意思了。节目中我们详细聊了聊机器人的江湖、谱系、门派与主角儿们。全球的机器人团队都非常关注 Pi 在机器人大脑上的开源工作,柯丽一鸣也详细阐述了他们的研究思路与技术细节,从 π0 到 π0.5,再到 π*0.6。但由于这集节目的录制时间相对比较早,所以尚且还没有囊括进他们的最新模型 π0.7,嘉宾关于这个工作的技术讲解,我会补充在 show notes 里。接下来就是我对柯丽一鸣的访谈——期待 2026 年,我们和 AI 共同进步!

确实,我们不做人形。如果他们要说做人形,我就不来了。我其实一直很想做的,就是机器人可以造自己。我觉得这可能会是机器人发展的一个里程碑,因为它就像一个种族是有延续性的,可以通过某种自我繁殖来延续。机器人能够组装、制造自己,就是一种繁殖的体现。第一篇是 π0,它的关键词应该就是能力;第二篇是 π0.5,它的关键词是泛化;最近的这篇是 π*0.6,它的关键词是表现。

你们公司其他人会很关注中国机器人的发展吗?

我觉得都很关注,这是一个不可忽视的部分。

我们今天的嘉宾是硅谷机器人公司 Pi 的研究员柯丽一鸣，大家都叫她 K。Pi 是一家在硅谷机器人大脑的探索上非常有名的公司。前两天我跟 K 聊天，发现她除了是一个 researcher 之外，业余也是一个网文写手。K，你要不先来自己介绍一下自己？

大家好，我是柯丽一鸣，平时朋友都叫我 K。我每天平时的工作是教机器人更快更好地完成任务。业余时间我非常喜欢人文、艺术这些东西，写小说也是一种表达情绪的方法。很高兴今天能有这样一个机会，梳理一下自己在研究中的想法，和大家分享。

你觉得做机器人和写小说有什么共通之处？

我觉得都是有一些创造力的需求。比如说机器人现在完成很多任务还不够好，你需要想一些新的方法；而写小说，可能你真正想写的那个故事还没有被写出来，你也需要把它创造出来。很多时候都需要一些比较天马行空的想法。另外，也有一种执行力。像我在做研究的过程中，经常是有了一个想法以后，慢慢把这个想法落地，中间需要一些工程的事情，比如写代码。而小说有的时候是有了一个命题，为了让读者感受到这个命题，就开始一个字一个字地码。

我很好奇，你平时写什么小说？你在小说里有没有藏着一个跟硅谷机器人公司内部的叙事不一样的世界观？

我平时写得比较多的是科幻小说，这也是我最爱读的小说分类之一。科幻小说肯定和我们现在生活的这个硅谷、现在所处的这个时代有一些关系，因为我在科幻小说中比较痴迷的一些类型都会涉及两个命题。第一个是生产力变化以后，人们的生活是怎么改变的？第二个命题是，在和我们社会风貌很不一样的这种未来、科幻的社会里，人与人之间的关系是怎么样的？第一个命题上面，可能和我的工作会更相关一些。工作的时候经常会考虑到，我们做这些人工智能的研究、做机器人是一种自动化，如果能把很多现在人做的事情自动化、提升效率以后，人去做什么样的事情，其实是每天都会想的一个命题。第二个命题，是因为我觉得人与人之间的关系是一个自古永恒不变的话题。在写小说的过程中，你可能也会去读别人的小说，也会和几千年前生活在不同世界的人，他们的一些思想产生共鸣。我觉得应该有一些人性之类的东西，即使在生产力大幅度变化的未来科技社会，也会流传下去。

所以在 AI 这个时代，在机器人马上就要进入我们生活的这个时代，你觉得人会发生什么变化？人和人之间的关系会发生什么变化？而且现在不只是人和人之间的关系，还有人和机器人之间的关系会发生什么变化？

我觉得这是一个正在梳理中、还没有很确切结论的话题。一谈到人和人的关系——我是一个相对而言比较内向的人，你可以从每个人不同的研究风格中稍微感受到一些。我的研究风格很多时候是先想把自己埋在一个洞穴里面，先埋头苦思一会儿。但是为了不要变成一个闭门造车的人，你肯定还是要把头从土里拿出来，去到这样的场合和别人交流，碰撞一下思想。接下来真的定下来一个命题以后再去执行。这个执行，以前我在 PhD 期间、读博期间是一个比较独狼的玩家：你有一个想法想要去实现，那就说干就干，中间遇到什么问题，可以自己上网探索、学习，通过提升自己的技能，组织一个比较小的队伍去解决这个问题。而从读博毕业以后，加入了这么一家初创公司，做机器人的具身智能大脑，一个比较深切的感受就是：有一些事情得在一个团队的协作中才能完成。之前读博的项目规模比较小，要解决的问题也比较具体；而现在为了做成这个通用的大脑，需要团队中每个人都在自己比较擅长的事情上发挥作用。所以是为了完成一个任务，大家要齐心协力，这中间人与人之间的联系会比我之前那种要紧密一些。同时我在想，如果生产力变化以后——最近硅谷不是有很多像 Claude Code 这种可以自动帮你编程的小工具吗——人与人之间的关系好像又可以不用那么紧密了。因为有的时候，与其去找我这个项目需要用到的某一个模块的负责人，跟他说一下我们这是怎么回事、问一下他可不可行，我干嘛不直接问这个 Claude Code 呢？我可以通过和 AI 智能体的交流，把以前需要和人交流的这个方面拿掉，减少我对它的依赖。甚至包括我们现在很多自己的工作流程，也是一个人掌控着三四个 agent，然后让 agent 去干很多活。这有一些改变了团队协作中人与人之间的关系。

所以你在跟人沟通之前，会先去找 Claude？

没错。

然后 Claude 成了人和人中间的那个环节。

没错。我在构思一些小说的时候，会受到这个关系的启发。比如说，一个想法是：现在是一个比较信息爆炸的时代，我觉得现在可能已经有人是这样的了。信息爆炸的时代以后，以前你的很多讯息都是我一个人去浏览一个浩如烟海的互联网信息，但有没有可能，我有一个小 bot，它可以把互联网上所有这些信息看得比我快、比我多，然后又了解我的喜好以后，全部揉碎了喂给我？同时，如果以后大家都变成了默认的模式，就是由你的 bot 去爬信息、分解信息，可能以后没有这个 bot 你就很难在浩如烟海的互联网里面生存了，因为你一个人能看到的信息就变得非常有限。然后另外一种可能是，我觉得生产力的进步——我这个人因为之前是独狼玩家，所以会畅想一些非常适合独狼玩家的生存方式。比如说田园牧歌、一个人的乡村生活，大家在 YouTube 上也会看一看类似的博主，我会畅想一下：将来我就到一个远离人烟的地方去生活。这种生活现在叫我去，我肯定不敢，我会觉得要干好多事情，要脱离现代社会这种基建的支持去干这么多事情，凭一个人的力量，我能做到吗？烧水、弄饭这些可能现在还有一些基建，但在家里的这些家务，还有各种各样我不想干的事情，我怎么能够在远离人间的方式下把它干出来？会想到我们现在正在做的机器人比较近期的一些应用，可能就是能够把我不想做的事情做掉。但以后更多的畅想是：如果真的有一天机器人技术能够飞速发展，可能你现在需要拜托很多人的事情，比如说修水管——这是美国社会永恒的难题，修水管你现在是需要依赖人的——但将来也可能是机器人来解决。甚至包括你现在做的很多项目，随着智能体的发展，以前可能需要你拉一个人的团队，以后可不可能是拉一个人工智能或者机器人的团队？甚至就像我们现在去看很多一千年前的原始社会，可能会觉得他们生产力、制造力没有那么发达；如果我们在一千年后再看的话，说不定他们看我们也是原始社会，他们那个时候每一个人能够拥有的生产力，都相当于现在每一个国家能够拥有的生产力。我觉得这个可能独狼玩家会挺快乐的。

那人和人的关系会变得更加松散。

我觉得是可以让人和人之间的关系变得更加松散。在原始社会，一个人在广袤的大自然里独自狩猎、生存是比较难的；而现在，找一个地方把自己头埋起来好像没有那么大的问题。将来也许在宇宙中你可以探索，说不定发现了一个小星球，你就直接在这个星球上定居，可以搞很多机器人来帮你在这个荒无人烟的星球上把基建搞好。你想建高楼大厦、想造这个那个，都可以成功。我觉得还蛮有意思的。

所以脱离一切外部条件的限制，你自己是希望能够回到洞穴里去的，是吗？为什么呢？

我觉得并不完全是说彻底活在洞穴之中，但人对于自己的空间是会有一些追求的。作为一个内向的人，我回复能量的方式其实是一个人静静待着。在硅谷这么一个非常喧嚣、无时无刻都有新讯息涌入的环境里，能够找一个空间自己静静，其实比我以前的这种生活是有一些难度的。所以可能对于找一个洞穴稍微待一阵子，产生了一些向往。但我也认为，人还是社会性动物，在洞穴里待久了，可能像我这样的人也会想要走出来再看一看。

说到这个还挺有意思，我记得有一个老师，他说他对于他下一代的小孩不跟人谈恋爱、只跟机器人谈恋爱这件事，一点惊讶都没有。现在你能接受这个事情吗？

我觉得我还挺能接受的，因为我是老二次元了。我的生活中有不少这样的朋友，他们的生活方式可能和老一辈的那种观念很不一样。但因为大家是熟悉了很久的朋友，我甚至能够理解他们做的这些选择——不想和人类谈恋爱的选择，或者他们在社交方面的一些偏好，以及大家对纸片人、二次元这种造物的喜爱。包括我自己也是有参与一些二次元的同好活动的。

哪些文学作品、影视作品，或者各种各样的文艺作品，对你对机器人的思考有过帮助和影响吗？

我觉得一时半会很难指出哪一个具体的作品，但我们也许在谈话过程中会触及一些别的，我都可以分享。不过我觉得，之前看到的一小类文学作品中描绘的这种"人工智能毁灭世界"的命题，让我觉得——从现在的角度、以我有限的视角来看——不太可能。真的会走到这一步吗？所以会有一些反思：我们真的会开发出一个智能体，然后不知道怎么的，它诞生的使命本来是帮助人类，但最后它存在的客观意义却变成了与人类对立的关系吗？我觉得现在的我是很难想通的，但因为一直没有想通为什么这个逻辑是成立的，所以一直都在想。

为什么这个逻辑不成立呢？

我觉得以现在的、就是2026年，我们弄一个快照，看看现在的状况的话——现在智能体干的最坏的事情是什么？哦，我知道，前几天好像有一个：有人把很多权限给了一个智能体，让它帮自己清理邮箱，结果这个智能体得到权限以后，就把他的邮箱全都删了，删得差不多了。就是说，给这个智能体的任务是得到了执行，但智能体的执行并没有和他真正想要的那个任务重合。我觉得这个问题确实存在，但现在智能体得到的权限、承担的责任，以及它能做的事，都比较有限。得到权限方面，很多时候大家都会 prompt 它："你现在不清楚的话，先别慌着动，先跟人确认一下。"然后是它承担的责任——比如我之前攀岩受伤，受伤的过程中到处求医问药，但美国这个社会的医疗是有一些难的，这个时候我会把我的一些医疗资讯发给这个智能体，让它给我解答。但其实在这个解答过程中，我也不会真的就彻底相信，不可能说这个 AI 跟我说什么我就信什么，对吧？我肯定还是要把它带到一个人类专家面前去确认。因为我不觉得，如果我真的基于它的推荐做了什么事，它是能够承担责任的。所以在承担责任这个方面，我觉得现在它承担的责任还非常有限。而在人类社会里面，是谁能够承担责任，才会建立起信任。我觉得这种信任还在演化的过程中，还没有到我们就完全相信一个智能体、给它那么多权限的地步。然后是它现在能做的事情，我觉得也比较有限。比如说我们机器人行业内部有时候有个笑话，这个笑话可能已经有一点过时了——这是大概三四年前，和一个快要毕业的同学聊天，我们在吐槽：我们这每天都在做什么呢？就是让机器人把一个红色的方块放到一个蓝色的方块上，这不是三岁小孩都会做的事情吗？我们天天就在这，花了五年时间读了一个博士，然后教机器人做，做得可能还没有三岁小孩好。

还不如生个娃。

人类的学习速度是非常快的。所以我觉得，这三点因素导致了，在我看来，现在的智能体，我不太相信它能够在现在这个节点上做到与人类对立这种事情。

因为写小说和写网文其实都要从现实世界取材，很多是取材于生活。我没有看过你的小说，因为你不告诉我你的网名。但我很好奇，你会把你在 Pi 的工作经历的哪一个部分，作为素材提取出来，放到虚构的作品里去？

哇，我其实是一个工作和生活分得相当开的人。我觉得在 Pi 的工作经历肯定影响了我的思考，比如你对技术发展到哪一步了，以及技术发展中的一些 quirky?、比较特殊的东西，会有更多的、比较具体的思考。而我的网文很多时候就天马行空——哎呀，在网上保护好自己的身份以后，想写啥写啥，不是挺好的吗？

所以你告诉我们你的网名是什么？

不行，救命啊！马甲马甲要保护好。

那我们接下来聊聊你的成长吧。我发现很多硅谷的人,从小都受益于竞赛,是这么一群人,我感觉这个还挺多见的。能不能讲讲你的成长经历?你是通过竞赛改变命运的人吗?你算这个类别吗?

我觉得是。而且在我成长的过程中就有一些感触,只是当时的感触甚至都没有现在这么深。我人生中有一些关键的节点,或多或少都受到了我搞信息学竞赛的影响。

其实我小时候出生在安徽省,上学是在安徽省的芜湖市。互联网上大家了解芜湖,可能都是因为"芜湖起飞"这个网络用语,但它其实是一座城市。客观来说,这座城市的教育资源和上海这样的大城市还是有一些差距。但非常凑巧的是,我们城市有一位很优秀的信息学竞赛老师——江涛老师。他当年在我们城市读书的时候,因为一次事故受了伤,失去了双手。这段遭遇最后影响了他就业的选择,让他回到家乡当了一名计算机老师。因为他这个人非常聪明、优秀,所以在投身计算机教育的过程中,他在我们城市开设了比较系统的竞赛培养。我甚至跟他都没有真正面对面交流过,但我确实从他的很多贡献中受益了。

什么意思呢?就像我们小时候会上奥数班一样,在我们城市其实有非常正规的信息学奥赛班,它就是个兴趣班。(报名的时候老师会问)你家小宝宝几岁了?我是8岁去学的这个东西。当时我们小孩子也没想太多,只觉得可以玩电脑了,太高兴了。只要不让我去学那些正儿八经的东西,让我去玩点不那么正经的,我都非常高兴。所以在这个过程中,无意之间就打下了后来编程的基础,并且一步一步走上了竞赛的道路。

在成长过程中,我也探索过其他的职业发展方向。比如我大学其实是从心理学开始学的,最后又转成了经济学。

你大学本科是心理学。

我是从心理学开始的。对,美国大学是可以换专业的,我大一选择的专业其实是心理学。学过一些心理学以后,我有两点感受:第一,学的东西非常有趣;第二,我实在不太适合做心理学。

为什么呢?我觉得人有时候会有一种打破砂锅问到底的性格,这在我身上是存在的。学心理学的过程中,常常会有一种感觉——这个东西他说得非常有道理,但如果我想打破砂锅问到底,也许可以做,但要很多年以后,或者要去做一些别的事情,不够直接。可能我们对于解决一个非常具体的问题,是有一种痴迷的。

所以当时又去学了经济学,想要了解一下自己生活的这个世界。但最后还是转回了计算机,原因还是那个:我觉得经济学能帮助我了解这个世界,但不能帮助我了解自己在这个世界中想做些什么。所以最后还是转回了一条相对更理工科的、计算机的道路。

所以你整个大学经历了两次换专业。

对。在这个成长过程中,能够探索其他行业,再回到计算机,我真的非常非常感激小时候有这些竞赛的辅助。

竞赛对你性格影响大吗?

其实不是很大,因为我搞竞赛的时候还是比较悠闲的。小时候对我来说它只是一个兴趣班,我们就觉得这个东西好好玩,因为刚开始学的时候学的是 LOGO 语言。它不像现在这样都是打文字,而是一个图形界面。作为一个小学生,看到计算机居然可以画画,你让它画各种各样好玩的图案,当时就觉得非常高兴。所以在竞赛的过程中,我对计算机编程的体感一直是非常快乐的。

当时还有一本教材是《中学生学 C 语言》,这可能是我这辈子唯一认真读完的一本编程教材,后来都是网上现学现卖。在读这本教材的过程中,作为一个接触编程的小孩子,我觉得思维会不太一样,因为它会用讲故事的方法教你很多编程原理。比如讲递归,就是跟灯神许愿,许了一个愿望以后,让他再给你三个愿望。这些东西都非常自然而然地融入到我的生活之中,被我内化了。

所以在这个层面上,搞竞赛、或者说很早去学习编程这件事,对我的思维是有一些影响的,但可能是比较润物细无声的。我并没有感觉到它对我的性格造成了非常明显、非常突然的变化。

你小时候是一个很乖的小孩,还是一个叛逆的小孩?

是一个看起来很乖、但实际上很叛逆的小孩。

有多叛逆啊?

我记得我小时候上小学的时候,第一天我爸妈不知道怎么想的,给我剪了一个板寸头。你知道小学生,一个小女生留着板寸头去上学,大家就会笑话你。我就记得上小学的第一天,我是哭着上学的,因为被大家嘲笑而内心无法忍受,不知道该怎么处理这种事情,就哭了,那可能是我小学哭得最惨的一次。

然后等我小学毕业的时候,已经变成了学校里的大姐大——有什么想法我们可以坐下来聊聊,不行的话就把你打服。斯特尔?,当然使用暴力不是一件很好的事情,只是在小学那个环境下,你能明显看到我性格上有一些不太相符的方面。

你是怎么在小学那个环境里,从第一天哭鼻子的小女孩变成一个大姐大的?我知道别人都叫你柯姐,对吧?

对,这是我朋友对我的称呼,从小学一直到高中都是这样。

我觉得可能是学会了动手。

我觉得性格上有一些"路见不平一声吼"的因素在里面吧,会有一些对公平、正义的追求,在小学时候也会想办法去实现这种事情。比如小学时看到有人欺负别人,我就会说你在干嘛?你这样不行,不行我们就来打一打——用这种方式去达到我心中那种正义的状态。

在你心中,有什么是别人觉得可以接受、但你觉得触发了你对这个世界不公平、不正义的感知,然后你要去反抗的?

我觉得生活中确实没有那么多事情是绝对公平的,甚至公平的定义都很模糊,不同人有不同的想法。我只是尽量在自己力所能及的范围内维持一种公平。有的时候我觉得每个人也没有什么权利去要求另一个人一定要按照他的想法去做。

但在这一层之上,有什么东西是我觉得比较有普世价值、可以这么去想的呢?我觉得一方面可能是——我有些心痛的,就是教育资源这个方面。当我出了国以后,会有一些感慨。我在国内受教育的这段过程中,其实曾经想过要考清华北大这样的学校。但因为我在安徽省,安徽省大概每一万个人里只有三四个人能够上清华北大。

我高中上的是竞赛班,也是从传统的升学道路里一步一步学出来的。我不是那种优秀到骨子里、真的非常热爱学习、愿意花很多时间去学习的学生。我就是竞赛班里的中等生,喜欢的事情就多学,不喜欢的就少学。所以我知道,除非我转了性、特别用功,才有可能去拼一拼那一万个人里的三四个名额。

而当我出来以后,会发现其他一些省份确实在教育资源上有优势。比如在大城市,可能每一万个人里有八十个人都能上清华北大,这种数字在安徽是想都不敢想的。所以会觉得,这里面是有一些资源分配上的问题的。但可能在现在这个时间点上,我更多能想的是:如何通过创造更新的生产力,来在某个层面上抹平这些不公平。

所以你觉得你不是这种激烈教育的优胜者。

我对我的同班同学,尤其是初中、高中的这些同班同学,报以崇高的敬意,我实在没有办法像他们那样卷。因为我们是竞赛班,竞赛班上的大家我觉得都非常努力,都非常清楚自己想要什么。不像我这种,从小虽然看着很乖、不会做特别坏的事情,但也没有那么乖——学习这件事,我就学我自己想学的就好了。所以在这种环境下,抱着这样的心态,我确实没有办法和那些特别优秀、特别专注的同学相比。

你小时候做过最叛逆的一件事情是什么?

最叛逆的事情……因为做的叛逆事情太多了,很难评出一个最叛逆的。

那前三吧,前三名。

前三名?其实我到高中的时候,又把头发剪成了板寸。因为当时非常想去东南亚旅行看一看,又觉得自己一个人在东南亚可能不太安全,就把头发剪成板寸,整个人打扮成一个非常男孩子的样子,这样走在大街上大家的态度可能会不一样。可以这么总结吧:在东南亚背包的这段经历,相对而言是比较叛逆的。因为它没有明显的目的,也没有明显的目标,我也不知道它对我的人生有什么影响,但就是非常想做。

还比较幸运的是,家里人也没有那么强烈地反对,他们只是觉得好奇怪,怎么会做这个事情。他们让我保护好自己的安全,然后每天不停地"骚扰"我,说赶紧回来吧,别再搞这些奇怪的事情了。

你那是高几去的东南亚?

大概是高二快结束的时候。当时其实已经在想要不要出国了。之前我一直在走升学的路线,并不知道自己要出国,这算是一个很快的、思想上和目标上的转变。转变之后稍微执行了半年,突然发现自己还有点空闲时间,当时就想做点什么,于是就去东南亚背包。因为我之前非常喜欢几本印度神话相关的小说,开始迷上了印度宗教的建筑,就想跑过去看一看。

去了多久?

去了大概两个星期。

一个人去的吗?

对,我一开始是一个人,但后面我爸爸妈妈也来找我了,他们可能还是有点不太放心。

所以你是为了去东南亚,才把头发剪成板寸,为了自己的安全。

我觉得是。但其实头发剪成板寸也非常方便。因为在我成长的初中、高中这段过程中,我的朋友们都知道我是一个非常不修边幅的人,不管是打理头发、梳头发,还是衣服的扣子。我到班上以后,班上一些跟我关系比较好的女同学会来帮我稍微打理一下仪表,因为实在是看不下去了。

我在想,你去东南亚把头发剪成板寸,内心是不是潜在有一种不安全感?

很难描述。因为会不自觉地认为,如果外表像一个男生,大家可能就没有那么多不好的想法,可以提前保护好自己,是这样的想法。

你觉得这种不安全感可能来自哪里呢?

我觉得来自社会中的认知,比如新闻,或者听到的很多事情,会让大家作为一个女生,觉得自己更可能处在被侵害的位置上。所以就会想要花更多的心思去思考怎么保护自己。

我觉得你的选择很有意思。因为有的人会觉得不安全,那我就不去了,那我就是安全的,我就待在家里。

那还是要去的,自己想干的事情,得找个方法把它实现。

你的方法是,把自己扮成男生,然后我就安全了。

我觉得这是方法中的一种,可能是当时的我觉得最轻松、方便又好用的方法。

你是怎么突然决定要出国留学的呀?你刚才也说,你之前其实是想着要考大学的,怎么突然就转变了轨道?

这个我觉得是人生中冥冥之中的一个很小的决定。当时在高中看来是有三条路。第一条路是升学,但刚才也说了,在我的同班同学面前,我觉得自己就是一个渣渣,那种不上不下——叫我再多花一点心思去提升成绩,对不起,我真的做不到。我没有办法做我不相信、不认同的事情,而学校的很多事情里面,有一部分我是真的不知道自己为什么要干,所以提不起劲,提不起劲我就学不好。

比如我比较喜欢数学、物理这样的学科,就觉得能够享受这个学习的过程;剩下的像生物、化学,我相对就弱一点,因为要背。当时成绩怎么都上不去,学校的老师、同学、家长也会劝你:好好加油,把这个短板补了,你还可以冲一冲。我就想,我为什么要加油?为什么要补这个短板?为什么要冲一冲?我不干了还不行?我不认同这个事情。所以有这个思考在,我就很难通过升学这条路上到清华北大这样的学校。

还有一个契机是,当时我非常喜欢打游戏,很叛逆——人家在升学高中好好学习,我在升学高中天天看小说、打游戏。然后偶尔接触到了一个叫《雨血》的游戏。当时打的时候,哎,每个人都有中二的年纪,当时打的时候惊为天人,觉得哇,我超喜欢古龙的小说,这个游戏非常完美地诠释了古龙小说的一种互动式呈现应该是怎么样的。所以当时非常崇拜《雨血》的创始人 Soulframe。因为崇拜他,又去了解了一下他的生平,发现他好像是清华大学的。我说,这是第一次,我在一条比较叛逆的道路上走着走着,发现人家是正规科班出身的一个大神。我就想,那看来上清华北大还是非常有吸引力的。

但因为自己的水平可能上不去,当时就想到走竞赛保送这条路。可竞赛保送当时是去中科大这样的地方,中科大在我爸妈看来是一所非常好的大学,并且离家特别近;在我看来它非常不好,因为它虽然是所好大学,但离家太近了。所以我就想去一些更远的地方。刚好当时了解到《雨血》的创始人去了耶鲁留学,我就想,那我也可以去留学。然后就跟家里人商量,就这么很偶然地,在高二的中间点突然转变成:要不咱们去留学吧。

因为我是古龙的粉丝,所以这个游戏对我来说是一种想象中的社会剪影。而且因为这个剪影非常纯粹,里面很多人的爱恨情仇都定格在最浓的那一瞬间,所以在游玩这些故事场景的时候,会得到一种非常大的心理满足。

这种游戏的受众会是男孩,这是我的偏见,是吗?

我不知道该不该叫它偏见。我觉得也许是——如果你把统计学揉碎了来看,说不定它更多的玩家确实是男玩家。但在我心里,并没有那种天生的"这个游戏就该是什么性别的人去玩"的想法。

它击中你的是什么呀,这个游戏?

我觉得它融合了几个我非常感兴趣的元素。第一个是它的美术风格。我觉得人是生来体验的,这是我对人文这些东西着迷的一个很重要的点——你就是来体验很多不同的东西的。它能够通过场景的设置,用色调和这些非常阴郁的、和你现在生活完全不一样的世界,快速地把你拉到一个完全不同的可能性中,我觉得这非常吸引人。

很多人会寻求不同的体验,有些人喜欢做这个、做那个,我觉得游戏就是其中一种非常快捷方便的方式,把你拉到平行世界。你可以在游戏里当一个小卖铺的卖家,就像之前那个《分手厨房》,你还可以在游戏里经营餐馆,可以体验很多不同的人生。所以我觉得这个游戏 capture 了一种感觉:如果我去成为一个武侠,是什么感觉。

另外就是它的台词——哎呀,谁不中二呢?当时看到这种台词就觉得哇,好酷啊。具体台词我不太记得清了,也许有一些东西太羞耻了,已经忘记了。但对这种非常纯粹的情绪碰撞,我非常着迷。比如,你背负着血海深仇——在现代社会,大部分人怎么会背负一个血海深仇呢?这个就可以在游戏里体验。

当时因为喜欢这个游戏,不自觉地就想去靠近。潜意识里也想过,将来有一天如果我能够创作一个自己的内容,会非常开心。那看看别人这些已经创造出我非常喜欢的内容的人,他们之前的路径是怎么走的,我们也可以向他靠近一点。

所以你没有想过一个科学家的成长路径是怎么发展的,也没有想过一个企业家的成长路径是怎么发展的,你在构思的是——原来这个游戏制作人的成长路径是怎么发展的。那你为什么没有去做游戏呢?

我觉得写小说是我创造欲的一种宣泄方式。而做现在这一行、做人工智能研发,可能是我这个人追求效率的一种体现吧。你看我在大学里换的这些专业,其实都非常有助于写小说内容。只是最后我发现,自己真正想做的这种工作,成就感有很大一部分来源于:我把一个别人做不到的事情做到了,或者别人也做这件事,但我做得更好。这种思维不好说是不是因为在国内这种教育体系下,还是有点竞争的成分在里面,但我确实能从"想把事情做得更好"这件事里得到回报。

你到了美国以后发生了什么变化？有经历过文化冲击吗？

我觉得有非常大的文化冲击。

你的性格发生了怎样的塑造？

我觉得有两点。第一，我之前生活的环境比较稳定，人与人之间的社会关系太稳定了，你反而感觉不到它的存在。出国以后，接触到一个完全不同的社会关系，需要重新寻找自己在这个社会中的定位。会重新去思索——以前好像不用做这件事，现在要做了；我不太清楚一个人说话时到底有什么含义。以前在那个社会里生活了很久，一切都自然而然；现在到了一个全新的环境，会不自觉地去调整，也让我能够稍微客观地审视之前所处的社会环境和自己的性格。我对自己性格的认知，很多时候是在不同环境的冲击下才得以显现的。

另一部分是因为美国社会比较注重 presentation，也就是你如何去表达自己。我觉得核心可能是他们最终想把这些孩子培养成有领导力的人——能通过阐述自己的梦想，号召很多人和他一起去完成梦想。这和创业者、企业家精神有些不谋而合。我上的那所大学里有很多这样的相关活动，课程设置也在鼓励这件事发生。而我当时是一个非常内向的人，乍一到这个环境，就有一种“没办法了，只能多说点话，要不然真不知道自己在干什么”的感觉。经过这样一个环境设置的关卡，我开始真的变成比较能跟别人说话的类型。如果你和高中的我说话，会发现我不爱说话；但和现在的我交流，我觉得我在交流方面有了很大的提升。

你觉得两个社会的文化基础有什么不一样吗？你刚才说，在之前的成长环境里能感受到很多的不公平，那你到了美国之后呢？

不公平依然存在，只不过中国社会之前经历了非常高速的发展。我后来还去英国留学了，所以把中国、美国、英国放在同一条轴上来看，会得到一个非常有意思的感觉：中国社会，我们父母那辈的人可能经历了很多动荡、机会和变革——大家有时会开玩笑说，你往上数三辈，谁不是在田里种地的人呢？而美国社会相对中国而言，我觉得有一些阶级固化，毕竟是一个运行了 200 年的资本社会，很多时候资本的得利比作为一个人的得利要快一些，他们有这种积累。英国社会又是一个非常极端的，我在英国时就感受到，社会相对更加固化之后，会对人与人之间的关系、你所处的社会阶层、你的喜好品味造成非常大的影响。我觉得中国在这条轴上，当时相对而言是最百花齐放的。

那美国和英国呢？

我觉得英国在这条轴上相对而言是最保守的；美国有一些保守，但大家都到硅谷来了，好像又抛弃了之前那些旧的东西，在这里开始开创新的东西。

你看，你成功从家里逃离出来了，成功地离家万里之远，你得到你想要的了吗？我是说，在内心世界上。

在离开的时候，我并没有很强的目的性，不是说自己一定要拿到一个什么东西，而是在路上才慢慢发现自己要做的事情。而且我还是非常喜欢现在自己投身的这个行业和这份工作，也就是对技术是有信仰的吧，可以这么说。

你为什么后来从经济学回到了计算机，去做人工智能？这个转变是怎么发生的？

我觉得也有很多巧合的因素，命运就是一条冥冥之中的线，我只能看到眼前这个点。当时在大学读经济系，觉得学的知识非常有意思，但做的事情好像就是把一些数字揉在一起、跑跑报表做分析，可能没有满足我，所以当时就开始探索，看在大学还能做些什么别的事情。很巧的是，大一的时候我就去了一个实验室做研究。坦白说，当时的我完全……对，就是大一，大一的时候就去实验室做研究了。

大一就去实验室了？

嗯，是的。

这很少见啊。

对。因为当时在美国，在我们那个学校非常流行职业发展，有一种美国人的“卷”：你大一的时候就会被灵魂拷问——大学毕业以后想干什么？赶紧想好，每天都要为这个东西做努力。所以当时大一我就开始参加一些职业交流，开始弄自己的简历。我好像入学第二个月就开始在网上到处投简历。

之前因为搞竞赛，所以有竞赛同学——其实有一个竞赛同学挺有想法的，在高中过程中就做了一个小软件拿去卖钱。我当时也参与了，帮他做这些开发，我们也拿了一些小孩子小打小闹的钱，让自己觉得能从自己的技能中获得一些回报。所以这些东西都可以写在简历里，因为你就是想办法向别人证明，你是一个信得过、可以做很多事情的人。我觉得即使是现在的孩子其实也完全有可能——比如之前 OpenAI 就有高中生去发 paper 的先例，我觉得现在的孩子完全有可能做到这一点。

所以当时大一，我就去找到了我们学校一个计算机组的实习。当时非常幸运，遇到了成为我学术路上第一个导师的学姐。她叫李博，后来毕业以后去芝加哥大学当教授，现在其实也在硅谷做创业公司。当时她选中我的原因，我不太清楚具体是什么，但我猜想可能是因为我是学经济学的、挺喜欢博弈论这个东西，而她那个课题叫 Adversarial machine learning，就是对抗式机器学习，需要一些对抗的博弈论思想在里面。所以通过我学的这个比较嘈杂的东西，经过这个点的连接，就跳到了一个稍微不同的方向。当时在学姐的指导下，比较幸运地写出了一篇 paper，也得到了发表。所以我大二、大三的时候，因为有了这么一篇第一作者的论文发表，后面在博士申请的过程中就得到了一些助力。

博弈论吸引你的是什么？你为什么对博弈论这么感兴趣？然后又通过博弈论去做人工智能——这个连接点感觉非常微弱，但它好像又确实存在。

粗暴一些地归类的话，博弈论里经常会说：如果两个人在玩一个游戏，他们是对抗的关系，那两个人都要做到自己范围内的最好，但在互相对抗的过程中，他们可能达到了一个平衡。你可以通过一些手段来引导他们，使得他们在对抗过程中达到的平衡是最优的。我觉得这一点其实是很多经济、市场竞争关系的一种诠释：你需要在市场中让大家都去卷，卷到最后就会卷到一个其实对整个社会发展有益的平衡点。

然后把这个思想放到机器学习里面，它也是有应用的。差不多在 2016 年左右，对抗神经网络出现了，其实里面也有非常多的博弈论元素：它需要有一个“生成”的和一个“评判”的，两者互相在玩这个游戏。生成的人，打个不恰当的比方，就是在做假钞；评判的人就需要分辨，你做的这个钞票究竟是真钞还是假钞。在这个过程中，最后会引导生成的一方不断去生成越来越像真钞的假钞，而评判的一方，当他真的完全无法分辨的时候，就没办法了，只能靠猜。所以大家通过这个思想，在当时创造了一批图像生成的技术，都是靠这个生成器去生成一些看上去像真实世界的“假照片”。在逐步对抗的过程中，这些照片和真的照片没有差别，使得生成的照片看上去更加真实。

所以我觉得博弈论在机器学习中的应用其实非常广，一直到今天，不管是在机器学习的安全方面，还是在帮助机器的思考方式、生成方式更像人类方面，都有挺广的应用。

你真正开始做人工智能的研究，除了本科做过一篇论文以外，是在博士，对吧？你博士之后的学术路线是怎么展开的？你的主线是什么？

我在博士期间也换了一些方向。当时第一篇发表的论文是偏博弈论的，所以刚入学的时候，我以为自己做的是偏理论的机器学习。但做着做着，就发现自己其实更喜欢做应用，所以后面就去做了机器人这么一个应用方向。

在做机器人的过程中，我自己的研究路线其实是从模仿学习开始，最后做到了强化学习。模仿学习要形容的话，其实就是别人已经知道怎么做一件事，给你提供了一个样例，你就想办法去超越这个样例——这是模仿学习。但随着模仿学习的研究不断深入，我就有些不满足了：如果你永远只是在照抄别人，其实就不能有创新、不能有突破。所以就转入了强化学习。强化学习更强调怎样通过你自己的探索去突破原来的表现，把上限推得更高。我觉得这其实和性格也有一点贴切，所以现在的我更多是做强化学习。

在你开始研究机器人的时候，当时的主流是什么样的？你这个研究方向是主流的还是边缘的？

我觉得在 2017 年，把机器学习放到机器人上面，是一个新兴、但不太大众的方向。包括我自己找到的实验室和那里的老师，都更偏向传统这一派系。机器人其实已经发展了几十年，也有很多很成功的应用——大家会笑说，我们都让火箭上天、都可以在火星上开展探索了，这些都用到了很多机器人技术。

2017 年左右，传统派系更多讲究的是路径规划和控制问题。这其实非常符合我们人的直觉：你要做一件事，先规划一下第一步、第二步、第三步分别是什么，把它们连在一起，形成一个完整的计划；计划好以后，再由控制去慢慢执行，保证你在每一步上都不出错、都能贴切地完成。而在 2017 年，因为我是从机器学习起家的，我当时就在想：其他很多领域都可以从数据中学习，我能不能让机器人的这种聪明才智，不是靠我去给它制定规则，而是直接从数据中获得？这个想法，和我所处的这个偏传统方法的实验室相比，是比较小众的；在我们实验室，就只有我一个人做这类方向。

啊，就是你导师不是做这个的？

我导师不是做这个的。他是传统派系的，做路径规划有很多工作，也做控制，是一个“全栈型”的人物。传统的机器人实验室——他是从卡内基梅隆那个派系出来的——很强调每个人都要做全栈：你要会造机器人，知道怎么把机器人搭在一起，机器人的一些动力学分析你也会做，然后你还会做路径规划、会做控制，还能让它去做一些事情；最后在这条整个链条上，你可以选一些自己比较喜欢的点去深入。他很强调，一个人在最极端的情况下应该可以独立完成几乎所有的任务，所以他在培养学生的时候也照这个路子走。我其实很感激他对我的这种培养，让我对机器人上下游的一些事情都有一些了解，不说多深入吧，但至少差不多凑合是能用的。

然后在他的实验室里做机器学习，他的态度也非常有意思。因为当时机器学习刚刚开始，大家做的事情还非常 naive：比起传统机器人都能上天了，你这个机器学习刚刚起步，做的任务看上去也比较幼稚。但当时导师在交流的过程中，既会给我指出——你现在做的很多任务，其实以前有人用更好的方法解决过，是这么解决的，你要去学习一下；让我在积极学习的过程中，同时也知道以前的人是怎么做这个方法的，给了我一个很好的台阶，让我在它的基础上去学习。同时他也让我保持一个比较开放的想法：我会把很多机器学习的想法带给他，告诉他我的看法，就在这种一问一答、互相对抗中，搞明白了我为什么这么相信机器学习驱动的机器人。因为传统方法中的这些，我觉得太依赖 expert（专家）这个东西了。我们做机器学习，我觉得一个很大的使命就是让专家从这个过程中消失，让机器可以自己学习，这就是一个使命。

你的导师是那个 Sidd / Siddhartha Srinivasa? 对吧？

对。

你如果是一个机器学习的信仰者，为什么会进他的组呢？以及你是怎么开始对这种数据驱动的机器学习非常感兴趣的？因为懒？

因为这个事情其实有点有意思。我觉得“知其然不知其所以然”是一种非常微妙的状态。有些人在有一些问题上会想打破砂锅问到底；但在优化问题里面，大家都很想优化——我觉得性格上是有一个想要更好、更强的部分的。在优化过程中，有一类叫黑盒优化问题：你也别管、也别问它到底怎么样，反正它给了一个非常好的解。你只要知道如何设计一套系统，让它能提供一个比较好的解，而不需要知道这个系统最后是怎么运行的。

其实这也是我觉得 2016、2017 年左右自然语言领域的一个很大的争论：传统的自然语言会使用语义、结构这些更贴近“人是怎么理解、语言是怎么运作的”的东西，把语义分成很多不同的部分，需要很多专家去了解、学会，再想办法把它自动化、喂给机器。而后来的数据驱动，虽然也不能说完全没有受到之前工作的影响，但确实它的运作方式彻底改变了：变成从数据中直接学，中间那些步骤都可以略掉，变成了端到端。我觉得机器人可能也要走一走这样的路。

那你为什么会进一个传统的组？

没有选择呀，因为当时机器人不是一个特别流行的选择。2016、2017 年，机器人的发展历史大概也就 50 年，而且机器人是一个非常非常烧钱的领域。当时我们的一个内部笑话就是：看隔壁一个非常牛的自然语言老师的组——她是 Yejin Choi，其实做了很多 common sense、NLP 方面的贡献。2017 年他们那个组就开始做了很多数据集，说从来没有人烧这么多钱在数据集上。我就问，数据集烧了多少钱啊？二十万美金。哎呀，二十万美金，我的天呐！你知道在我们这边买一个机器人要多少钱吗？你知道这机器人坏了以后修一次要多少钱吗？

所以到底多少？

当时是 2017 年，隔壁组有一个 Shadow Hand，五十万还是一百万美金来着。坏了修好以后，大家现在都让这些博士生“宝宝”们自己在屋子里先想办法修好，不要返厂，一返厂就是十几万没了。当时还有 Barrett 的手，是一个三指的绳驱手，当时十几万美金一个，坏了修起来也够呛，得修半天。就是当时这种硬件的成本，加上需要一些专家的知识，使得机器人当时不是一个特别流行的方向，人数也比较少。

当时都买什么硬件啊？

当时逐渐开始有人买 Franka 这个硬件，因为 Franka 相对而言是最便宜的。你现在这个时间点看 Franka，也会觉得好贵——我忘了当时拿的价格是多少，反正就是几万美金，但它就号称是最便宜的。现在还是有人用 Franka。我知道之前 Franka 被一家中国公司收购了，还挺唏嘘的；大家也不知道以后会不会出一个中国版，可能几千美刀就可以了，因为现在很多中国的硬件，单纯从手臂的角度来说，大概都在一万美金左右上下的价位。

其实还不到十年的时间，对吧？从你开始读博到现在。

是的。

你是哪一年读博的？

我是 2017 年入学的。

17年入学。其实这里我们也讲到了机器人的历史，你能不能从你的视角给我们回顾一下，你说的过去这五十年的机器人历史。

对，我的视角可能不完整，我尽量复述一下我感受到、接触到的一些比较有代表性的研究人员。我觉得机器人的发展史绕不开的第一个，就是卡内基梅隆大学的一些发展。卡内基梅隆大学有一个自己的机器人研究所，大概是在七九年、八几年的时候建立的，至今大概四十多年。当时他们就开始研究，怎么让机器人通过感知去看、然后做一个决策去动。所以我觉得"看加动"的这个结合，是从他们开始慢慢变得非常 popular、流行起来的。当时他们也发展出了很多不同的分支，比如让机器人能够决策之后，把它放到真实环境里去做灾后救援。还有两千年左右的自动驾驶，当时 CMU 卡内基梅隆大学在这里面一鸣惊人，突然一下大家都觉得自动驾驶可以开始做了——就是零四、零五年那个 DARPA（国防部）的自动驾驶比赛，刺激了后面很多自动驾驶公司，大概零六年那会创立。我觉得这也是非常有激励性的。

后面卡内基梅隆大学又发展出一些跟我们现在最相关的方向，可能是一些机器学习的学者，也有一些操纵系的、就是用机械手去做事情的学者，还有一些是研究机器和人如何在生活中共存的。其中比较有代表性的是操纵系，因为他算是我的祖师爷，所以我对他了解多一些。他的名字叫 Matt Mason，现在还在互联网上活跃，有一个个人博客，会写一些他对操纵学的看法。他最有名的一句话是：我们现在强调的很多灵巧，不是来自你手指和硬件的关节构造，而是来自你的大脑如何去操控一个即使很简单的结构、也能完成一些很复杂的任务。他觉得灵巧的关键不在于手本身，而在于大脑。我的研究也很多受到他的影响，因为我博士期间研究的是筷子机器人，就是用一双筷子做几乎所有的事情，这是我当时的一种想法。他带出的学生、也就是我的导师，是 Siddhartha Srinivasa（Sidd）。Sidd 做了很多路径规划的工作，比如有一个机器人酒保，研究怎么去拿不同的杯子、可乐，再把它递给人。

除了这个派系以外，当时卡内基梅隆在腿式和仿生机器人方面也有很多人研究。Matt Mason 祖师爷还有另外一个弟子叫 Sangbae Kim，他做的是一个仿生狗。他在 Matt Mason 这里学，但他其实并没有做操纵器，而是去做一种仿生激励的形态，所以他做了狗。他去 MIT 当教授以后，做出了 MIT Cheetah、Mini Cheetah 这么一个非常有影响力的工作，可以说是现代这些机械狗的奠基人。另外做腿的还有一个比较知名的学者，是 Mark Raibert，他是 Matt Mason 的同期，去做了波士顿动力，也是先做狗；但他走的这条路线可能是传统派系的一个极致：他做之前，大家其实觉得很多事情受到电机的限制，他就想做非常好的电机，去做大家想都不敢想的事情。他确实做到了，我忘了是哪个年份，但他当时做出了世界上第一个能后空翻的机器人，告诉大家这件事其实能做，影响了一批学者。

所以你是 CMU 这个派系的对吧？

虽然我不在 CMU 读博，但你可以看到，我的学术族谱很多是受到这边传统派系影响的。

然后在另外一边，我觉得派系上可能还有机器学习这个派系。更早的事情我也不太清楚，可能是 Minsky（明斯基），他是 MIT 的学者，可以认为是现代机器学习的一个创始人。但在我这个年代、当我开始学习的时候，我们机器学习的入门教材都是看 Andrew Ng（吴恩达）的在线网课，这是我大学时候去了那个实验室开始的。

在具身智能里面，他们好像也属于两个派系。

其实可能是的，但对我来说那是更早的事情，我没有那么多关注了。在我看来，我能看到的部分就是：我们是一四、一五年开始做人工智能的，学姐就告诉你，这是一个教材，先把它读懂搞会，然后开始跟着吴恩达的网课学习。吴恩达的一个博士生是 Pieter Abbeel，他应该是最早把机器学习放到机器人这个领域上的、比较先驱的教授。他现在在伯克利做教授，依然是一个活跃的研究员，同时应该也在亚马逊担任一个研究部门的领导职务。Pieter Abbeel 当时做了一个会飞的飞行器，上面搭载了机器学习算法。因为他做这个工作的年份比较早，我现在对他更多的了解其实来自他后来的学生 Sergey Levine 的工作。我觉得 Pieter 和 Sergey 这两个人，可以说是把强化学习在机器学习里发扬光大的，因为他们发表的数量非常多。Sergey 现在也算是我在 Pi 的汇报对象。

他是创始人。

对，他是 Pi 的创始人之一，也负责了很多。我在 Pi 现在做很多强化学习的工作，都是和 Sergey 一起做的。很有意思的是，Sergey 自己 PhD 学的其实不是机器人，是 graphics（图形学），是做图像的，后来在 Pieter Abbeel 手下读博士后的时候才转型。我还挺欣赏这种从一个领域做出来之后又转型到另一个领域的人，你能转过来、或者你想转过来，肯定是有很多自己的想法。

所以 Sergey 当时应该是有很多想法，他就做了强化学习这些课程。其实我开始读博士的时候，机器学习很多东西没有什么教材，都是看 Sergey 的视频、看他们的一些讨论、看他的论文、看他们组的一些对话来学习的。Sergey 后面也有他的合作者 Chelsea，Chelsea 和 Sergey 都是 Pi 的联合创始人。我觉得他们两个对现代机器学习到机器人应用做出了非常多的贡献，不管是学习的算法，还是硬件的设计，都有很多贡献。

Sergey 和 Chelsea 他们此前是什么共事关系啊？

如果我没记错的话，Sergey 应该是 Chelsea 的 collaborator，或者说算是一个 advisor 吧。可能 Chelsea 的博士后（postdoc）是跟 Sergey 一起做的。

哦，然后他们后来一起创业，做了 Pi。

对，他们俩之间的学术关系非常好，我觉得他们俩非常同频，在公司也经常在一起讨论问题。

这两个人有意思吗？有什么有意思的观察没有？

Sergey 是个科幻小说的重度迷。我不知道别人读 Pi 的 paper 有没有发现，Pi 很多 paper 上面会有一个来自科幻小说的引用，全都是 Sergey 写的，他会去思考这些事情。

有人说过他非常会写论文标题。

是的，我觉得他是一个讲故事非常强的教授。同时有一个内部笑话，说 Sergey 就像 Sergey GPT 一样：在 ChatGPT 出现之前，伯克利的人就已经用上了 Sergey GPT——你的论文写得怎么样？把草稿直接发给 Sergey，他就返回给你一个超级 polish、超级好的版本，而且又快又好，就像 ChatGPT 的前身版。即使 ChatGPT 出来了，它在论文修改方面也不能和 Sergey GPT 相提并论。这是一个笑话。然后 Chelsea 是一个非常 discipline 的人，她每天四点钟起床去游泳，游一个小时，对自己的生活我觉得非常有规划，非常 inspiring。而且她是一个我觉得有动物性直觉的人：和她聊很多机器人的具体动作和表现，她能非常快地说出她觉得这个事情是怎么样的，这里面有非常多直觉性的推理，能感受到她对这些动作任务有很深的认知。

比如说呢？动作直觉性的推理。

比如说有一段时间里，Chelsea 是负责管 Pi 的数据收集的，她对到底该收集什么样的数据有很深的理解。其实后面谈 π0 的时候也可以多说一些——π0 的很多任务是有 Chelsea 在后面推动的，她觉得能做，因为当时其实大家是不知道能不能做的。

嗯，所以他们俩是互补的吗？

我觉得可以这么认为，他们的工作关系。

这一派别还有其他人没有？刚才说了吴恩达以及他的延续。

我觉得现在的机器学习机器人其实挺百花齐放的，还包括另外一些派系。比如说李飞飞，她带了很多学生也投身了机器人研究。可能现在这个时间点上，大家比较看得见的有朱玉可和 Jim Fan，他们现在都是李飞飞的学生，毕业以后，朱玉可当了教授，现在他们在领导英伟达的 GEAR Lab，在英伟达主管如何做机器人。然后其他比较有名的华人学者，可能有宋舒然，她是我非常尊敬的一位女学者。宋舒然他们做的 Diffusion Policy 就是舒然组做出来的；而 ACT 和 ALOHA 是 Chelsea 组做出来的。我觉得这些都是对现在机器学习机器人的形态产生了重大影响的、里程碑式的 paper。

然后还有 CMU 派系，其实也有很多现代做机器学习的人。我觉得比较 visible 的应该是两个人，一个是 Deepak，还有一个是 Abhinav。Abhinav 是一个资历比较老的教授，他是视觉出身，有非常多天马行空的想法。我几年前跟他短暂合作过一阵子，就感觉他是一个你无法预测他下一秒会说什么的人，有时候我觉得他看的东西非常有创造性。

比如说他其实很早之前就想做一个自学习的机器人：他当时做视觉就说，视觉我们经常说只能受到数据的限制，那我们就做一个不要数据限制的，把它放到机器人上，让机器人去户外各种收数据，这样不就打通了？我觉得他做的东西有一种几乎野生般的感觉，就是将来最后可能还真就是这么一个形态。大家现在可能更熟悉 UMI，把它作为一个机器人收数据的手段；其实很早之前 Abhinav 也做过另外一个，我忘了他起的是什么名字，反正他当时就说，我们去亚马逊上买一个五刀一个的东西，这个东西是一根很长的杆，杆的末端是一个小夹爪，你按这个杆，夹爪就会把东西夹住，我们就用这个杆去收数据——跟现在的 UMI 有异曲同工之妙。

然后 Deepak 是后来加入 CMU 的。他其实之前做过 Curiosity，就是好奇心驱动的强化学习，所以我们谈他以前的工作时，更多是把他归类到做强化学习很出名的学者之一。Deepak 和 Abhinav 现在共同创造了 Skild（Skild AI），也是硅谷非常有影响力的一家机器人公司，也是做全身智能大脑的。

嗯，他和你们一样，都是做大脑的。都是做大脑的创业公司，然后还有一些大公司也在做大脑。

对，我觉得是。

你很有意思啊，你是从前面这个控制、或者叫传统派别，跳到了机器学习的派别，对吧？而现在机器学习的派别，似乎是硅谷这些涌现出来的创新公司里更多的人在做，现在好像成了主流。

这一波最流行的是机器学习机器人，也是我们现在投身的这一波，但其实我觉得——

这个博弈关系历史上肯定一直在发生变化，对吗？就是两派，你讲讲这个。

我觉得历史上的关系是这样：机器人大家做了这么久，我相信很多做机器人的人都有信仰，而什么东西能让信仰成真，不同的时期都有不同的、大家叫 Hype 的东西吧。这一波可能是机器学习机器人，也是我们现在投身的这一波；之前还有一些做 SLAM 的，甚至我觉得之前做自动驾驶也算；更早之前还有把 planning、control 做到极致的，我觉得波士顿动力也是一个代表。这些都是不同思想的碰撞，都想把这件事情做成。

在你入学的那个时候，前面这一个派别是占据主导的力量。

应该是。我记得当时去传统机器人的一些大会，比如 IROS 或者 ICRA 发论文，就觉得大家做的跟我做的都不一样，我们做的算比较小众的东西。

那你有想过转过去吗？因为你导师就是做这个的。

这倒没有。我相信我做的东西，做起来快乐，所以我相信我们做的这个行业。即使导师有时会批评或者指出。

他批评你什么呢？比如说。

比如说，有一部分机器学习当时还比较受限，算法比较受限，在模拟器里跑得比较多，在真机上就不太能跑起来。导师就说，你们这样就满足是不行的，不够好；你看我们传统派所有东西都能上真机，你要把你们这个东西也放上真机。我觉得他其实是指明了：发展的时候该如何思考"到底怎么样有用"这件事，在这上面走得比较早。因为对当时还是一个新兴的领域来说，如果专门去研究一个新兴领域，可能没有那么多去想落地、想怎么样表现好这件事；但因为导师是从传统派出身的，他们的这些衡量指标很多影响到了我。

嗯，你们两个会有一些争执吗？

经常会啊，因为——

信仰不一样。

信仰不一样，想法不一样。像我们这种喜欢偷懒的：我做机器学习的一个很大原因就是，如果一件事情我不需要理解它的原理就能做出来，而我还是做出来了，对不对？导师就会觉得这个不优雅，而且没什么保障。我说优雅我们保证不了，但保障可以再多做一点研究，看看能不能给它搞上保障。所以这是一个本质性的、对于解决问题方法的喜好吧。我就是那种黑猫白猫、抓到老鼠就是好猫的这一类。所以什么黑盒优化，我说黑盒优化非常好，只要你能把这个任务定义得非常好，我们就可以去优化。导师就会觉得，你连力的作用、什么摩擦力的建模都不太懂，你怎么就在做这个任务？我说，说不定这个任务不需要你懂这些，我们的目标就是让很多不懂这些前置知识的人也都能把这个任务做成。怎么样让信息的流动变得更加轻松，是我觉得我们的一个主旋律。

所以你很大的一个驱动力是实用。

我觉得是实用，而且是一种信仰吧，就是怎么把它做出来。我要在当下这个时间点，选一个我觉得最有可能做出来的方法。我不是不信传统方法——我觉得我们应该都能从传统方法中受益，但我不觉得用传统方法就够了。我觉得这一点大家其实是比较有共识的：如果把所有的问题都抽象为一个投入和产出的曲线，传统方法是一个你投入多少……

你的产出比较清晰的一条线。当时机器人能动起来,比如波士顿动力,他们做后空翻是非常非常牛的,因为当时没有人敢做,也没有人敢想,但他们做出来了。代价是投入了大量的工程师,不停地去调试参数、去适配他们想做的任务,才能达到想要的效果。而你再做一个新的任务,还是得有这么大的投入才能把它做出来。我觉得机器学习算法的第一个价值,就是我们不需要工程师来做,而是通过各种各样的设置,让算法自己来做,作为工程师你的工作量就小了。比如现在这些比较酷的跑酷视频,工作量和那个年代已经不可同日而语了。第二个价值是,一旦一些事情需要更少的人力去做,交互也会发生变化——怎么让普通人都能够交互。比如现在这种 AI 智能体的发展,刚出现的时候还是比较小众的:你要用它,因为它有时候不好用,你得作为一个专家知道怎么用才能用得更好。我觉得机器人现在也有点处在这个状态,很多时候可能可以跑,但你需要专家来大概了解它跑的问题是什么,提前做一些修正,才能跑得更好。但总体的发展趋势,是让一个普通人也可以非常自然地和这个智能体交互,得到他想要的结果。

我有一个地方比较好奇。我觉得在传统派别主导下的机器人发展中,当时集大成的一个构型好像就是狗,这是为什么呀?当然我相信他们肯定也觉得狗不是最终的那个构型,但为什么那个时间段大家都觉得应该去做一只狗呢?

这个我真的不知道,得问桑贝。但我觉得看到一只狗跑起来,作为一个机器人从业人员,我也觉得非常受启发。这一波大概是在17年到20年,因为我们华大有很多不同的实验室,隔壁实验室就是做狗做得很多的。狗作为一个硬件平台,可获得性相对而言还不错,其实我觉得可能比机械臂还要好获得。

操作系(操纵)有一个绕不开的难题,就是刚才导师说的这些问题:摩擦力。其实每一个物体都可能有不同的摩擦力,这个话筒、我们自己的衣服、还有这些褶皱,千千万万的事情很难去建模。如果用传统思想去做,你都要建模;你不清楚自己的行为会有什么后果,怎么能把这个问题解决?我觉得这是传统的一个比较大的思路,也就是叫"物理模型"做算法的思路。而狗的话,它的接触更多是一个顺势的:我这个腿在地上跑,只要碰一下,很多时候不太需要你详细地去搞明白腿在地上的摩擦力。所以我觉得,狗可能需要更少的物理知识,而操作系需要更多的物理知识,这就造成了操作系当时做出来比较好的东西,相对于狗而言可能要少一些。

我们刚刚讲这两个派别嘛,机器学习什么时候开始占据主流的?是从哪一年开始的转换点?哪一年从本来实验室里一个边缘的小方向,变成相对大家更愿意投资源、更关注的一个方向?

身在此山中,很难讲清楚,但差不多就是疫情那会儿,第二、第三年的时候。我刚加入实验室的时候,做了一些比较偏理论的工作,也是在模拟器中跑,所以导师就说:在模拟器中跑得再好有什么用呢?你要上真机。我大概在18年的时候,就从头弄了一个机器人,做了一个筷子机器人。我买了组件、组装、搭起来,然后给它写系统、写驱动,让它跑起来,后面还给它做了很多建模的工作。当时做这个,做得有一些成功以后,就把这条路打通了。实验室的同学交流时能看到:哦,如果有一个新的方法有可能成功,那我们在做自己的问题时,就要积极地去尝试、拥抱这种新方法。

所以当时实验室里其他人的项目,或多或少——也不是说我直接参与——可能都给了他们一些反馈。比如实验室里有一个人在做喂食的项目:有些人生活不太能自理,我们怎么通过一个机械轮椅,让它搭载一个机械臂,去给你喂食。他们本来那套流程是非常传统的:你先搞明白下面要吃的这个果切、这个切了一半的果子在哪里,然后规划路径过去,用什么样的路径把果切插到叉子上,再用什么样的路径喂到这个人嘴里,这套思维比较传统。但他们有一些限制,比如果切的位置在哪里,他们是依赖于计算机视觉的。后面他们就会想:机器学习既然在机器人上可能可以做,那我们可不可以让这一段不光是拿别人训练好的视觉神经网络来用,而是也积极尝试,让机器人自己像机器学习一样去学习、去发现一些更好的路径。所以逐渐地,大家也会讨论把它应用到不同问题上的可能性,慢慢开始接受。

你当时为什么会做一个筷子机器人?为什么喜欢这个动作?

当时我忘了是怎么回事,跟导师聊天的时候突然发了一条暴论,就是说:我用筷子能做90%的问题。

百分之九十是桌面的问题,还是什么问题?

就是夹和放这种问题,我之前一直有这样的想法。

筷子好难啊,筷子只有两个支点。

对,就是因为我觉得,如果用筷子都能做,那说明这个算法在其他方法上可能更容易成功。要做就做一个非常难成功的东西,把它做成功,剩下的可能就只是一些工程问题了。这种做研究的思路也是我自己比较喜欢的——你去做一个非常难的问题。当时跟导师聊天,你也知道,我们这个派系其实是非常相信简单的机械手的,他觉得那才是优雅。

所以当时就和他打了一个赌。我跟他说我想做一个自己的机器人,他说你想不想跟别人一起做那个轮椅机器人?我说轮椅机器人虽然很好,但他们那套系统已经写完了,太传统了,不太适合我想做的机器学习,我想自己弄一套东西。他说那要不你自己从头搭一个,你想搭什么?我也不知道,就看了一圈,我说我们要做一些操作非常难的,比如之前美国电影里有筷子夹苍蝇——这是对中国武术的无限畅想。我导师是一个印度人,他说:哎,搞一个这种,你能把它做出来就可以毕业了。我说那就好,那就开始干。然后就从实验室仓库里捡了一个别人之前用过、后面没什么用的机械组装部件,我们可以自由组装,我很喜欢这种自由度,所以就开始做起了筷子机器人。

后来做到什么程度了?

后来做到什么程度……我觉得比较有代表性的工作有两点。第一点是做模仿学习:当时想办法让这个筷子机器人做一些非常非常精细化的模仿学习任务。背后的想法是这样的:机器学习天生就带有对泛化性的一种希望。大家都说,如果机器学习在问题 A 上能成功,那它就能比较无缝地衔接到问题二、三、四、五、六。但这个时候传统派的人可能就会说:你的问题 A 解决了吗?你的问题 A 做到了什么效果?如果机器学习的终点是一个"什么都能做,但什么都做不好"的机器人,这显然是不够的。

所以我当时就想,那我先在问题 A 上把它做到极致。我搭的这个机器人——不好意思,我们是手工搭的,也没有很深厚的硬件背景——所以按传统的人来看,它显然不是一个最好的机器人形态,里面很多力啊什么的可能都没有调得特别好。我当时就说,如果我们做数据驱动,我就偏要在这上面做出来,因为我相信数据驱动。数据驱动一个很大的验证点是:我搭完以后就跟老板说,这个东西一定能做出来。为什么呢?因为我虽然用的是这么一台不太准的机器人,但如果我作为一个人去遥操纵它,它再不准,我都能让它做到筷子夹小球。我们老板他也不太会用筷子,他自己用筷子都做不到这个,但我能操纵这么一台不准确的机器人去做到这件事。所以我跟他说:你看硬件已经搭完了,你觉得硬件不太好、有点嫌弃,没关系,只要它的操纵算法和我一样聪明,它就应该能用这个筷子夹起小球——即使每个关节上都有一些参差不齐、怪怪的调校?,或者一些 backlash 这种不太准确的东西。

所以打了这个赌以后,第一篇工作其实是2018、2019年就做出来了,就是可以用筷子去夹小球。虽然这个方法有很多模块化的东西,现在看来都有点过时了——比如当时需要一个外在的系统去搞明白小球在哪,然后再针对性地去抓那个小球,现在可能都更加端到端了。

做完这个工作以后,我就跟导师说:我觉得不够。因为我夹得还是慢了一点,毕竟我要操纵这个机器人,时时刻刻在调整自己的动作,是在尽力花费好多精力去给机器人提供一个非常高质量的数据,让它更好地学习。但这样太累了,我们懒人怎么能做这种事情呢?我们要让它自己去探索,去发现怎么超越我给它的这些数据,做得更好。所以后面工作重心就转到了强化学习:让机器人在现实生活中做这件事,不断地练习,通过练习、归因来让它变得更好。我觉得这有点像——之前会看一些奥运冠军的访谈、看他们的训练来激励自己——要想做好一件事,尤其是这种动作性的事情,你确实得适配,搞出一个最适合你这个机体的策略,并且不断锻炼你的机体,刻出一个肌肉记忆。对人来说是这样,对机器学习来说,我觉得其实就是一个强化学习的过程。

嗯,所以你是做了这个筷子项目之后,才转向强化学习的吧?

对。我是从理论的强化学习开始做,然后不太满足于理论,想做应用。做了应用以后,第一个算法其实是一个模仿学习的综述算法,只能在模拟器(sim)里跑一跑。后面不满意,做了真机,在真机上开始做模仿学习、做强化学习。最后这个强化学习的工作,是可以在空中有一个非常会晃动的小球——人夹都有点难度——但我可以用这个机械手把它夹住。因为它还是可以夹一个玻璃球这种准确度,这种准确度确实比一般机器学习任务的要求已经高出很多了。

我们后面还会再来聊强化学习。现在先回来,继续讲讲这两个派系。你觉得这两个派系互相之间有鄙视链,或者某种程度的价值观冲撞吗?体现是什么呢?

鄙视链嘛,我觉得大家可能或多或少都有一些:你做你最相信的东西,别人的东西你可能没那么相信;你相信它,你就去做了,是这种感觉。

因为在今天,machine learning 可能已经变成了一个相对来说的共识,我不知道在当时他们真实的状态是什么样的。以及你说的机器学习和传统方法,哪个是更优雅的呢?这个评判标准是什么呢?

我觉得优雅是很主观的。在当时那个年代,我记得在我读博的过程中,我们是从一个比较新兴的分支,逐步变成了一个大家比较愿意接受的方向。这个算法在当时是有一些质疑声音的,而我觉得他们的质疑其实也非常正确:他们问的是基于事实的问题,比如你什么东西都能做,但什么东西都做不好,那这个算法的用处是什么?这是我觉得在当年非常有意义的一个 concern。当时大家做很多东西,你往前看的时候是不明白的,往后看的时候可能才发现能溯源到某些代表性的、有贡献的作品。而当你决定下一步做什么的时候,要达到这个目的——我觉得我自己的研究,起码是受到这种思想启发的:我想让强化学习在一个问题上至少能做到极致,这样别人在把它泛化的过程中可能会比较简单,因为他可以从我的这个经验直接放到别的任务上。

泛化和表现的冲突,还是最核心的一点吧,即使到今天,我觉得这个质疑依然没有完全消失,包括我们作为从业人员也一直在思考。一个传统的机器人链条,在工厂里,比如造车,你要用一个很大的机械臂把玻璃放到车上去,这是一个传统上已经做得非常成熟、成功率、稳定性、速度都非常有保障的问题。你现在用机器学习拿到的算法和表现,和传统相比,可能暂时还没有人能说它的鲁棒性和传统一样好——我觉得直到今天,这都还是一个研究的前沿问题。

然后另外,当时我觉得还有一个比较有意思的。我不知道你有没有听说过一位学者,叫吉坦卓(Jitendra Malik),他是伯克利一位在 computer vision 领域很有贡献的教授。他之前说了一句很有名的话,这句话太好玩了:"Robotics is far too important to be left for roboticists"——就是说机器人太重要了,我们不能只让搞机器人的这帮人来搞,我们也得搞。这句话其实有很多不同的诠释方法。有一个不太友善的诠释:机器人太重要了,搞机器人的这帮人不行,得我们上才能把它搞出来。但我觉得也有一个比较友善的诠释:要想把机器人搞出来,必须得有不同行业的人群策群力。

我觉得这对当今机器人大模型的发展是有启示性的。比如我是一个比较传统的派系出身的,可能更多会关注动作机械本身,还有表现上的精益求精,我也会做算法;但在我的领域之外,有很多做视觉的人,他们有更多关于如何引入更多数据、如何训练更多数据的经验,包括做大语言模型的人,他们有更多的大模型训练经验。我觉得机器人的成功,一定是各行各业放到一起——有软件算法,有不同行业的训练,有大模型,也有硬件,甚至包括产业链——才有可能把机器人做出来。

你说的这个传统派和强化学习派系,他们在美国的分布是有聚集效应的吗?

偶然性的聚集是有一些的。因为西海岸这边,斯坦福、伯克利就在硅谷旁边,这两所大学都有很多做 Machine Learning 的。东海岸也有,但东海岸的传统派可能更加根深蒂固一些,是从最早的那个派系发展起来的。当然,现在的卡耐基梅隆(CMU)和 MIT 这两所学校,既有很多传统派的学者,也有很多新兴的学者,大概是最近5年招过去的。还有一个比较好玩的事情是:大家不管在哪做,最近这两年好像都在往硅谷这个地方跑。我有很多朋友,不管是在波士顿那边创业,还是在那边当教授,很多人也在其他公司领了一些职位,而且这些公司的办公室都在硅谷。

从一个边缘学派,到现在更主流的学派,作为 Machine Learning,我能理解大家都在往这边聚拢。那东海岸的传统派别,他们是已经认为信仰应该发生转变了,还是说我还坚持自己的信仰?

我觉得有两点。一点是,很多人都在积极地拥抱和探索。相当于你本来有一个工具箱,可以做很多事情;现在别人告诉你,他们也有一套工具箱,而且是一个很让人激动的工具箱。你不一定就赞同他们说的"这工具箱有什么激动",但看到一些东西以后,你是愿意去转变的,说这工具箱可能很激动,我们怎么把它探索、实验起来。你有可能做结合,也有可能换方向,也有可能又开辟了一个新方向,我觉得这是时时刻刻都在发生的。

另外一边,我觉得传统派的人其实有非常多专家的洞察。因为很多传统派的人为了把任务做好,都经历过非常多的硬件转换、不同工程上的提炼。如果他们能在很多现有项目中分享一些见解,我觉得他们讲的都非常有道理。比如昨天晚上,我还正在读一篇博客,博客上就在讲这些电机的一些问题;这个博客的作者在末尾也感慨,他是搞机器学习出身的,然后在研究电机,他也感谢了很多传统派的教授、CMU 的教授对他的一些指导。

嗯,你看硅谷现在还有很多新的公司。

刚才你说了 Skild 和 Pi，这是两家在硅谷创业、做机器人大脑的公司。除此之外还有另外一些创业公司，比如说 Figure、1X、Dyna。能不能讲讲他们创始人的来历，以及他们分属于哪些派别、他们的由来和历史？

好的，我只能分享一下我理解到的、接触到的一些事情。我感觉像 Pi 和 Skild 这两家，都有比较浓厚的"学术人创业"的标签，因为两家的创始人和联合创始人都在学校当教授，而且有些是相当高产的教授。两家的口号也有些类似，都是想做具身智能的一个通用大模型的大脑。

在区别上，一方面在应用层面，Pi 更多考虑的是双臂操纵，还是想把"操纵"这个问题解决掉。因为加入 Pi 的这些学者或多或少都觉得，之前在移动方面已经取得了很多很好的成果，现在应该想想怎么在"拿东西、放东西"这方面也取得好成果。可以这么论证：如果你能把 pick and place（拿放）这个问题解决，就能把生活中几乎所有的家务都干掉——生活不就是抓放抓放吗？你可以抓这个东西、放那个东西，或者加上一些路径、轨迹的限制。这是一个非常值得解决的大类问题。

另一方面，Skild 相对而言在腿、人形和狗这些方向上有更多探索，这块他们做得相对更多。

他们的构型更完整一些。

这倒不一定，因为人形机器人如何加装操控器，其实还是一个没有解决的问题。他们现在能在视频里看到的操纵任务都比较简单，更多强调的是移动性。我觉得并没有更完整，因为现在还没有 converge（收敛）、统一到一种既能做很好的移动、又能做很好的操控的构型。所以大家各有侧重。

其他公司里，不得不提一提很早之前就在做人形的公司。特斯拉在 2021 还是 2022 年，Elon Musk 的一些话肯定激励到了不少人，让当时不少硬件人已经开始有这个热潮去做人形。Figure 大概是 2022 年创立的一家人形机器人公司，它的 founder 就我所知并没有技术背景，而是有之前成功创业的经历。我觉得他是很有意思的一个人，因为他能在 2022 这个时间点，去做一个自己都不那么熟悉的新领域，只因为他相信这件事，我觉得这非常有意思。

相对而言，1X 我听说创始人其实深耕过机器人的电机，因为他们做的是绳驱的人形机器人，比较独特。而 Dyna 的创始人，因为这个 Dyna 创始人跟我们算是认识，他们既有创业背景，也有技术背景；如果用一个标签去形容，他们可能更强调商业部署、落地。

当然，我觉得现在……

对。比如说，如果看看他们在 2024、2025 年期间发表出来的一些东西，可以形容为：有没有可能机器学习已经可以进入家庭落地，并创造一些商业价值，同时这个商业价值可能给他们带来一些部署上的优势。以后随着机器人大模型的能力越来越强，大家可能也会慢慢从研究端转到部署端，而他们可能是做部署端比较早的一类。

其他的其实也有。我觉得 2023 年到 2025 年是井喷式的机器人创业期，不得不提 2023 年初的那个"黄埔军校"——机器人的黄埔军校，应该还是谷歌的那个研究所。当时时间点确实非常有意思：2021 还是 2022 年 ChatGPT 出来了，效果太好了，其实动摇了很多人的想法，使得"该做什么课题"发生了很大变化。谷歌当时也做了一个比较大的动作，把他们的机器人部门变相削减了一下，为了给做大模型抽一点人过去。这其实蛮影响大家做机器人研究的，所以很多人就趁这个机会出来创业了。

Pi 的联合创始人，基本都是之前在谷歌做的；Skild 的两位创始人之前则是在 Meta 有研究员的职位。Figure、1X 应该也吸纳了不少从这一波里出来的人。

还有比较值得关注的，当时还有两家公司也是从这一波里出来的，一个叫 Generalist AI，一个叫 Sunday Robotics。这两家公司比较共通的一点是，他们相对其他公司更强调用 UMI 作为数据采集的手段。UMI 是这两家公司的创始人当年共同在一篇 paper 上做的东西——这篇 UMI paper 说的是，我们可以设计一个专门的爪子，人就可以抓着这个爪子，在自己生活的真实世界里采集各种各样的数据，并且证明了这个爪子采到的数据可以迁移到机器人上。所以这两家公司不约而同地都比其他公司更重视这方面的发展。

我觉得 Generalist AI 可能会稍微偏重工业化场景的应用一点，这是从他们发布的视频里推测的；相对地，Sunday Robotics 发的视频更多是家用场景的体现，甚至他们的机器人也比较可爱，是目前我看到的比较可爱的机器人。

后面这几家公司，我们能理解成是做硬件的公司吗？因为你们那两家是大脑公司。还有 Google、特斯拉也是大脑公司，对吧？特斯拉的话，我估计它的硬件也不错。

创业是一直在变的，所以很难用今天的思维去想明天的事。但就现在这个快照来看：Pi 肯定更加注重大脑；我相信 Skild 也注重大脑，但 Skild 这家创业公司比较神秘，大家也不太知道它具体在做什么。

特斯拉的话，大家一般谈起它都会认为它的硬件很强，毕竟它有这么多钱去烧。机器人硬件的研发不是很容易上手的事，不像软件——我觉得软件相比之下反而是比较容易上手的东西。硬件的产业链、迭代速度，包括里面的工程师，都不是一天而起的。特斯拉之前有造车的经历，在造机器人方面大家都觉得它肯定有优势。Figure 也是造机器人的，Figure、1X 都是造人形机器人，区别可能在于 Figure 用的是电机，1X 用的是绳驱的方式。

Generalist 和 Sunday 的话，我相信现在包括甚至 Dyna，大家可能或多或少都会开始设计如何做一个更好的硬件出来。但你说造硬件要造到什么地步，可能没有一个能看得清的说法。之前不是有个笑话嘛：如果你是一个认认真真想把事情干成、积极学习的学者，你真得造自己的硬件，因为市面上没有一家是真的拿来就能用、完美符合你所想要的应用场景的。

软硬的一体。

软硬一体我不知道，但硬件本身其实都还没有达到那个地步。

嗯，硬件我们等会也会着重聊到。

其实我对硬件有一个很简单的构想：到底有哪家公司能给我一台机器人，我可以把它发到别人家里去，后面有一个人遥控它，但它真的能把我家里我想做的事情都做到，而且它不坏、很稳定。我觉得如果能做到这一步，才算硬件的第一个版本真正出来了。

嗯，因为我记得你上次跟我聊，还聊了好多，比如说花衬衫。

Oh my god，哈哈，这是一个好玩的梗。

这个是波士顿动力的创始人 Marc，他在我脑子里变成了一些二次元的画像——就是把你们机器人行业的各个人物都画成了二次元形象。

对，他其实是一个非常有个性的人。你现在见到他，他就是一个白发老头，穿着一件花衬衫。他一直在公共场合都以花衬衫的形象出现，包括他给波士顿动力后面成立的 AI 研究所设计的队服，都是夏威夷花衬衫。

这个来源据说是这样的：谣传在他年轻的那个年代，做研究、交流还是一件比较严肃正经、不容有丝毫懈怠的事。当时他穿着一件不太严肃的衬衫去参加会议，就被别人讲了，说你怎么可以穿成这样，有点不太尊重。结果他从此以后就"我就要穿这个"，而且还要推广，让大家都可以穿。所以他现在的形象，我觉得是带着一种叛逆精神的。

是不是还有一个非常飘逸的 Abhinav？刚才好像已经讲到了一些。Abhinav 他思想非常天马行空。他其实也有影响，有华人学者是他的学生，现在也成了比较知名的教授——王小龙，他现在在 UCSD 做教授，就是 Abhinav 的学生。Abhinav 当时挺有意思的，他做的事情感觉是"打一枪"，你还没明白这一枪是什么意思，后面才发现，哎，还真有点意思。他就是一个天马行空的人，你跟他开会的时候，都不知道他下一句会说什么。

会说什么让人很出乎意料的吗？

对，他的思维就像是一个点、一个跳跃性的思维。

哦，这里面你有最崇拜的一位学者吗？

我觉得我能欣赏大家的优点，但要说崇拜，我还是比较崇拜游戏创作者、小说写作人这类人。这只是把生活和工作分开而已。

哪个是生活？

我觉得人文故事是生活。

哦，人文故事是生活。

对。工作是一种优化，是一种很纯粹的、把大家的长处吸纳在一起的态度。

你平时会跟大模型的研究员有一些接触吗？你会觉得机器人里面的人和大模型的人有什么不一样？

接触是肯定要接触的。我也越来越能感受到，要想把机器人做成，确实得在一个团队的环境里，得吸纳大家的所长，有各行各业的人加入才能做成功。

至于不同之处，我这么讲吧：假设我们有个机器人，它收了一条数据。大模型出身的人可能会想，咱们收个 100 万条这样的数据怎么样？然后我们就能拿到一个数字（指标），有了这个数字以后，再让它变得越来越好。而作为更多搞传统机器人出身的人，我们可能会先想：这条数据长什么样？我要看一看它的动作、它做的这个东西，甚至包括它当时的硬件条件、硬件环境这些设计。

你能看到，相对而言，传统机器人出身、做机器学习的学者会更在意这种物理的动作；而大模型出身的学者经常会比较"飘逸"地说：哎呀，现在这个信息好像不够全，想再加一条、补一条进去。我觉得这可能是因为你做多了机器人，就习惯了现在机器人的一些感知系统；而大模型的人可能更能跳出这个框架去思考——我们现在到底要什么样的信息，才能把这件事做成？

我们刚才说了很多创业公司，其实硅谷的大厂做机器人也很值得关注，比如说 NVIDIA、比如说 Google，还有特斯拉。他们的 bet 有什么不一样吗？我们其实刚才顺着把每一个机器人公司的 bet 都讲了一遍。

bet 我觉得我不能替别人公司讲，只能讲讲我自己的 bet。但从能观察到的公开信息来说：特斯拉是最押注人形的，应该是人形搞得最激进的一家公司。举个最简单的例子——"手"这件事，我有我的相信，我现在觉得手是"有了会非常好，但现阶段没有也没关系、不是必要的"；而特斯拉就更强调要搞一个终极形态，一定要把机器人的方方面面都做得和人差不多，他们有很强烈的人形信仰。

而谷歌，我觉得因为他们有自己的大模型 Gemini，而 Gemini 做得比较成功，比如多模态能力——图像生成、图像修改，是现在大家都比较津津乐道、也会在日常中使用的。对他们来说，机器人也可以是这个模态的一部分，给这个模态提供一些空间感知、空间规划或空间控制的能力。所以我猜（也许啊，只是我猜），他们在走机器人路线的时候，更多想的是机器人如何成为多模态大模型的一部分。

而英伟达的话，江湖上的笑话是：英伟达做所有事情都是为了卖卡。所以他们有很多需要烧很多卡才能完成的项目，比如世界模型这样的项目。但过往的经历一次又一次证明，有些时候真的就是数据多了、卡多了，效果就上去了。所以大家也很期待他们这样做能做出什么——一些算力更大、更加简单粗暴的东西，我觉得简单粗暴也是一种美。但其实真做的时候，可能每个学者也要发挥自己的一种……

设计的长处。

在英伟达做研究会不会卡更充裕？

我当然是这么猜的啦。

OK。在这种不同的重心和选择之下，每个公司不同的软硬件方案是什么样的呢？

我觉得硬件方案大家多少不会那么公开地讲，你只能从他的视频里推测。

为什么这个是更保密的呢？

我觉得硬件……其实我也不知道，但确实大家在公司工作，或多或少都得遵循公司的一些保密原则吧。

硬件是不是更保密？

我觉得软件其实也很保密。Pi 应该算是一个比较独特的地方，就是在这里我们还是有一些学术界的影响，觉得要发论文、分享、发表，也是你研究的一个部分。其他公司的话，就我目前的感知，没有这么开放吧，甚至包括 Pi 的办公室也没有那么严的安保，有的时候就可以带一些同行的朋友去看一看，跟大家介绍一下，就这种思想的碰撞。

其他公司我觉得就是在硬件上，人形和非人形可能是一个比较直观的 bet。比如说像特斯拉、Figure、1X，都是比较强烈地在 bet 人形的。但你说他们做的和其他人做的一个最大不同，可能就是有没有腿。也有人认为，你有了腿，因为你是人形，而我们这个世界是为人而设计的，所以你做出了人形机器人后，它在这个世界里一定是最……

自然的，通用性更好。

对，通用性更好，这是一些人的信仰。然后另外一些就是非人形的信仰。我觉得其实可以分为两派吧：实用派，还有狂野派。

你们是哪个？

我个人是实用派加狂野派。可以展开说一下：实用派的话，其实我们会觉得这个机器人不一定非要是人形，它就能做很多事情了。而且人形机器人的很多问题，也许别人可以解决，我们可以后面再跟上。我们现在觉得现阶段最重要的问题之一，就是它的能力、它的表现、它的操控性，这个东西不需要一个人形就可以做。甚至如果你做得好的话，你已经可以去做这件事情、在现实生活中去部署了。所以我们对人形，在实用的角度上觉得，在现阶段没有那么有必要。

而狂野派呢，这就海了去了呀。你看，我们这么多年有车这个东西，车是有轮子的，自然界中其实没有这么一个东西。但现在大街上、全世界那么多条公路，都是为了让车能跑得更好而设计的。所以可能有一种信仰是说：如果真的是一个有用的形态，大家将来会为了这个形态去改变你所生存的这个环境，比如说去适配它。我觉得这个是可以成立的。并且狂野派——他们为什么要有两只手呀？四只手好不好？三只手好不好？或者说你下面这个轮子，好多轮子都可以。就是他可以充分发挥想象去想：有没有可能有一种生物、自然界的演化链演化不出来的形态，它其实才是最好的形态。然后你这个形态做了以后，因为机器人是可以换的，你的手坏了可以换。我个人比较相信，也许一个成熟的机器人形态就是它的动态组装性——将来的机器人随时随地都可以把自己身体的一个部件换掉，换成一个更适合的东西。

就像它的工具一样。对。所以你的实用派加狂野派是怎么回事？你想象中的构型应该是什么样？

现在想不了太多，现在就想把现在这个构型的表现做好。

因为 Pi 是要追求做通用大脑。对。那直觉来看，要做通用大脑，它就应该适配一个更通用的构型，而人好像就是那个最通用的构型，因为你刚才也说了，现实世界各个东西都是为人设计的。那为什么你们要选择既要做一个通用大脑，又不选择一个人形呢？

我觉得通用大脑的“通用”，大家可能有不同的诠释。做一个具体构型的通用功能，是通用的一种做法；而做很多构型都可以受益的一个大脑，是另外一种做法。而且也没有人说，你做很多构型都能受益的大脑，它就不能在人形上面做。只是……

哦，就是说你们希望覆盖的构型更广阔，不只是人。

没错，Pi 的模型都是在不同形态的数据上面训练，并且可以在不同形态的机器人上面使用。只是现在能看到的只是这么几个具体的构型，但其实并没有放弃“这个大脑得在不同的机械上面都能用起来”。因为这和人操控的道理是一样的：我作为一个人类，去操控一个机械，不管是开车、开挖掘机，还是去操纵这条腿怎么踢、一个机械手怎么去做这件事情，我都是由我的一个大脑去操纵这么多不同的构型。我觉得这才是通用大脑最本质的一个定义，而不是说我做了一个人形的大脑，它就是通用大脑。

那是不是比如说，在人形这个构型之下做一个通用大脑——人形的相对任务是更复杂的——你做完这个复杂任务，再泛化到其他形态会更容易呢？

我觉得任务的复杂性是可以拆开好几个层面的。比如说人形因为关节多，所以你要同时控制这么多关节是有一些难度。但是你做的具体任务的难度，我觉得和人形是可以完全不相关的。就像我之前说的，我们其实非常相信：一个任务，比如说假设你要组装这个麦克风，这个步骤应该很多，你用人形来做、用一个更简单的双足机器人来做，它都是在完成一个很难的任务。我觉得在现阶段对我个人来说，完成这个很难的任务，比你用什么构型更重要。甚至我个人觉得，你用简单的构型做出了一个更复杂的任务，将来你再去控制人形做这个，应该会更简单——因为更复杂的构型可以提供的功能可能更多，它的操控虽然难，但它在有些关节上的灵活度这种东西，可能反而更简单。所以如果我能用一个简单的构型去做成一个非常复杂的任务，我觉得它将来能够迁移到人形的概率也是非常大的。

而像比如说 Skild? 它做的通用大脑，是要匹配一个通用的人形，对吗？

其实我们并不理解他这么多技术细节吧，只能从他的视频里推测。我觉得他们有很多——因为他们相对而言更靠近商业部署一侧，所以有一些移动的需求，所以他们可能现阶段就已经开始做了一些人形和狗的东西。

你看 Pi 其实我们也有一些——最近的一些发布说了，Pi 有一些 partner，就是有一些合作伙伴的机器人公司。包括之前也一直没有停止过，就是帮助合作伙伴的这些机器人，不管是不是人形、还是什么其他形态，用上我们的这个大模型去做一些事情。

因为现在我们管这些组织都叫 Frontier Lab。那你能不能讲讲，在机器人领域，你觉得机器人的 Frontier Lab 的 frontier 体现在哪里？哪些指标能够来描述这个 frontier？

我觉得前沿方方面面啊，咱们要走的路还挺长的。我觉得其中一个比较切身感受的，是这个 evaluation 吧，就是评估。这个问题其实 NLP 是走过这条路的——自然语言他们当年生成了一段话，叫你来给它打分，你怎么打分也是一件不容易的事情。但是在机器人这边呢，更加糟糕的一点就是：你还得在机器人上跑，你才能知道它做了什么事，你才能给它打分。不光这个分有点难打，而且你还得受到机械、物理的限制，很多时候只是一些变化，可能你自己都不知道，然后它就会影响你的模型表现。

我相信在最终成品那个阶段，应该是不太怕这些细微改变的。或者说，比如你要拿这个杯子——假设我们现在做的任务就是拿这个杯子，你把杯子放在桌子的任何一个地方，是一种扰乱它的方法，就看它是不是每个地方都能拿起来。你还要看不同的光照、不同的背景、桌子的高度，甚至可能不是一个桌子，而是一根柱子杵着，你能不能拿起来，或者这个杯子它有自己的角度。就是有这些无穷尽的初始条件，很有可能都会影响到你最终的表现。所以你在评估的过程中，希望能够把这些东西都评估出来。但现实生活中，你又不一定能够那么好地掌控，所以评估现在是一个问题。

评估的问题就直接导致了你对前沿的认知——它不像其他领域，有一个“英雄榜”一样的存在：我们现在发了一个超级大的数据集，每个模型都来在这上面跑一跑，跑马场、赛马，看看哪匹马是第一名，你能够比较客观清晰地看到一个确定的结果。而在机器人领域谈论前沿比较难的一个原因，就是因为这个评估太难了，导致你很难彻底地去评估它。包括每一个公司，我相信内部都有一套评估的东西，可能你的注重点、他的注重点都不一定一样。但退一步讲，我也觉得这是暂时的吧，最后做出来的应该不会太担心这个事情，可能现在大家还在探索怎么样做得更加鲁棒和宽泛。

所以现在这个 frontier 还是很难定义的。

我觉得可以看到一些算法，可以看到一些算法的表现，这可能是一个最核心的、大家都看得见的部分。然后随着它向着更前沿的方向迈进，就变得越来越有一些乱，需要你能从纷乱中找到一条清晰的线，然后你相信它，把这个图给夯实；夯实了以后，可能大家就有了一个共识，这样才会知道“哦，这是一个比较确定的东西”。这里有一种悖论：特别前沿的东西你反而没有办法去定义，因为不好说谁谁谁在哪个榜单上跑到了多少——所以这就是前沿，没有这种东西作为依据。

所以现在其实大家的方向是分散的，都在朝不同的方向发展，不知道哪一条线是那条大道，大家还没有统一到那条大道上去。

我觉得确实在研究的角度、看问题的角度、想做的任务上来说，是分散且百花齐放的。但我觉得在宏观上，其实每个人的命题都是类似的：如何让一个机械的本体，在现实生活中做一个任务、或者做很多任务，并且表现好。只是这么宏大的一个命题，得有一个抓手开始做，每个人选的抓手可能不太一样。

我们绝大部分人都没有机会去看过一个机器人的完整产线，能不能从你的内部视角给我们讲讲，一台机器人是怎么诞生的？

机器人是怎么诞生的？我觉得这个命题甚至可以讲到原子级别。但我这个人工作的范围也比较有限，我就从我认知的范围里讲一讲。如果一个电机已经被制造出来了，那么我要做的事情其实就是——因为电机就是一个会动的关节，可以这么理解——你把这些会动的关节连在一起，它就成了一条机械臂。你看人的手臂其实有非常多的关节和更多细小的肌肉，而现在机器人的这个形态就是几个比较大的关节，比较流行的就是 6 个关节或者 7 个关节组成一条手臂。然后这条手臂就差不多是按照人的活动方式来对照的，因为机械手基本都会有一个大的肘关节，然后有一个腕关节，还有一个肩关节，这些都是比较通用的。你就把关节放在它想要的位置，然后做一些 3D 打印件或者金属件，或者磨成你想要的形状，把它们固定、组装起来。这样每个关节动的时候，剩下的就会跟着动，这就成了一条非常原始的机械臂。

在机械臂能够组装到一起以后，你其实要为它写一些系统和驱动的东西。比如说最底层，其实都是通电或者气压——你给它发了一个什么信号，它就会收到这个信号，开始做一些动作。然后很平常的一种操控手段就是用位置操控：我希望这个关节现在从一个 90 度角变成一个 180 度角，我就会发送这个信号。它需要在关节的层面，把上层发给它的信号转换成一个它能够真正执行的东西，这个就叫底层控制。

然后再往上一层：你怎么决定要发什么样的位置信号？这很有可能就需要你有一个大脑，看到当前的任务，然后决定——哦，为了做这个任务，我要在桌子上拿一个东西，我得先把手抬起来。它需要理解这个任务，然后理解你的关节，去做一个“把肘关节往上抬”的决策，再发给机械的关节，关节再执行；执行了以后就有新的一个场景了。新的场景大脑得看：哦，我现在已经在桌子上面了，我要做下面一个动作的话，可能就是往右、往左。我觉得这是一种两层式的思想：有一个大脑来做一些决策，做成一个你能听得懂、能执行、也比较方便我们去做调试的东西；同时它也有一个更底层的东西，去把它翻译成物理世界里更原始的东西。

那接下来我们来讲讲 Pi 的工作，和你在 Pi 的工作。