目录 · 12 章
0100:00开场:一个多月,三个行业
00:01嗨,大家好,欢迎收听硅谷101,我是泓君。在我们节目正式开始之前,告诉大家一个好消息,过去大家在硅谷101节目中听到了很多跟消费相关的选题,比如像跑鞋战争,消失的爱马仕股份去哪儿了,还有最近我们对超级厄尔尼诺现象的解读。那未来呢,我们会把所有这些跟消费相关的商业现象,单独推出一档新的播客,叫做消费101,一周一更,由硅谷101很受大家欢迎的消费方向的主持人麻花来主持。我们会一起跟大家分享消费商业里的十万个为什么,那欢迎对生活方式还有消费感兴趣的朋友来关注我们的新节目。好,那说回我们今天的节目啊,我们来聊一聊OpenAI Astra发布对行业的影响。那这集呢,我们是选了Agent、机器人,还有制药三个方向去聊。对机器人还有AI for Science来说啊,它可能是历次模型更新里冲击最大的一次,所以不少人呢,把它叫做机器人领域的GPT时刻。从Astra发布到今天我们听到这期节目啊,虽然只过去了一个多月,但是行业的进展实在是太快了,有很多的热门产品啊,我们都在这期节目里面会提到,所以呢,我先来讲一讲这个月几个关键的进展还有背景。我们先说Agent这边,在Astra发布五天以后,Meta上线了个人的Agent Meta Muse,给每个用户一台云端电脑,它两周呢就冲到了美国App Store的榜首,那它的对手Instinct一个月内的估值就从25亿美元涨到了100亿美元。这是在C端,那在B端XAI它的Grokbot它也开放了企业部署。还有在模型层,一个叫做Jev的模型它突然就火了。它是怎么回事呢?它不写字,不推理,只给选项去打概率。它的母公司TypeSafe叫它是一个系统一的模型,是借助了快思考与慢思考里面的系统一。它发布24天就融了8.7亿美元,估值75亿美元。那这几个呢是在Agent的这边。我们再来看一看AI制药啊,也有两件大事儿。一个是9月底Claude仅仅只用了21个小时,自己就找到了一个叫做ART的新的编辑系统。它的结构非常像CRISPR,所以呢它被怀疑是一种新的基因编辑机制,导致很多基因编辑公司的股价应声下跌。那10月初在旧金山的TechWeek,我的朋友圈啊是被扎克伯格夫妇的Biohub刷屏了。他们打算把虚拟细胞计划扩大到18亿美元,谷歌的DeepMind、Meta、Asimov Labs,还有美国能源部NIH一起出钱出数据,目标呢就是让药还没有进实验室,就能在电脑里看这个细胞它是怎么反应的,可以说他们是在解决AI制药的数据问题。刚刚我们提到的这里面的很多产品,我们可能会在这期节目里面聊到啊,那我们这期节目最后讲到AI制药的部分也会非常的精彩。所以呢,这期我们会聊一聊个人agent的商业画卡在哪,机器人怎么被像Astra这样的底层模型冲击的,还有AI制药真正的瓶颈是什么。我们说虽然离这个模型的更新时间有一段距离,但是在这么多热点之后啊,我在听到这期节目里面聊到的行业的底层逻辑,反而是最接近本质和不容易裹拾的那一部分。下面就请收听我们今天的节目。今天跟我在一起的嘉宾是破壳机器人的创始人,新华交叉信息研究院助理教授许华哲老师。哈喽,华哲你好。
03:59哈喽哈喽,泓君你好,大家好。对,还有一位是我们的老朋友,PokeAI的创始人兼CEO朱哲青,比尔朱,哈喽比尔。泓君你好,大家好。那还有一位是华盛顿大学计算机学院助理教授,Appledex的Lead Scientist王盛,哈喽,王教授您好。泓君好,大家好,非常高兴今天来参加这个活动。
0204:19上手 Astra:机器人先被震到
04:19嗯,Astra发布已经三周了呀,你们有没有使用过这个产品,或者说我们来看网上的demo,大家觉得最让你惊艳的一个demo跟大家的使用方式是什么,华哲。对,因为我是做机器人的嘛,所以我们肯定还是测了很多Astra在做机器人任务上面的一些能力。那我们看到的第一个点就是,它的适应能力非常强。我比如说给它一个机器人的某一个本体,让它去做相应的事情,那它很快会发现,哦这个机器人的运动速度比较快,或者这个机器人的运动空间是怎样的。比如它撞到桌子了,它会说,啊那这个桌子还蛮高的,那我是不是应该把手抬得更高一点。那这个地方其实是一个把COT,把这种反思过程的能力,变成一个它实际的动作的一个能力。这是过去的很多机器人的模型不具备的,模型也不具备的,所以在Astra上面看到的。然后另一个就是它自我更新,自我升级的这样的一个能力,因为它有这样的反思,所以它可以一次一次做同样的事情,每次做得更好。这个其实在网上大家也看到了,有人拿Astra去操作一个机器人机械臂,去画金门大桥,那它第一次画的还是比较差的,但是它画完了以后,它会在想怎么样能画得更好,经过几轮的迭代,它就可以画得非常逼真。所以我们也看到了Astra在泛化的这件事情上面是有一个非常好的能力。
05:40你们后来有复现过这个demo吗?哦,我画画的这个demo我们没有试过,但我们其实试了非常非常多其他的。比如说我们曾经做一个插花儿,就把一个花插到花瓶里,这也是比较经典的一个机器人任务。但是我们给它加了一些额外难度,就是那朵花是那种下边的它的茎已经被劈开两半儿了,所以它会有点分叉儿。那在分叉儿的时候你就不好往里去塞,那这个时候它会知道哦,因为它分叉儿了,所以我要捏住这个分叉儿,把它捏窄一点,然后再往里塞。那这样的能力其实还是比较惊艳的。哦,那它这个它其实已经理解了一些物理世界,包括操作的规范。我觉得本质上还是理解3D,因为这件事情它还是从三维尺寸的层面就可以做出一些理解,但是确实这样的理解已经能够帮助到非常多的非动态的物理世界操作任务了。哦,OK,我看网上还有一些很有意思的demo是他们在用Astra做生成3D的视频,非常的快,然后渲染也很好。
06:37对,这个是另一个。它在机器人上面很令人震惊的一个能力,就是给它几张图片,然后它可以很快把这个仿真生成出来。学术圈可能把它叫做real to sim,对吧?从真实到仿真的一个迁移。这件事儿过去是需要拍大量的视频、照片,并且需要很多人的手工标定、修改,但现在的话,它基本上你给Astra这样的一个指令,它可能很快的时间就把整个实验室或者办公室的这个环境给你复现出来了。那你拿着这样仿真可以去续你的机器人,那也会有一个在仿真上面的提升。我们其实因为做模型公司,因为Astra在发布的时候其实有非常强调他们在比如说后训练啊,模型开发等等上面的一些迭代能力,其实试下来以后并没有那么那么惊艳,但是它确实在长城任务上面和迭代上面比之前的几版模型有一个比较consistent的improvement。它相对来说比原来的模型会能够对上下文以及之前完成的任务有更稳定的认知,不会出现太多的幻觉的情况。所以从我们的目前的体验来说还是比较好的,但可能有几个问题吧,一个是它的速度相对来说会慢一些,也有可能跟现在用量很高有关系,同时的话它在更加长城,比如说让它跑一个晚上,24小时的这种情况下,幻觉这个情况还是会发生,所以它并没有根本上解决,但是从总体上来说还是提升了不少。我自己有朋友同时也测了一些别的前端以及设计上面的一些任务。从前端的审美跟认知上面,呃我觉得还是有比较大的提升的。这个可能是在训练的时候对于设计和审美方向有特殊的训练有关系。
0308:19这算不算一个「大节点」
08:19嗯,比如这轮Astra的发布,你觉得从模型对行业的影响来看,它跟当年Opus 4.6、4.7的发布跟coding能力的进化来比,它是一个大的节点吗?单纯coding来说可能没有那么大的一个节点,4.5到4.6,当时我们的体感是一个几乎范式式的转变,原来只能依赖它做短程coding,几个file的改动,做一些简单的小项目,到4.6那一次模型以后,基本上你会感受到工具调用几乎不会出错了,它去做一些长程的coding任务可以自主进行了,而现在只是说比原来相对比较长的任务之上可以做到更长,幻觉可以降更低,审美变得更好,但它没有做到说我能够解决一个完全以前完全解决不了的问题。嗯,王教授您认同吗?就您觉得它在生物的长程任务,包括它降低幻觉上是一个大的节点。还是说它只是众多升级中的一个。我觉得是一个大的节点,其实我们没有说客观地有一个Benchmark去比较,但是现实就是我们现在已经都从之前的模型,Claude的系列模型切换到GPT-6, Astra来做我们的Biomedical内部的任务了。我主要是做AI for Science,里面核心的就是AI for一些Biomedical的应用。我们用Astra有两个特别好用的地方,一个是Computer Use,还有一个是一些长程的任务。Computer Use的话,我们会用Astra来操作一些生物医学里面那些很多年前大家发明的那些软件,那些软件呢,其实是一个现在领域内默认都要使用的软件,但他们
10:00其实都非常难用,因为编写的时候是很多年之前,那个界面的设计得不好,然后一些软件呢,还有很多的术语,所以对一些跨领域的人来说是使用成本非常高的。但是Astra它的computer use功能,它可以直接根据一些简单的prompt,它就可以操作得比较好。还有一个过程就是我通过Astra怎么做computer use,鼠标键盘操作,我还可以学习它怎么用这个软件。所以这个是我们领域特别重要的,因为在生物医学很多人对AI工具的接受度比较低,然后我想Astra这个能力可能是它不仅有computer use的能力,它还把这些软件对应的在网上的一些tutorial,别人之前用过的一些user log,一些反馈全部都文字的形式学进去了,所以它真的理解怎么用这些软件。另一个就是那种长程的任务,我们生物医学的话,一般一个任务都是会比较复杂,这些任务有时候会持续8小时到24小时,然后Astra它会做得比较好,当然了它还有个特点就是比起其他的一些模型要做得比较慢,但是慢的话有时候就挺让我放心的,我觉得做得慢,那它说明它可能会更深思熟虑一点,或者说更考虑得深入一点。我们现在一般都是一种切换的形式,白天我会用一些其他模型反馈比较快的,到晚上准备让模型跑一晚上的时候呢,我就用Astra来设计一个比较长程的一个pipeline或者prompt,让它来一整晚的执行。所以这也是它比较值得信赖的一点,在AI for science这个领域里面的一些表现。
0411:25Computer Use 回潮,和挡在门口的 IP
11:25哦,我没有想到computer use的这个功能居然在AI for science领域能帮助到大家这么多。Astra它在computer use的能力相比于之前它的核心的提升是什么呢?这个其实我们没有做一个个人感知上的对比,但在公开的benchmark上它是有个分数的提升的,提升的比较大。但是我们实际我觉得Astra呢,它在这次发布的时候做了两个生物学的demo,其中一个就是computer use demo,这个demo在我们圈子内是出圈了,大家发现哦,原来可以直接用Astra来操作一个生物学的tool,它当时操作的一个tool叫MultiQC,是一个挺常用的网页工具。这样呢,让大家能够更好地开始使用这个功能,然后发现它其实比想象的要好用很多。其实Computer Use的功能,我觉得之前的模型也会具备,只是大家没有开始真的思考怎么把它融入我们科研中的一些Pipeline里面。
12:17嗯,对,利奥你可不可以一句话解释一下什么是Computer Use?Computer Use现在的话,基本上是通过模型对于视觉的理解,来决定说这个Agent下一步要在屏幕上点击哪个部分,或者输入哪些文字来完成一系列的任务。当它可以串联这么几十个动作的时候,可以完成一个最终人类想要达到的一个目的。嗯,就它跟API的区别是你不用给接口,不用给密码,它直接像人一样去操作跟使用电脑。对,就是它看到的是人类看到的屏幕,看到人类看到的UI,看到人类看到的所有的视觉和可以交互的界面,通过人类可以使用的电脑的输入输出装备来完成这些任务。因为我觉得Computer Use之前好像也有,但是大家之前说我们去操作agent的方式,一般就两种,我要么去调用API接口,要么去让agent操作一个浏览器。我理解后者它其实就是computer use,这一次为什么Astra的发布,它又重新把这个computer use带火了,Bill你怎么看?
13:23我现在对于computer use这个方向,总体来说感觉它现在又比原来又火了一步,之前是觉得说大家所有的工具都会开API,所有的工具都会有agent access的接口,很多的app也好,系统也好,都在做agent native的setup,但是从最近的一段时间来说,不管是instinct也好,还是muse也好,背后其实都解了browser,有一个比较大的问题就是有很多第三方的app,或者amazon也好,比如说一些shopping的app也好,travel的一些app也好,他们其实是不愿意开放API的。我觉得这又回到了当年Manus的那个情况,就是Manus最开始做了Browse Use,后面很多别家也跟上,然后后面大家发现说这个不是很efficient,然后大家都回到coding和API调用,现在好像有些东西避不开,然后又回到了Browse Use,所以我觉得最后有可能还是个mixture的状态。我自己这边有一个比较有意思的一个看法是,因为我们目前是focus on相对比较小的一些模型,比如说我们基本上现在release的model都是30B左右的模型,30B左右的模型是可以在端侧和sale computer上面去进行的,比如说我有一台小的AI box,或者说我有一个AI PC,它就可以跑这个模型了。未来如果说这个Browse Use本身发生在你的机器上面,而不是发生在云端,那这个就会改变browser use本身可能会给你带来的一个bottleneck。因为现在的远程的browser use都是通过商用机器。最多找一个像Bright Data或者说IP Proxy去遮掉说我是个commercial的一个user,再去告诉这个商家或者说Amazon或者说Xpedia说,OK,我有可能其实是一个假装的consumer用户,然后我去绕开这个IP check,这些网站一般都说如果是商用的IP,我不会让你进去。
15:19是因为他们开始屏蔽一些AI机器人,商家不希望它接入。对,其实你看奢侈品网站,其实很早以前所有的都会屏蔽掉,如果用的你们家的网就是你自己的IP,它就不会再被block,所以这个有可能会是未来一个破局的趋势,而这件事情有可能会force很多的app厂商去改变他们browser user的机制,也就是说这个browser sandbox可能是在本地发生,而不是在云端发生。哦,哎,你这个观察非常有意思,就是你让我想起了最近非常火的一个2C的消费级应用就是Meta Muse,他们的定位是做一个个人的AI助手,然后又是面向消费者的,再加上今天agent的使用能力的成熟和Meta它强大的用户基数,包括它广告的投放,所以我很能理解他们为什么在这个时间点爆火,但他们还有一个非常特别的设计,就是他们其实相当于给每个人做了一台云端的虚拟机,就是你的数据是存在一个在云端属于你的存储的,根据你刚刚的这个理论,它这个其实还是商用的一个IP,它如果未来商业化的话,很有可能是会被商家卡住它这个IP的。
16:34Meta Muse这个东西从背后的虚拟机的设置来说,其实跟当时的Meta是很像的,它也主打一个browser use,因为它很多的use case其实跟travel有关,跟shopping有关,跟一些客服有关,在这些use case之下,你是没有办法通过API的调用来完成这个任务的,基本上都得最后靠browser。当时Manus其实走了一模一样的路,一模一样被全部block掉。所以Manus到后期的时候,现在跟Genspark很像,都主打白领工作那一套。如果你去看CallCode跟CallCodeWork,ChatGPTWork,最后都往白领工作效率这方面去偏移的核心原因就是因为很多东西一开始能做,但后面很快就被巨头们给全部block掉。嗯,比如说亚马逊现在就把Meta Muse给屏蔽掉了,如果有更多的网站去加入到他们的话,就是它可能能访问的网页跟能操作的东西就越少。
17:25对,但是它不可能说把你电脑上的browser给屏蔽掉,那你自己也不要上Amazon,所以这个可能会是一个破局的机会。但是我怀疑这个事情肯定是会来一个比较大的来回拉扯的过程,就是在2C端的这个agent。目前可能还是不是特别ready,因为你看Instinct跟Meta Muse他们的token的burn rate需求非常非常高,因为他们做browser use的话,模型的需求其实挺高的,模型的要求也挺高的,所以它不可能用比较便宜的模型去做这个事情。那每个人都unlimited tokens,Meta是一亿token for free嘛。它很难在短期内真的非常夸张地拉出一个现象级的,就跟过去Google Search或者说Social Network这样的一个体量,因为它是完全免费。我们可能未来需要看到一个完全完全免费,Token根本不是一个限制的这么一个产品才行。
18:181亿Token是对应多少美元?那我全部按照input来算,按照他们成本来算应该是100美元左右吧,我估计。每个用户100美元的免费额度。每个星期。哦,那挺多的。对,纯烧钱嘛。我还听到一种说法说Meta Muse它里面比较耗钱的不仅仅是这个token的成本,还有它云端虚拟机的成本,因为现在内存跟CPU都很贵。如果你去看我们二遥训练的过程当中,我们CPU跟GPU的价格,其实CPU我们一开始都用那种虚拟的那些service去做虚拟sandbox,然后发现实在是太贵了,然后我们最后就直接租个大的CPU box,然后自己去架sandbox。因为它当中其实没有什么太大的门槛,只是computer很关键,资源很关键,所以我们最后还是决定说自己架这个sandbox,不去别人那儿租了。我们有一次做大型rollout的时候,发现CPU的价格跟GPU的价格一样了,甚至就很离谱。嗯,
19:19你刚刚提到了Meta Muse跟Manus比,它现在走的路可能是Manus最开始,因为最开始Manus它也像自己去操作浏览器,最后回到了白领工作。那你会看好像Meta Muse长远的一个发展吗?还是觉得它的这个现象级只是在一个非常短的时间?我觉得这波consumer最后一定会land到软件结合的状态。我觉得Meta如果能够把wearable做得很大,有可能有机会。就是为什么我觉得最后要land到软件结合的原因是因为云端这件事情不能代表这个用户本身,这也是为什么browser把它们给完全block掉的原因,因为一旦换了一个云端的虚拟机它不能够验证说这个人本身就是用户本身。我觉得用户的ID或者使用agent的那个用户的identity本身会是这一波QC的一个关键。如果说商家能够去确认这个agent就代表这一个人去做的这么一个操作,也有可能很多商家会愿意做这件事情。但是现在如果用云端的虚拟机,云端的browser,它很有可能是Melba去验证这件事情,它会觉得说我的流量入口被人剥夺了。如果说它是一对一比例的话,比如说我有一个用户,他本来就要访问我,他通过agent还是访问我,那其实对于我来说可能是OK的。但如果说原本我是一个用户对证我,然后他现在搞了20个agent,这20个agent本身的消费能力跟原来可能一个agent是一样的,然后这20个agent还不停地比价,不停地去在我这边刷流量,把我这边的所有的流量全都弄乱了,那对我来说是得不偿失的。所以我觉得软硬件结合可能会是一个机会,如果说这个硬件本身属于这个用户,他就可以直接确认说这个agent就是这个用户,是一个代表行为,那我就会愿意把这个access开给你。
21:07哦,我觉得你这个洞察真的非常厉害。我其实前几天跟朋友吃饭,我们也提到了这个观察,因为你云端的那个IP是非常容易被商家block住的,能不能个人访问的IP是在本地,在他自己的硬件里,比如说手机,比如说Mac mini,但是其实这个对他们来说也是一个很大的问题,就是你怎么样去绕过苹果,你如何确保他们个人的这个终端设备是安全的,他们怎么改?对,我觉得现在这个生态本身是很复杂,比如说我们跟高通英特尔,AMD,联想,惠普等等等等都有合作,像我们做硬件软件结合加模型结合的这一套东西呢,其实也要去找落地方向,以及说哪些场景最容易落地,而他们做2C或者2B的场景就会卡在access这件事情上。以及卡在identity和硬件这个层面上面。所以双方可能未来从商业行为或者说从生态上面有一个合作的潜在机会在里面。但是我觉得最后肯定是一个模型、软件和硬件三方都得要合作共赢的一个状态,才能够打破这个局面。
22:21Meta Muse它后台接的是什么模型,你知道吗?这个东西有rumor,肯定官方会说用的是MuseSpark,但X上有人把出来说他们有些调用OpenAI的场景,我怀疑会有些routing存在,如果MuseSpark不够strong,它可能会比如说call一些Astra或者call一些Fable去解决问题。但我怀疑不太会,因为成本太高了。如果说我十次iteration里面有一次我要去靠Astra或者靠Fable才能解决问题,那它就不是一百刀的成本,但有可能每个用户每个月是两百刀的成本。这获客成本有点离谱了。OK,所以现在Astra跟Fable差不多是其他模型价格的两到三倍。嗯,不止不止,远不止。Astra现在是十美金的input吧,我没记错的话。也就是说你是比GPT-6So高五倍的价格。
23:13Astra它的定价是每百万token十美元,输出是五十美元。对啊,差不多四到五倍的价格,所以就很离谱。如果我要用这样一个模型去解决一个难的任务,这一次就要调用三四十美金。我给你举个例子好了,我之前用Claude的subscription,然后我把20x的那个plugin用完了,那次我很急,我必须要把那个任务解决掉,然后我就花了一百美金加一些credits。我仅仅用了两,再不是三次back and forth的agent flow就全部用完了,一百美金。你就很难想象,如果我做a muse,然后我去把其中百分之十的traffic引到Astra上面,是个是个什么样灾难性的一个cost。当然Meta可能财大气粗吧,没关系。但是它的竞争对手Instinct,现在我估计它必须得用至少是Soul级别的模型,它估计会用很多开源模型去打个底座,然后中间再去做一些routing之类的,但他们每个用户的获客价格肯定是非常可观的。就不只是他们广告上面marketing什么的获客,在那之后它还是会有大量的获客成本在里面。所以我觉得这个事儿烧钱会烧得很夸张。这是我们的愿景,如果说电脑上自己就可以跑所有的东西,那就没有必要再去跑到云端上,至少60%到70%的token是本地产生的,或者说我自己私有computer上面产生的,那它就不需要再去花那么多的钱,全都route到frontier网络上面去了。希望未来这个地方有个convergence,就看他们能够足以烧多久,就是他们足够的钱可以烧个一两年,那我们这个行业的模型也逐渐成熟了,那最后可以有一个平衡的一个状态出现。
0524:57谁在为 token 付钱
24:57嗯,大家在2B的工作流中会用XAI的Grokbot吗?我自己身边用Grokbot的人更多是在长先。因为它相对比较主动一点,但是你用Codek或者用Claude Code其实都可以解决这个问题,就真的把它接近工作流的可能相对少一些。我自己身边好多真正在异端,比如说Legal Healthcare,真正就是在那些传统Enterprise里面在工作的人,现在还纠结于怎么能够脱离Microsoft Copilot的泥潭呢?甚至都不能freely使用Codek和Claude Code Work,就更别说要到Grokbot这个级别了。所以我觉得整个行业现在分叉非常大,走在前面的人什么都可以随便用,走在后面的人现在还在泥潭里挣扎。哦,这个很有意思,因为Astra它里面它也可以调用很多自己的agent,我们之前看OpenAI解数学题,它内部调用了一个更强的模型,大概用了一万个子agent。我其实最近跟比较前沿的模型的研究员聊啊,我听到一个很有意思的观点,他们认为现在在2C跟消费级的agent,整体上,token的使用量其实是花不了多少钱的。一个是推理成本在下降,然后是其实这个token的成本比大家想象中要便宜。但是现在真正最烧钱的地方,包括前沿模型研究员,以及OpenAI、Claude、DeepMind这几家公司在看跟在竞争的核心领域是AI for science,就是那些未被解决、未被定义的科学问题,他们要去解那些数学题,或者需要跑像王教授这样的一些生物实验,这个是非常非常烧token,而且是内部消耗量最大的一个方向。那比如说我刚刚提到的OpenAI去解数学问题,那维斯托克斯方程这一个问题,那OpenAI它的agent它就是发了大概有270万条信息,消耗了约1300亿输出的token,那第三方按照零售价给它算了一下,就这部分它会消耗多少钱,大概是在2200万美元。因为现在在整个模型的进化,就像Bill你刚刚说的,它的使用都分好几个梯队,但是对普通人来说,就比如说我们今天聊Astra的发布,普通人可能很难感受到,我在Astra的使用上跟上一代的模型,甚至我们说跟Claude的其他模型有什么非常明显的区别,我觉得这个对普通人的感知来说已经不大了。但是它对前沿的科学家来说,他的能力的提升,他的感知是非常大的,所以前些Lab在看的这些方向跟我们想象中的方向,它还是不太一样的,就是他们觉得做一个非常大的科学突破,或者说如果真的AI它能制药了,它能解决很多的疾病,那个利润是更可观的。
0627:48小模型与大模型的分岔
27:48我其实这个地方有点想问许教授跟王教授,我自己因为是主要只做Post-training,然后同时做一些model的architecture change,在focus on小模型多一些,因为我们想做本地化的模型,那我们能看到的就是我们这个层次的模型,在我们优化之后和frontier model的差距,当然我们没有钱去训练一个training parameter model但是我们看到这个智能差距是在变小的至少在白领工作和我们自己的工作流当中那从一个AI for science角度或者说从robotics角度frontier model在每一代迭代当中你们觉得会有多大的提升比如说我们从Opus 4.5到4.6的区别versus从我们现在最前比如说当时应该还没有Opus应该是4.8到Fable之间的区别或者说5.6到Astra之间的区别这个差距能可比吗
28:41我的观点是它的AI for science能力确实是有一个很大的提升在biomedical domain但是这个提升主要来自于它的coding这种general的coding查文献然后做长程任务的能力并不是它对这种biomedical knowledge能力的提升它有一些benchmark是专门测biomedical knowledge的Astra上并没有提升就这种知识层面的我们现在实际用的时候,其实很难去使用Astra或者去使用Opus或Fable,因为它对生物医学的任务都会防范得越来越严吧,它都会refuse to answer,这个是非常严重的问题。所以我们其实内部用的时候都是用Kimi K3或者MuseSpark 1.3,当如果要用Astra的时候都要用一些比较特殊的方式来跟Astra说,我这不是在做一个危险的任务,我是在设计一个benchmark等等。所以实际这种大模型的使用体验,随着能力的增强吧,其实是越来越差的。还有一个点就是刚才Bill说的很有道理,其实我也认可,就在各种已经定义得很明确的AI for science benchmark上,小模型确实是可以和大模型的差距越来越小。但是我个人觉得这些benchmark本身就不是定义得那么好,所以大家追赶的方向,包括大模型进步的方向都可能不是完全正确的。这些benchmark定义的时候呢,大家都会定义一个更好让AI模型去做的,比如说有一个明确的生物数据
30:00以及要预测一个明确的问题,这和我们真的做的制药发现其实是gap非常大的。本质上这些现在的生物医学benchmark就是一个开构这种data science的比赛,所以呢它就退化成一个MLE bench中machine learning的问题,那这种Astra在coding能力上提升就会有很大的进步。我觉得从robotics角度,Astra是一个飞跃式的,在过去刚提到的几个,无论是Opus 4.5, 4.6,然后还是到Fable的变化,都没有Astra这次给robotics带来的变化大。因为过去的所有升级,在robotics的这个测试上面几乎都没有什么太好的表现,原来不能做,现在仍然是不能做,相当于定性上面没有变化,但Astra现在带来的变化是它整个定性是有变化的。很多的robotics的benchmark失效了,像Robotodo,几个吧,大家相对认可的robotics,尤其是仿真的benchmark,Astra都成了第一名,无论是它用了哪种数据,但是它带来的这个能力都是彻底的把原来的这个模型进行一个飞跃式升级。但是关于刚刚说小模型和大模型这个问题,我倒是觉得长期来说我们一定是需要一个小的跟Astra能力相当的模型。原因是机器人的任务它有时间要求,它是需要及时响应,需要有高动态任务,比如说我要抖一个毛巾,这样的能力Astra是做不了的,因为它太慢了,对吧?它知道我要快动一下,但是它只能写code来做,如果让它直出动作是没有办法去做的。在这种情况下我们一定需要一个快决策的模型,只不过我们需要把现有的Astra的COT或者是它的reasoning的能力以及3D理解要把它加进去。
31:40嗯,所以你觉得未来机器人它的方向会变成比如说大模型去做规划,然后小模型它负责实时控制这样的分层架构吗?这个分层架构大家其实一直都还是比较认同的,只不过这个层的这一刀到底切在哪儿,怎么样的分层方式是大家一直有辩论的。就比如说原来大家普遍认为VRM是做任务规划层,那这个任务规划层大概就是到我跟你说我要吃西红柿炒蛋,那VRM规划的可能就是打开冰箱门,拿出什么西红柿,拿出鸡蛋等等,然后底下的小模型或者说巨深的模型,它会去执行打开冰箱门究竟怎么办,打鸡蛋怎么做。但是Astra这次它最大的一个变化是它现在能做低层次的动作控制,就相当于它可以给你的指令变成了把手往右伸两厘米,或者把手放在冰箱门的把手上,如果没有抓住的话,它说那你再往前靠一靠,所以它相当于把这个层往下压了,原来是大家边界很清晰的,你负责那块儿,我负责底下,但是它现在说我现在能力非常强,除了慢以外呢,我可以往下压一点点,那底下的这个就更像是一个反射式的,对吧?我能听懂说往左往右,有点像是一个提线木偶的感觉,肯定就是有一些声音就是说那是不是未来上层的这个模型可以无限往下压,那压到最后是不是就变成一个完全端到端的VRM,就像Astra直接控制。控制所有事情。我个人的观点是我觉得这个还是不是很合理。现在看起来第一很明显是速度吧,就基本上你在网上看到的Astra做控制的都是要16倍速或24倍速才能看,否则的话就基本上就是在那儿纯等待。第二个呢就是,我觉得现在的Astra还是对物理是非常缺乏理解的,尤其是对于人类来说叫直觉或者叫直觉物理学,我随手可能碰一个物体,它如果有水可能会洒,对吧,如果是玻璃可能会碎,这些事情可能Astra如果经过很多语言推理是可以理解,但是如果我们希望它去做一个任务当中,立刻有这方面理解,它可能效果还不够好。这个地方可能还是需要像世界模型或者是像快速的这个模型要去做一些直觉式的反应。
0733:44机器人:分层、延迟,和被压扁的那条线
33:44嗯,你刚刚提到了它速度慢,它速度慢是因为什么?是因为它的模型太大了吗?它的推理时间太长了?模型大肯定是有这样的一个原因,然后另一个就是它COT很长,虽然它是加密的COT,给出来的那个COT应该是假的,我理解,但是它的内部的整体是非常长的,所以它做每一步的决策,做的思考是非常冗余的,尤其是面对简单任务的时候。就我们观察到,面对复杂任务和简单任务,它的思考时长基本上是相似的。这也意味着复杂任务它很聪明,对吧?但是到了简单任务上,它就变成了一个额外开销,使得它看起来非常笨。嗯,内耗性人格。是的,是的。徐教授,我想这边也有一个问题想问,就是机器人这个模型的大小,现在基于目前可以在机器人上面搭载的芯片,它应该能够做到什么样的模型大小是一个比较ideal的一个状态?以及说,如果说这个模型后塞云端,它像一个Jab一样,立刻给你输出所有的configuration,那在这种情况下,什么样的网络延迟是可以被接受的?
34:47嗯,如果是搭载在本地,这个模型可能最好是在一个小于10B这样的一个尺寸,是比较舒适的。当然10几B或者是小几十B其实也是能做的,但是这个,电程端可能会要上去,用的这个芯片可能要升级。如果搭载在云端的话,我们自己在破壳机器人也是两条路都在走,我们自己也会模型搭载在云端以API的形式供大家去用。这样的一个方式的话呢,我觉得这个模型尺寸其实就没有什么太多的限制了,更多是网络延迟和你的这个卡到底是哪一代的卡。网络延迟的话,因为要看任务,就你以API的形式一定不能做高动态和时间敏感的任务,比如倒水这种就不适合做,如果你卡了一下水可能就冒出来了。所以我们先假设都做的是准静态的任务,那在这种情况下我觉得200毫秒甚至更长一点,几百毫秒我觉得都是可以接受的。但是如果你说做高动态任务的话,我觉得一定是要在本地,没有办法再云端,因为卡一下就完全坏掉了。
35:47对,有道理。嗯,对,徐教授因为我知道之前你们公司的有一个demo的场景就是用筷子夹小球,现在比如说你们用自己的模型做跟用Astra做,它的区别是什么?用我们自己的模型去做的话,时间上做的快很多,其次呢,它在抓的时候呢,是连续不断地去做尝试的,这个过程中没有太多的逻辑上的思考,我抓了一次失败了,可能我稍微碰到一点它,那我的状态发生了一些变化,那我可以换一个角度去做尝试。但是如果是Astra的话,它每做一步以后,它都要分析发生这个的原因是什么,然后根据这个原因他要去给自己指令相应的我要做什么样的调整,这个过程看起来更像是这个人类的思考过程,但是这个地方也会一个是带来他很缓慢,然后第二个呢会发现他有时候会陷入到一些僵局里面,他有时候无法理解。为什么会发生这样的事情,或者是它一旦分析出错了,那它就没有办法再进一步去推进了。然后还有一个我们看到的点,就是如果我们去抓一个桌面上的物体,旋转这件事情,Astra其实做得相对来说还是弱一些,但是它能做。在旋转的这件事情上面,我们看到的是它要反复地尝试怎么样去转,才能去把它,比如抓起东西以后,我再塞到一个墙上的小孔里。这样的能力我觉得目前还是有一定的短板的。
37:06嗯,那你觉得像Astra它出来以后,因为我知道现在机器人公司分很多种,就比如说做大脑的,包括这个大脑怎么做,它是Sim2Real的路径,还是说它用整个物理世界的数据,就它都有分很多的流派,然后还有做本体的,还有做数据的,你觉得它对哪一类的公司的冲击影响会比较大?Sim2Real的路线,我一直是认为仿真是没有办法训出最好的机器人的模型和策略的,就很多人说Astra让仿真重新复活了,因为它做Real to Sim,就是说仿真是世界千亿到仿真里面这件事变得非常容易,但是它其实只是把它这个3D的外观做得非常好,但是它并没有因为Astra出现,然后物理引擎变得更准确了。因此我觉得它在这个地方我觉得是一个hype,或者是一个虽然它带来了很多变化,但这个变化并不直接导致机器人会变得更好用。第二个呢就是我觉得Astra肯定是利好本体的,利好硬件的。就Astra出来这两三周吧,斯坦福已经有一个课题组去把Astra接入一个旅数机器人里面,让它在家里面去做一些家庭任务了。这件事情还是非常非常快的,相当于它做了一个论文,可能大概就两周时间就做出来了。可以看到在Astra有了很强的跨本体泛化能力以后,你的本体如果质量足够好,那可能连接Astra直接可以做一部分事情了,尽管它还只能是demo级。对于做大脑的公司我觉得是有两派。一派是相信会有一个更快的,更好的,具身自己的模型。当然可能可以从Astra身上去学到一些,比如数据标注的方式啊,COT的方式啊等等。我觉得是会带来一些整个行业的增长的,我觉得是一个好事儿。当然还有一派呢,就是说它的去模型能力可能不够强,那可能直接放弃掉这件事儿了。就是说既然Astra好,那我就专注在怎么用它,或者是怎么样把我的东西当做它的一个工具嘛。然后让Astra来调用我的这些小的东西来完成任务的闭环,那可能更像是一个机器人部署的公司了。所以我觉得会有一部分公司逐渐走向更偏部署的机器人,有一部分公司会做更小的Astra这样的能力,或者超过Astra能力的模型训练。
39:08嗯,你觉得它对整个机器人未来它如何去做研究,包括刚刚您提到的分层分到哪个位置,它会有一些新的启发或者带来比较大的变化吗?嗯,我觉得会带来非常大的变化,第一个是整个模型训练的范式,我觉得大家未来都不会忽略Astra这样的一个范式。所以去模型的人肯定会产生一些新的想法。另一个就是以前做传统机器人规划的人,那他们现在可能会往agentic,更偏harness这样的方向去做机器人的研究,如何把各种各样的能力组合起来。机器人领域有一个领域叫TAMP(T-A-M-P),它会把规划和控制放在一起,然后去做长程任务。那过去这个领域我觉得是比较古板的,或者说比较这个上一个代际的这样的一个能力,因为它很多时候都用传统的规划手段,然后去做一步一步的。如果我的下一个任务是你开瓶盖儿,那我的不要确认这个瓶盖首先是关着的,否则的话我不能到下一步。这些事情其实在过去我觉得是相对有一点过时的,但是到了agent部分它好像又重新焕发生机了,可能是规划去模型,然后现在有了好的模型以后,那又回到规划可能是变得很重要了。所以我觉得对整个研究肯定也会带来一些变化的。
40:19嗯,您刚刚提到的就比如说一些特别好的机器人大脑的公司,他们可以向Astra学习数据标注的方式,您觉得您从中间获得的启发是什么?我觉得就是要把里面的因果和直觉物理标注清楚,我做这件事情成功是为什么,失败是为什么,我做了这件事情发生了这个结果,这里面的交互过程需要详细地标注出来,我觉得这个部分是很重要的。过去的机器人很多标注的时候是只标注一句话描述你做了什么,就相当于只做正向标注,没有把背后的我没抓住它,原因是我到底是抓的位置偏上了,还是说这个东西占了水太滑了等等,这些东西要去标注出来。有了这些东西我们才能真正做一个通用的机器人大脑。嗯嗯,那这是不是说它对整个数据标注公司也会有影响?因为我知道现在还蛮多人做机器人数据标注的。我听说的rumor是OpenAI现在只卖不标注的数据,就它觉得外面的标注都是错的,他们都是自己内部重新再标注。另一方面他们可能也是为了保密,就是说我不想把我标注方式透露出去,所以一定程度上对数据公司来说会有两种,一种是我卖生数据,生肉这种感觉,相当于在卖石油,是原材料,主要还是要靠起量来做,我需要的是管理一千个人或者一万个人在那儿采数据,或者把所有的家都map里边。还有一部分就是做熟肉,熟数据,那它就需要去了解到最前沿的模型是如何去训练的,如果它有一些这方面的知识,它就可以很自信地说,OK,这个是OpenAI的标注方式,这个是Pi的标注方式,你喜欢哪个,然后去卖给你,那它这个单价可以翻。十倍甚至更高的价格。
42:01哦,这个水还挺深的。是的是的。而且要知道这些模型公司的研究品位本来就不容易。对,就他们需要在交易的过程中获得局部观察来推理对方,也是一个COT,对,推理对方到底在怎么样使用这个数据。对,那您觉得它对整个未来机器人研究方式会带来变化吗?因为它之前是在研究机器人方向的垂直模型嘛,那现在说大模型的能力足够好了,它也可以驱动机器人,虽然它有ABC的问题,那会不会以后说机器人的训练可能它的底层就还是一个机模,它只用做后训练就可以了。如果我们想要真正意义上部署的话,一个几T的模型肯定是很难去做部署的。如果是远程的话,我觉得是可以解决一部分任务的,但是不能解决所有任务。如果我们都是Astra这种基础模型,我觉得是不太能成为未来所有机器人去使用的模型,一定是会有一个相比于Astra要小得多的这样的一个模型,有相似的能力这样的一个。但是即使它在云端去做服务,去做host,我觉得也仍然是一个机器人专用的模型。
0843:06惊艳之后:Astra 做不到的事
43:06嗯,您觉得从Astra发布完到今天已经大概有三四周的时间,您对它的理解,包括最开始我知道它有机器人画金门大桥的那个demo的时候,很多机器人的创始人是很慌的,包括后来大家也会自己去试嘛,整个过程您心理上会有一些变化吗?嗯,会的会的。首先它出来的时候,大家刚开始尝试基本上都是觉得非常的惊艳,最开始尝试当然是让它抓一个东西,然后它很快完成了。后面就是会尝试更复杂的,比如说刚刚提到的有一些空间上面的要求,比如要旋转啊,再后面有一些更复杂的语义,甚至到一些物理上面的东西,去逐步尝试它的时候,我们会觉得机器人的GPT时刻还是GPT,但是再往深入去看的话呢,还是看到很多问题。比如说它现在仍然像双臂的任务是几乎没有办法去做的,比如说在叠衣服这件事情上,Astra是完全叠不了。所以我们有一个感受就是,在一个语言不太好描述的任务上面,Astra的能力其实并没有很强,所以我们还是看到它在足够灵巧的地方仍然有空间。第二个呢,就是我们发现它的总结能力还不是很好,比如说第一次做一件事会花一个,比如说一个小时,第二次做这件事可能花45分钟,然后我们让它持续不断地去做,就它永远都是45分钟,它基本上到第三次开始就是变成一个常数,不会说像人或者是一些更小的模型,它在充分地训练以后,它的时间会越来越短,就最后我们可能随手干一件事就是几秒钟就做完了。所以在这个地方还是可以看到机器人本身的原生模型,还是有很多空间的。再到现在我觉得更多的是我们要想,到底我们叫系统一系统二嘛,就是快慢系统,它们之间到底应该是怎么样结合,上面的Astra到底是调用,还是说给出一些指令,还是给出什么样的指令作为界面,因为它已经出现了,你不能回避它,但是它自己又有很多问题,你又没有办法直接用它,所以下一个问题是,怎么样把机器人公司擅长的东西和Astra这样的模型充分地结合起来,然后能做出真正通用的机器人,我觉得到现在还是更多从技术角度去想未来怎么做。
45:12对,最近还有一个项目也很火,叫Jev,它可能就是很多的是用系统一系统二快思考慢思考的一套理论去做的,你觉得这个对机器人领域的影响大吗?我觉得Jev它自己叫做自己系统一嘛,我觉得跟机器人本身的原生模型是很像的,机器人大家一般来说会认为它是一个主要是系统一,有一小部分系统二的能力在里面,所以我觉得机器人就应该是一个相对来说的快系统,但是Jev其实我们也也做了尝试,就首先Jev在机器人上表现是很差的。为什么?多方面原因,首先当然OpenAI好像最近也要发新的东西了,但是Jev本身没有办法输入图像,所以你的图像需要以状态的形式给到它,你必须要跑一个视觉的VRM也好,或者是跑一个其他的视觉模型,然后把这些状态给到它。然后再让它去做快速决策。我们测试下来它比如说罗方块这种任务它经常会就罗不起来或者是就罗了以后就倒了。比如说Astra它可以看到说第一个块罗得有点歪,第二块就要反过来一点,往另一边靠一靠,这样子才能平衡。但Jev就没有这样的一个能力。但它可能现在我看到很多人就说Jev可能可以用来标数据,因为它很快嘛。但是我刚刚好像看到OpenAI要出一个快的就类似于Jev的东西,而且是有图像多模态输入的一个快系统,但是好像还没有尝试,应该是快要发布了。
46:35嗯嗯,对,我们可以期待一下。那你整体觉得Astra的发布对机器人行业,你觉得它是一个正向的影响,还是一个冲击到大家的影响?它对整个机器人领域的影响肯定是正向的,看到新的能力嘛,但是肯定也有一些冲击,从每个个体来说,尤其是比如说现在的模型能力远远低于Astra的这些公司,可能会有一些担心,我永远都追不上它这个能力吧。我整体还是偏乐观的,它相当于是一个新的思路,其实照亮了很多我们之前没有看到的地方,所以我个人是觉得它是偏正向的。
0947:10AI for Science:从 computer use 到 human use
47:10嗯,了解。那接下来来聊一聊我自己非常感兴趣的就是AI for Science的环节。那现在你觉得Astra还有Fable 5,这几个模型在AI for Science上的能力谁更强呢?我觉得Astra的能力会更强,因为它做那种长程任务的能力呢要稍微强一点。对我们的应用来说啊,首先我们没有一个明确的benchmark,很难用现有的这些生物医学的benchmark来衡量一个模型它做生物医学任务的好坏。现在模型很缺乏做的一个事情呢,就是它可能做编程啊,或者做一些任务都做挺好,但是我们想要模型是能够指导我们去真实世界中做生物医学实验。就如果我有个bản尺嘛,叫它预测一个东西,它可以做得很好,预测一个蛋白质的活性。但是我们现在最重要的一个场景是,AI模型能不能出一个实验方案,具体的我要怎么样做实验,在什么温度下,用什么分子,然后在怎么一个湿度,怎么一个情况下做这个实验。这是一个现在的模型都做不好,但是非常重要的点。我之前说叫computer use,就是AI怎么控制computer,对吧?我们现在方向我们都叫它叫human use,AI怎么样控制真实实验中的一些实验员,一些technician去做实验。这是我们在对比了Astra和之前的一些模型中,发现Astra还是可以做得比较好的。这些任务的语料其实非常少,但是我觉得S用它的更强的能力,可能可以在这方面有一个提升。
48:36嗯,我理解它分成两类嘛,一类是AI给方案,它去预测你的心药可能是一个什么样的结构跟分子组成。第二种就是说,这个方案做出来了,我们一定要在真实跟实验,甚至是干湿实验的环节,去验证这个方案可不可行。就是现在它第一个部分做得还可以,在第二个部分的时候,它现在给的方案还不够好。对,我觉得对第一个部分来说呢,其实是我们不知道AI做得好坏,这里面有一个悖论。如果一个问题啊,比如说我说开发一个治疗癌症的药物,我如果知道答案,那这个问题其实我没有必要去研究了,因为我已经知道这个药物具体是什么了。所以我们真正在意的问题都是不能被benchmark衡量的,都是没有答案的。所以我们在意的每一个问题,生物学、AI for science的问题,最后都需要去实时研究验证。肝实验就是所有的预测,所有的分析都在计算机中模拟,无论是CPU、GPU都是在计算机中完成。湿实验呢就是我们需要在真实的一个实验室一个房间里,通过试管,通过培养皿对老鼠细胞等进行一些操作。所以这就是计算机之内和计算机之外能达成的区别。我给AI出一道题,我是不可能知道答案的。GPT给我一个药物的分子式,说这个能治疗癌症。Claude给我另一个分子式,我都得去湿实验去做这个实验。
50:00所以在做这个实验之前,它不仅是说给我个分子室,它还有具体的一个实验的计划,怎么样能够合成这个分子室,这个小分子应该怎么储存,然后呢我应该以怎么一个周期给老鼠使用,这些特别细节的东西是现在AI模型都做得非常差的。它能够生成一个分子室,因为世界上有很多这样的数据,但这个分子室怎么合成,怎么给老鼠用这个药等等,这些他们都做得不好,然后这些其实是更重要的。嗯,后者现在你觉得整个我们放眼下的大模型,它在设计一个实验上大概解决了设计实验的多少的比例,就完成度怎么样?我觉得完成度是可能只有30%吧,很多时候是需要人类的专家去来给它修改。在设计实验这个领域呢,是domain expertise需要得特别特别深入的,这个领域的一个教授可能也不知道,需要专门针对这个方向做很多实验的technician,才能够设计一个高效的,而且成功率很高。有特别可行的实验。还有一个呢,就是每一个实验室啊,它的器材或者它有的设备都是不一样的。Astra这种AI模型,它没法根据这些设备器材来针对性的设计实验。比如说我这个饭店里有一些原材料,有番茄,有鸡蛋,有土豆,我让Astra来做一道菜,它并不能够理解这个饭店有哪些原材料,它不会针对原材料来设计一道菜。它可能说给我做一道海鲜大餐什么什么的,这些就在现实世界中非常难以执行。所以我觉得它缺乏的是对现实世界中资源的利用协调和使用的能力,这也是我们现在想要对模型进行改进的。
51:39嗯嗯,所以我理解现在如果说我们真的要让这些大的模型在AI制药上有所帮助的话,我理解一个严肃的真的想用AI去生成药物的这样的一个公司,它还是要配备自己的实验室的。对,我觉得是一定要配备实验室的,因为现在的通用模型已经很厉害了,配备实验室它可以有自己的验证,可以有自己的数据积累。现在AI在做这种药物发现,还有一个瓶颈呢,就是它验证的周期很久。我设计了一个分子,然后这个分子我拿去老鼠上做个实验,不可避免就要花几周,因为老鼠有新陈代谢,对这个药物进行一些反应。这个几周的时间,可能这个模型已经进化到下一代了,已经有GPT 6.1、6.2的出现了。到时候AI模型都进化得比我这些真实实验要更快。所以我觉得这种前沿要做AI for science的研究室呢,它需要有一个实实验,而且呢,它对这些实验是进行改造、redesign,让这些实实验能够更好地配合AI。比如说我一上来就把所有的细胞啊什么都准备好了,然后只有在AI会要预测的那几步,我就可以有AI预测之后,立即把那些小分子放进去,把这些前置条件都做好,把湿实验和AI模型一起来设计,能够把这个闭环走得更快。而不是说分开,像我们现在AI模型设计一个东西,然后我移交给我的合作者,那合作者呢,他也不知道AI模型是怎么设计,也不知道AI模型会大概给一些什么样的结果,他就把它重新来针对它设计一套湿实验。这样分割开的话可能就会比较低效,所以我觉得未来的话,前沿实验室需要有湿实验的一个条件。
53:15嗯,AI从设计一个分子结构,到最后你的整个的干湿实验做完,达到临床一期的时间周期,它大概是有多长?一般我们先做细胞和老鼠上的实验,这个几周就可以做完,做完之后呢,一般会做一批,比如说在猴子这种灵长类动物的实验,这个怎么样都要一个四个月的周期,有时候我们会做两次,那就是四个月再加四个月。八个月。作为一个AI制药的公司吧,一般我们做完猴子的实验呢,就不一定会推进到人的实验,会把它直接license授权给大的药厂,让他们去做人的实验。这时候这笔授权费是非常可观的,一般都是一千万美金以上,甚至可以更高。大的药厂它有一个病人的这种网络,所以它可以更好地收集病人,做针对性的人体实验。所以我们一般都是走到猴子实验结束,那周期可能在六个月到十二个月的时间线上。嗯,对,所以就是要验证一个药物,它花的时间是远比AI设计一个药物更久的。但在AI给想法的这个问题上啊,现在我们说整个AI它已经很聪明了,它数学领域发展得很快,是因为数学它在很多的环节上它是可以被验证的,而且它不需要做实验,所以它发展得很快。那在生物学上,就比如说AI给你真的设计了一个新的分子,新的药物,你怎么去确定定它的设计是对的呢?
54:42对,我觉得这个就是最大的难点,这也是AI能够在数学上做出很大的成就,攻克千千年猜想,但在生物学上呢,其实到现在也没有一个说是AI完全开发的药物的一个根本原因,就是现实世界的反馈太慢了,而且这是受限于自然规律,一个老鼠一个猴子就需要那么久的时间。在上一波AlphaFold的时期,有很多AI drug discovery公司,当时也是雨后春笋一样冒出来了,那时候还是大模型前AlphaFold的时期,但是那些公司大部分后面都没有成功,就是因为他们还是以AI设计和发现药物为主,但是这样即使能够把这个AI设计一个分子式的周期从半年提升到几天或者是几小时。但之后还是会被后期的真实的老鼠人体实验给限制,所以我觉得这是一个核心的问题。如果能够把这个问题解决,AI在生物医学制药上的爆发就会和AI解决千禧年数学问题这样会有一样的非常大的一个爆发。我觉得这问题是不可能从工本上解决的,但是我们可以加速现实中的反馈,这样来间接地帮助我们解决和提升AI在上面应用的效果。
55:46你指的AlphaFold的时期是哪个时期?这是AlphaFold刚出来,当时蛋白质结构预测有一个很大的台阶。哦,AlphaFold一跟二的时候。对对,就刚出来的时候,当时有很多AI创业公司决定用AI可以预测蛋白质结构,那么有了更好蛋白质结构,我们就可以快速地开发药物,当时也可以预测生成很多好的药物结构,但是验证还是最大的瓶颈。现在其实还是同样的问题。我听说AlphaFold 3它是把它的所有的研究,包括它的数据都开源了,它的开源也带来了一波生物制药公司,包括做这种垂直模型的公司,做工具的公司崛起。因为它开源了以后就相当于你这个行业,它就类似于机器人行业派开源一样,它有很多的底层的基础设施,它已经ready了。对,我觉得它的开源是非常重要的,然后在当时那个时间线,社区里有很多的机构都在尝试造AlphaFold的开源版本,有个叫OpenFold的工作,所以呢,如果它不开源,大家也会很快追上,就有一些开源的版本来模仿它。在它这些工序开源之后呢,对社区最好的帮助就是大家更重视数据的积累了。它虽然开源了,但是一些垂直科学AI公司,它可以利用自己积累的数据来维护自己的护城河。其实这些数据都是非常非常珍贵的,一条数据都是非常高价值,几万或者几十万美金,因为它都是会在真实的老鼠啊,人类上做实验的,不仅是这些实验成本高,而且实验的周期也很久。所以反而是开源之后,这些垂直的科学公司,它会更具备优势了。所以这是它对community的一个贡献吧。
1057:24数据、湿实验,和一条 MCP 接口
57:24哦,您指的一条数据是什么?就是一个实验在一个完整的动物身上跑通的,这个算一条数据?比如说一个分子在老鼠上到底能不能杀掉癌细胞,这么就是一条数据。哦,那这个数据还是太便宜了,因为感觉这个大家要工作好久,工作量也挺大的。是的,这是一个非常高价值的数据,也是在internet网上大模型的预训的雨刀库中根本看不到的。那这样来看是不是因为生物医药界可能也会未来会兴起很多的数据公司,反正你模型负责给想法,我就成立一个实验室就专门负责验证,它可能也是一个很好的商业模式。对的,我觉得这是一个非常好的商业模式,因为现在那些AI数据的价格,比如说买一道奥数题都要几千美金,Terminal-Bench一道题会要几千美金,现在新出的Terminal-Bench Science那上面的题也会是一个高价值的题,我觉得这些题还仅限于计算机里面的操作。那未来如果是有真的生物真实世界的数据,那个价值会非常高。还有一个很高价值的地方,就是搭建一个能够帮助AI很方便地去做真实生物实验的接口,仅仅是这一个也会很高。现在有个公司叫Adaptive Bio,它是专门给Anthropics合作的。Anthropics生成一个AI的预测,它以MCP的形式就立即开始做实验。它刚刚融资了40 million,我觉得这样的公司会越来越多,以后每一个试实验的公司都会有这种MCP API的形式,直接接到AI大模型里面,这样来给AI大模型直接进行服务。这样当中很多人的沟通成本都会减掉,所以这当中就又回到我刚才说的问题,最重要的就是AI自己知道要做什么实验,怎么设计这个实验,然后试实验的公司能够和它进行配合。
59:09现在像OpenAI还有Anthropic,哪些我们看到的前沿模型研究室配备了自己的湿实验室?Anthropic是明确配备了,它和Adaptive Bio是明确合作的。它最近出了一个比赛,邀请大家来做一个Anthropic定义的蛋白质设计问题,它会赞助Adaptive Bio这家公司来为大家做湿实验的验证。所以Anthropic最近定义的比赛,也是说最后以湿实验的验证为最后的标准。我也听到很多消息,Anthropic自己在构建湿实验的团队,包括它招的一些人,也都是有湿实验背景的。我想OpenAI应该也会有类似的情况吧,也会开始慢慢布局这种湿实验的公司。所以我觉得这是未来一个趋势,各个这种AI Frontier Lab,如果是真的想做高价值发现,不是就刷现有的benchmark的话,不可避免的是要有自己的湿实验。实验室。
1:00:01那DeepMind呢?而且现在感觉它的创始人哈萨比斯,他也重点是在Isomorphic,就是从DeepMind分出去的生物制药的公司上。对,我不知道DeepMind和Isomorphic会是怎么样的合作形式,是DeepMind搞AI,Isomorphic做验证,还是说我猜测更多的可能Isomorphic自己做端到端的,它会用一些模型,然后更多地来自己做验证来端到端地解决。讲Jumper就是另一个和哈萨比斯拿诺贝尔奖的那位科学家,他是加入Isoropics了,所以我觉得Isoropics在这方面会有很大的优势。嗯,我看他们一起拿诺贝尔奖的还有一个人是David Baker,他自己也是做了一个新的制药公司,是叫Zile,对吧?对,他有很多制药公司,我不知道他的commitment有多大,据我理解他应该有几十家的公司吧,我理解他还是更多会专注于自己的科学研究,然后看看之后能不能拓展到商业或者他的startup里面。
1:00:57嗯嗯,你觉得在整个的模型对制药的影响上,对你来说啊,几个比较大的节点是什么?就是哪些基础模型能力的提升会让这个行业一下子就有一个质的飞跃或者提升?现在我们的提升还几乎是取决于coding能力的提升。现在因为大家还是没有走到诗实验或者真实世界的控制这一块,所以呢,在coding的能力上提升之后,我们这些bio-medical相关的任务也会做得特别简单。所以现在我觉得bio-medical上这些coding任务,虽然那些benchmark上还没有达到满分,但我个人理解已经是几乎可以认为是解决了,因为它已经比人做得要好了。像Terminal-Bench science上的一些bio-medical问题,我自己去试了一下,我做的都没有AI好,虽然很多AI的分数,即使是astro也只有六十几分吧,满分一百分之六十几分,但是它其实已经做得比我好了,所以我认为它们已经解决了。所以比较大的节点就是coding能力的提升,就会把生物制药这些dry lab上的能力的提升都给解决。还有一个问题就是,生物学的数据特别地大,特别地复杂,每个人的数据都可以达到两个T。那么如果未来的模型还需要提升的话,就是这一块,对这种两个T的数据的高效的处理理解,这是一个非常非常重要的领域,也是一个非常大的一个机会。
1:02:15嗯,您刚刚提到了,您觉得现在AI在一些能力上已经超过您了,因为您已经算是人类很顶尖的科学家了,也是做学术研究的。我可以理解它已经不是超越平均智商了,而是最顶级的这些智商。那在这个环节中,你觉得它未来给你们这些前沿科学家带来的问题是什么呢?就比如说它做的东西,你们很难去验证了,会有这样的情况存在吗?对,验证的话也是要靠事实验证。如果一个问题已经定义得很好了,有一个明确的测试集,明确的输入,要知道解决什么样的问题,那AI解决这个问题能力会比我强。那么人类科学家更多可以做的事情呢,是定义哪些问题AI去解决,所以我觉得未来AI在生物医学领域的趋势呢,不再是解决问题、设计模型了,更多的是设计benchmark,设计evaluation的方法,定义一些重要的问题去解决。还有生物医学是关系到制药或者治疗病人,这些直接和人打交道的,所以很多时候还是需要一个科学家参与在其中,而不靠AI自动化,需要一个人类科学家作为一个背书吧,就像飞机就算能自己飞,我们也希望一个驾驶员在上面,对吧?AI能自己看,能自己治疗出诊断书,我也希望一个医生真的肉眼看下我的报告,所以在科学发现这种一下就会投入很多钱、很多时间的重大决策上,还是需要一个人类科学家去一起把关,一起去判断这个问题的价值。如果纯粹是解决问题,我觉得AI已经会比最强的人类科学家都要强了。
1:03:47嗯,您刚刚有提到你觉得像Astra它在benchmark上,现在整个benchmark它的定义是有问题的,那你觉得未来它的benchmark它应该会怎么样去定义,它会朝什么样的方向去演进呢?我觉得未来首先我们要设计那些生物学的题,它是没有上限的,它是一个不可能被刷爆的,比如说现在的SOTA的药物能够把30%的癌症细胞给杀掉,那么AI能不能做更好的药物,能够把40%的癌症细胞杀掉,这样让AI不停地设计,能够有一个没有上限的方式来做这个任务,同时在这个任务做的过程中呢,也会形成一个数据的飞轮,就是我不停做诗实验,虽然这些诗实验很贵,比较慢,但是持续对这个任务做诗实验,还是可以收集到可观的数据的。但是是想避免的就是一些简单的分类任务,比如说分类这个基因会导致癌症还是不会导致癌症,这样的任务就很容易被AI解决了。我们未来要设计的还是这种比较宏大的,很难有上限的,比如说怎么样把人类的寿命提升,这种没有上限的任务,能够让AI持续地解决,然后我们可以持续地积累数据,像积少成多,把一个特定问题的数据给积累得更多。
1:04:53嗯,您刚刚有提到了在AI领域啊,它还没有自己真正做出来的一款药是被验证过,然后被可以使用的,为什么它是没有被验证过,但是它这个领域还是依然很火,只是时间还早,还是说它未来会被解决?对,我觉得未来会被解决,只是时间还早,因为现在AI是一个新时代的,也就是过去几年才发生的,一个药的周期也要五到十年,对吧?现在还没有走到那个药的周期,我觉得未来会有一个AI自己发现和更好地验证药物的机会。现在的话,它新的药物发现,包括之前有一家公司,它说它的药物是由AI高强度参与。但是这些可能更多的是一个AI参与吧,或者是一个噱头吧,我觉得。因为从那个药物开始研发都是五年到十年前的时候了,那时候的AI和现在完全不是同一种AI,所以我觉得未来是会的,这更多是一个时间的因素。对,然后我看Claude他们最近有一个新的成果,就是他们发现了一种新的ART,它有一点点类似于CRISPR-Cas9的这种基因编辑的工具,但是它最后有没有被验证还不太确定嘛,就科学家也在观察这个现象。你觉得现在就是模型它在哪些方向已经非常强了,就是在生物医药领域,我们已知的领域,它已经开始有一些突破了,我们看到这些突破它的苗头是什么?
1:06:11嗯,对,我们观察到这个突破几乎就正比于生物医学实验的周期,周期越短反馈越快,大家其实在过去的几十年中都积累了好多的实验数据,这些实验数据通过各种方式,比如说写在论文里,或者是被一些大模型公司收购,都已经被这些大模型公司所拥有的,所以当实验做得越快的领域,它模型就可以做得越好。比如说Anthropics他们这次做的一个比赛也是对酶,Enzima的一个设计,这就是实验特别快的一个领域。未来像蛋白质、酶这些可以做快速实验的,我觉得都会有很快的一个迭代。但如果比如说我们要做一个衰老,或者研究一个罕见病,这种特别的rare,特别的一个domain specific的,特别长周期的问题,那我觉得模型的进展还是会很慢的,然后也很难有很快的进展。OK,酶跟蛋白质它带来的是哪些领域的变化?有一些特定的领域吗?就比如说减肥或者癌症治疗。
1:07:10理论上蛋白质是万能的,减肥、癌症治疗,所有的病理论上蛋白质都可以通过一些方式引导我们制药来改变人体,然后来治疗。酶的话呢,很多是一种催化剂,比如说我们以前会设计的一些酶,可以把一些递沟油变成一些实用可以用的油,或者呢把一些洗衣粉。它能够在不同的温度下都能够有活性,所以酶更多的是生活中对各种工业化工的过程中进行一些加工、帮助、加速的一个过程。所以它的商业价值其实是非常大,而且可以快速落地的。那蛋白质呢,如果我还是要涉及药物,就还是不可避免,要做人体实验,还是有一个较长的周期。
111:07:49我们还值得被蒸馏吗
1:07:49哦,了解了解,对,非常精彩。我其实也在跟很多模型的研究员去聊了,因为之前大家一直在说蒸馏这个概念,然后很多前沿模型实验室的研究员,他就说,其实很多普通人,他现在可能就连蒸馏的价值都没有了,就这个话听上去很悲哀。但是是不是现在整个训练的信号也正在转向像专家数据,还有可验证环境,大家同意吗?机器人这儿很显然不是这样的,机器人这儿每个人都是生活的专家,所以在机器人这儿没有那么悲哀,大家都值得被蒸馏,你擅长做饭,我擅长叠衣服,他擅长走路,他擅长跳舞。当然再往后走也会进入这样的一个阶段。今天的机器人还做不了大模型,至于普通人的档次的事情。所以我觉得如果也许一年后两年后,才会到这样的一个阶段,就说必须要是一个舞蹈专家,或者必须要是一个GordonRamsay这样的大厨,才值得被蒸馏。我觉得在今天就是家常菜的,每个人做的都值得被蒸馏。嗯,
1:08:49如果知识被蒸馏的话,那确实现在AI的知识更全面,单个科学家肯定是比不过的。但是呢,有一些科学发现,一些长期投入,还是需要科学家或者工程师在那边支持背书,所以这方面是AI替代不了的。同时呢,也有一个反向蒸馏的问题,因为AI这么强,对吧,我天天也在蒸馏AI,我很多新的领域,尤其我们做AI for science交叉学科的,很多东西我不知道,我就可以快速地向AI学习,学习之后,我获取知识的速度也快,有时候有一些新的idea,新的创意,我可以做更好的一个科研成果。所以我觉得这是一个互相蒸馏的过程。然后另一方面呢,如果从我们医学这个很specific的方面来说呢,那人的作用永远是非常大的,因为他不仅是解决问题,人还可以定义问题,或者人可以表达一些他想AI解决的问题,比如说有一些新的疾病,或者人想要活到200岁,活到500岁,这些问题都是源源不断的,然后每个人会有自己不同的身体状况,不停地提供给AI新的问题,新的要解决的方向,所以这些都是普通人绝对不会被AI所取代啊,或者去怎么样的一个情况。
1:09:56嗯,说得特别好。从真龙的角度来说,因为我们现在的智力或者说模型的能力还是在非常大的模型可能memorize或者是就死记硬背了很多很多的知识在里面以及一些know-how也是在训练当中基本上硬加进去的比如说你在optimize一些benchmark呀在推进固定的一些落地场景上面你会做很多的overfitting的一个状态在这种情况下其实目前我们overfit的领域可能都还不够有很多的领域值得被overfit其实我们现在都说可能模型已经到了general intelligence的这个级别但是从我们目前在已经overfit的场景上面来说我们可能没有到那么general的状态后面如果我们要真的做到真正非常general的intelligence,那可能我们还要跳出蒸馏每个场景,蒸馏或者说overfit每个场景的这么一个状态,进入到能不能模拟一个人从零开始学习的这么一个状态。从这个角度来说,我们其实需要蒸馏人的能力不在于说我能不能把这件事情做好,而是蒸馏人是怎么学习,从零开始学,怎么比人学得还要快。如果我有一个foundation model,它可能是非常underfit的一个状态,但是我能不能在某一个领域,比如说我这个模型自己想当一个医生,那我能不能在一个月的interaction当中成为了一个人类的基础医生水平,比如是在三个月的interaction过程当中成为了人类的某一个教授水平,完完全全靠模型自己迭代的方式来学习,这个我觉得我们远远没有到这个程度的,我觉得未来可以从人这边得到的intuition其实还是很多的,就是人类还没有到完全被取代的这种状态。嗯,
1:11:45对,我觉得可能很多是一层表层的技能,而不是底层的思维方式。嗯,对。
121:11:51三个人最关心的问题
1:11:51今天很难得啊,就是我们是把三个不同领域的,我觉得做得好的创业者跟学者请来了。大家要不要说一下,现在在你们领域里面,你自己最关心跟关注的一个问题?我们现在最关注的问题,其实就是目前硬件上面,全世界memory很有限,RAM非常贵,VRAM非常贵,很多人又concern说,我是不是把所有的数据都上云了?如果说未来我们认为所有的计算和算力会被铺开,每个人都会有自己的算力,每一家公司也会有自己的算力,算力不再集中于只是在数据中心当中,我们是不是可以想象到所有人都可以有自己的算力,可以运营自己的模型,可是模型不一定说要做到最大最大,那我们能不能通过这些模型来解决生活当中百分之八九十的问题,解决现在AI不能够完全无限量普及的这么一个问题。那我其实还是同意说未来模型还是会需要往大了走,需要往更强了走,但是它可能有个广度跟高度的问题。比如说AI for science上面,我可能需要一个非常高度很高的模型,而在正常的比如说企业工作,个人生活当中,你可能需要一个广度很高的模型,但这个模型大小不需要很大。那这个是一个结合的问题,但是如果做好正确的结合,其实是可以解决目前的硬件需求和电力需求的瓶颈。嗯,
1:13:17从机器人角度,我们最关心的肯定还是零样本的泛化能力吧。之前的机器人其实有两条路,一条是不属,一条是泛化,这两条路其实有一点正交,就不属的话,有点像是AI赋能上一代的机器人,我在工厂里面的机械臂,原来可能是开环拧螺丝,开环是指我不拿反馈对吧,我把这个位置都标定好,然后过去,然后现在我有了AI我可以闭环拧螺丝,或者闭环地去上货。但是这件事情从我的视角来看也还是有点逆时代的,就是你仍然需要五个PhD level的人去到那儿,然后在工厂里面可能睡三个月,然后去把这个机器人的稳定性啊,速度是否要定制末端夹爪,这些事情选择解决。但是今天我们也是聊Astra嘛,我觉得最终我们还是希望是一个通用机器人,它零样本的可以做快速部署,这个部署应该是五个任意的人,然后放在那儿,它其实更多就是说有一些体力劳动,或者是懂一些基本的技能,而不是说需要五个非常强的人,然后去到那儿。那这样的零样本方法肯定是有冗余,那这样的冗余我们是否可接受,我觉得是可接受的。那在这种情况下,能否有一个足够好的快的零样本方法的模型仍然是机器人最主要的追求。
1:14:30你觉得机器人离内部还有多远?我觉得二八年初会是一个通用机器人,比较开始真正实用的时间节点,到现在开始可能十八个月后,大家可以在家里面可以以语言形式去让一个机器人做家里面90%的事情。哦,这个预测还是相当激进的。如果你玩了Astra,如果你下个月也许可以玩我们的模型,应该觉得这个预测还是比较合理的。哦,那机器人进展很快。对,我觉得机器人其实是相对慢的,但是因为二三年的时候机器人和大模型同步出发,大家看到大模型发展得非常快,机器人其实已经慢了一倍的速度了,但是我觉得物理世界的东西总是要慢一点的,就它没有办法像纯软件的东西那样超快速迭代。对,我整体上是觉得今天跟您的聊天,整个气氛它是乐观了很多,因为在我们从20年关注GPT到22年关注ChatGPT,然后再到大模型多模态,我觉得在前几轮中,整个模型层它的发展是远超机器人的,可能就在过去一两年,甚至一年以前,大家觉得机器人的GPT moment还没有到来,那今天其实我们已经在谈应用了,所以我觉得整个它的进展还是非常非常的快的。好,那王教授。
1:15:45就AI for science如果真的有突破,那最重要的就是AI对真实世界的一个理解,一个真实世界资源的运用分配等等。就像我们研究science,它本质就是研究真实世界,对吧?物理学就是研究宇宙,生物就是研究生命,化学研究微观世界。那AI它还需要对真实世界有理解,并且呢能够运用真实世界资源。这个不是说我设计一个机器人去取代人类来自动地做实验,还是说AI知道根据现在我实验室有哪些资源,我应该让这个机器人或者是让这个人去做一些什么事儿。比如说以后我在prompt AI的时候,不是说给我设计一个药物能治疗癌症,而是说给你10万美金,你给我设计一个药物,并且呢我有这些实验可以做。比如说做一个老鼠实验要2000美金,做一个人体实验可能要一个怎么样的周期,AI能够真的这样办真实世界中的超级复杂的任务,这些都是它的语料中很难见到的。呃这可能需要一个新的范式,就像现在我们都是人来用AI,人来研究怎么写好的prompt,可以把AI指挥得好,对吧?AI可以做任务做得更好,怎么写好的prompt,怎么当好的agent。未来可能是AI要写出清晰的可执行的一个指令,是AI来prompt这个真实世界,清晰可执行的指令,非常高效,非常清晰,不ambiguous,然后人或者机器人可以根据这些指令去利用现实世界的资源,高效把这些事情完成。就像以前我们都说看到AI能不能follow人的指令,未来我们可能要的是,比如说instruction generation来生成指令,生成得更好,帮助我们调动现实世界的资源,甚至我们还会对现实世界进行一些改造,未来的一些实验设备仪器,它不是给人看的,不是给人用的,是让AI用的。我们现在比如说拍X光拍CT,我们还要合成一下图片,为了让人类医生能看,未来可能直接就拿出底层那些波形或者信号,直接给AI看就行了,都可以跳过生成图片那一步。所以这是我认为最重要的,就是AI能够更好地走到真实世界中,无论是通过机器人还是一个真实的人类,但他都要知道怎么样去利用真实世界的资源来解决这种超难的问题。
1:17:55哦,好的好的,特别棒。那今天非常精彩,我觉得我学到了很多行业里面非常细分的知识,感谢大家。谢谢,谢谢。那上周我们办硅谷101 Alignment 2026大会的时候,王盛也是我AI for Science那场论坛的嘉宾。当时呢,我在台上问了他一个我自己很好奇的问题啊,我说Claude说自己找到了一个像CRISPR的新的编辑系统。这件事出来以后,AI圈和生物圈的反应有什么不一样?他自己的回答非常有意思,他觉得AI圈是非常兴奋的,因为AI开始做科学发现了,但是呢,生物圈的反应是相对平淡的,大家想在实验室里验证了再说。我后来一直在想,这是为什么会出现这样两个不同的现象啊。因为模型层的进展和一个行业真正的改变,中间隔着的可能不仅仅只是智能,还有验证。那机器人它要在真实的世界里反复地去试,制药呢,要等猴子和老鼠的新陈代谢,而agent它也要去过商家,过用户的那一关。所以AI圈子看到的是能力曲线,那行业里的人看到的就是落地周期。所以接下来呢,我们也会有更多的节目,去关注各个行业它的底层逻辑是什么,AI如何在各个行业里落地。那大家听到我们这一期节目是什么感觉呢?欢迎在评论区给我们写留言写评论。那如果大家还没有关注我们,可以通过小宇宙、Spotify、苹果播客、YouTube,还有bilibili、喜马拉雅、蜻蜓FM、荔枝FM、QQ音乐来关注我们。我是泓君,感谢大家的收听。