一个人，几百美元，
训出登顶 Hugging Face 的模型

今天很开心请到的雨欣啊，因为雨欣之前一段时间最有名的一件事情就是他自己做了一个基于Gemma跟Fable 5微调的一个模型。然后当时是在Hugging Face里面排名开源模型的榜一，然后超过了众多大家耳熟能详的这些模型。

陆雨欣然后，我之前呢是做过一阵dataengineer.然后后来呢因为也对这个AI方向比较感兴趣，读了一个关于AI方向的研，目前呢也是在一家AI Lab做一名AIresearcher.

嗯，对，但我的了解就是说你是做完了你自己的这个模型才加入的AI Lab,对吧？

啊，是的

对，所以我觉得特别有意思的，就是我觉得今天大多数人还是觉得训模型是一件非常难的事情。就大家不知道这里面都有哪些步骤啊，该怎么做这件事情。以及呢大家印象当中的训模型的人，一般都是什么各种PHD啊、research啊之类的。但你你的背景呢听起来不像是一个典型的能训模型的人，对吧？就是你之前也没有在AI Lab做过，你其实没有参与过，实际的这些是模型的事情。然后你至少目前的这个title,你还是一个AI的研究生，对吧？你也不是一个PHD,嗯，是的对，最后我想就有几个简单快速的问题啊，就第一是你为什么能做这件事情？

第一点啊，就是我也是一开始的时候，对AI很感兴趣，就是我是从二零二二年到二三年左右，然后GPT第一次对外开放的时候，然后我使用上了。使用上以后呢，的确我发现了很多很有意思的事情。然后后来呢做dadengineer的时候呢，也遇到了很多我ai行业的一些目前是领军人物。之前的时候也是一个研究员或者是一个研发者。然后跟他们也是聊了很多，对自己也是，包括对这个行业也都更加了解。所以说呢我最后去选择了AI这条路线。然后其实这条路线的话呢，我个人觉得并没有多难，并没有大家想象想象的就是说必须得很厉害。大牛啊，各种名校毕业的PHD什么的。呃，我个人觉得呢，如果说你要是搞学术方面的，因为其实AI方面其实有很多种。一种就是工业级的一种就是学术级的学术的话呢，就是帮助这些工业的人士更拓展一下思路，然后包括一些新的方法呀，那研究领域什么的。但是呢其实真正能使用到让大家就是可以训模型的，其实就是工业界的那工业界的呢其实就是两种方法，就是比较出名的一个就是SFT,一个是RL.所以说呢只要把基础补好，其实每个人慢慢的也都可以做到。尤其现在还有这么多这么强的AI伙伴。

嗯，所以其实就你的这些东西完全是自学的是吧？

可以这么理解吧，最基础的东西是我自学的，后来也是上研究生帮我夯实了一下基础。我觉得研究生更能提供的是一种方向，只要你走对方向呢，自学是完全ok的。

嗯，哎这个模型你能不能快速给大家讲一下，就大概花了多少天花了，多少钱的成本，或者用了多少卡之类做做出来。

我个人的这个项目呢是Gemma 4 12B的一个后训练练，时间，成本就五天左右。第一代，然后第二代可能多一点，第二代可能用了两三周左的时间，金钱上成本其实非常低。我之前的时候整个项目是用了就一张RTX 5090，然后用的QLoRA再加上一个两百到高的这个Claude Max的订阅会员。Cloudmax订阅会员呢用于这个合成一些我想搞的领域的一些靶向数据。然后加上呢我又在网上，尤其是VR的时候，在Hugging Face的这个很关注我这个模型的一些粉丝吧，或者说群众然后给我提供了很多于于五的一些珍贵realtrace的一些非常好的数据，然后帮助我去做成了这个b二。所以说我觉得如果说你只是想单纯的在特定领域上提升的话，只要花费可能很少的钱。因为其实我的RTX 5090，现在目前我看无论是国内啊还是美国呀，租卡都非常便宜，好像一两美金吧，可能就一个小时。然后真实训练的时候呢，其实也就是十几个小时的事情，可能几版迭代，我估计硬件成本的话也绝对不会超过一百刀的。

嗯，所以总的算起来，其实你就画的也就是几百刀。对，嗯，要宣出来这个模型最后的效果大概是怎么样了。

目前呢我这个在agentic领域里面，尤其是对标tau2-bench的这个benchmark上，然后原版是差不多好像是十五分，然后我提升到了五十五分到六十分的这一个水平。但是呢目前呢对很多个人还有应用公司呢，只能说网特定的领域去提升，然后其他benchmark上或多或少都会有一些下降。嗯，哼

就我能不能简单理解，其实你是用作为t恤的这个更高级的模型，然后做了合成数据，然后做SFT蒸馏出了一个特定领域的小模型。然后结果就是这个小模型在某些特定领域的表现是要强于原来的模型的。嗯哼唉，但这件事情就是听你讲起来好像很简单，而且就是我们刚才一直有在讲的，就是你的背景也不完，完全是一个fancy的这种airesearch的背景。嗯，所以这件事情现在为什么不是一个大众化的事情，或者就首先我确认一下，说你觉得你身边做这件事的人多不多？家已经都在做了，还是确实不多。

呃，我觉得你们的预测很对，其实就是大家都是没有做，大家没有做呢。我觉得最主要的原因是在于觉得这个东西非常非常复杂，其实实际上并没有这样。

嗯，哼哎所以你能不能跟我们大概完整的讲一下，说从你想做这个模型开始，到把它做出来，中间大概是分了哪几步。然后你是怎么做，中间可能遇到了哪些问题，怎么解决之类。

首先我觉得你要明确自己要做什么，因为其实对于很多个人开发者来说，上来就想说，哎，我要拿热度，现在什么火做什么？其实现在什么火竞争对手也非常多。所以我觉得先明确目标，比如说我是在应用公司，可能搞这个business的，那么就围绕着business,你去想一下你想要做什么，你对于这一点先有一个明确的想法。然后呢就可以进入到第二步了。找一个底座模型，找底座模型的话呢，这个里面也有很大的这些问题。比如说一些架构啊什么这些东西，我觉得也得需要具体的去看一下哪个方面适合你。比如说Gemma 4 12B我遇到最大问题，包括我现在没有去学的问题，就是它的中文非常差，尤其是在12B模型的情况下，这样无论是哪种量化版本，大部分的时间都在说粤语。所以说如果是你是一个偏中文项的，那么你就要选择一个类似于千问的这样一个模型。然后等你选好底座模型了，我觉得就可以开始专心的去想一下这个数据管线该去怎么做。那么数据管线的话呢，目前呢就是有几种。第一种就是合成数据你可能扮演一下用户，然后AI帮你生成，也可以说你用两个模型。第一个模型呢是比如说GPT-5.6可以当作为用户。然后另一个模型呢可以当做这个真实使用的这个模型去合成数据去然后也可以选择呢去网上。其实现在对开源社区非常友好，它有很多好的数据在Hugging Face上也好，还有我没记错是ModelScope,就是国内的一个非常出名的一个，也是类似于hugkingface一个平台。然后这些好的数据拿到以后，或者是说你自己做好以后，我觉得就可以下一步了，就是考虑一下你想怎么做。现在其实在工业界非常流行的就是两种做法，一个是SFT,简单来说就是蒸馏。把你的老师模型，比如说Fable 5也好，干嘛也好蒸下来，然后把数据据呢喂给你的小模型，这样的话呢就会有一个很明显的提升。但是呢这个具体的是也得看的数据质量是怎么样的。然后还有一种呢就是reinforcementlearning,也就是RL被吹的很神。所以说我最后只选择了SFT.当然这期间呢还有很多别的方法，比如说OPD啊什么这种。我觉得目前来说，对于很多应用公司，对于个人来讲，只有第一种是比较实际的，因为后两个的成本会非常高。然后之后就是一版一版迭代，包括你做完以后这个模型了，你需要看一下效果好不好。比如说你有一些特殊的benchmark,你可以跑一下，看一下这个效果如何。如果说不好的话，那你可以从中看一下这个到底是为什么不好。从错题里面，然后从这些里面你再去迭代，到最后就可以发布了。其实整个流程就非常简单。我觉得如果对于一个比较了解这个流程的，可能也就只需要几天。然后如果不了解流程的，我觉得也很快。我之前学到的很多基础知识，我觉得其实对于大部分人来讲是没有必要的。比如首推MLP开始啊什么其实都没有必要。我觉得真正的难点就是在整个这套流程下来，其实就一个就是数据短。很多人都会觉得这个AI啊可能是有很难。比如说在什么乱八七糟，其实这些问题你自己多看看书，自己多搞搞，其实是很快就解决的。真正的我我卡我的百分之九十五的时间，我都用在了这个做数据上。所以说真实的问题我觉得就是对于数据的一个洞察力，这也是最难的一点，也是目前AI所有领域里面遇到的最大的卡点。

嗯，哼这里面你刚提到那些流程里面，是不是大多数都是有第三方的开源的一些工具啊，架构啊什么的，是可以直接用的

对。其实整套流程全部都有，包括训练的脚本啊，然后包括已经公开的一些好数据啊，benchmark这些全部都是公开开源的。你可以在任何网站上拉下来你想要的代码。然后你可能用agent,然后加上自己去学习一下，很快就可以改成你针对你自己模型的这个东西。

嗯，然后这个过程当中，你所有的都是用的cloud或者Codex这种吗？

呃，对我这个个人项目全部都是用cloud去完成的。然后Codex的话呢，其实我不是很喜欢，因为GPT 现在这个模型啊有点不太适合去做规划，它适合做去执行，去写代码。

嗯嗯，明白，然后大家经常在讲，就这个新模型其实挺重要的，是说你我要有环境啊，要有自己的benchmark啊之类的。但我听起来其实还是你刚才强调的，如果只是一个工业级别的去使用的话，这些可能也不是特别重要是吗？或者就直接用第三方的就OK,对吧？

对对对，很多时候都是有第三方去搞定的。其实大部分人环境啊都是可以在网上很便宜的价格去买。比如说etob之类的。

嗯，然后你刚才也提到说，整个环节里面，你觉得最重要的还是数据这部位是吧？哎，但那我我的理解是你的所有数据是不是都是蒸馏的这都是合成数据吗？还是你也加了一些别的哦，你刚场上提到你有些这个社区贡献的是

对我觉得数据啊，其实我很大的一个经验就是合成数据其实并不是很好，他只能去帮你靶向去处理一些问题。比如说举个例子，我记得比如说Gemma 4 12B它这个小模型它有个什么问题呢？就是过度自信。就简单来说呢，跑这个benchmark的时候，尤其是tau2-bench的时候呢，我发现在很多题里面，它的最容易错的问题就是你没有完成。但是他就宣布了啊，我完成了。那么你怎么去找到这些就是专门去治这个病的数据呢？这就公开数据啊，还有你自己比如真实使用的下来，这样其实是找不到的。所以说这些你可以合成一些靶向数据。但是大部分的数据我觉得最好是一些你自己使用下来。还有现在比如说公开一些，比如说Fable 5正式使用的一些数据。然后这期间呢还分了thinking和non-thinking,就是带不带推理去蒸馏的时候一个问题。的这个对于个人项目特定领域提升的话，我觉得都可以。所以说大家也可以去多关注一下这个公开数据，然后包括自己有一些好的数据啊和AI交流的。也其实可以提供给Hugging Face啊或者ModelScope种平台上，然后帮助更更人人去完成自己的小模型或者大模型一个后续。

嗯，所以你实际过程当中啊，你觉得做数据这块到底具体的一些难点啊，一些复杂的地方在哪？然后你大概是遇到的一些问题怎么解决的

啊。首先我觉得最重要的问题是现在模型还不够。包括其实目前最流行的RSI,也是在说这个自己合成数据什么的，然后去去搞，然后自我提升嘛，自我迭代。但实际上现在这个模型还是无法做到合成数据就是非常好的，经常会有各种问题。比如说我说就是得需要大量人工去复核。然后包括我之前这个个人项目的时候，我也在这个Hugging Face的首页上提到了。为什么我花了很多的时间做这个V2呢？主要原因就是在于审核数据。这个审核数据我基本上比如说我的数据量是五千条，那么我可能自己审就得需要审五百条。因为AI目前合成数据还是非常差的，我觉得很多的病也都在里面。比如说我说让他去帮我做一些治疗过度自信的数据。你如果说只跟AI这么说了，那做的数据其实完全是不对的，你真的需要自己去去，然后包括括以便联合AI来去确定你的目标。比如说你觉得这一版是有什么问题，你就告诉他。然后他再重新去一版一版改，所以说我觉得这个是最耗费时间的一个事情。

嗯，对你看你第一版是花了几天，对吧？第二版是两周，然后这里面大概有多长时间时间是在做数据，这块

第一版三天左右在做数据，然后训练练也就差不多一天。然后第二版的时间呢，我觉得差不多两周的话，我得用十二天再做数据。所以说大部分时间都是在搞数据。其实训练非常快，只要你有好的显卡，尤其像你这种小模型，自己微调一下的话，非常非常快。几个小时一把，几个小时一把这样。

嗯，你测起来对我觉得说到底是多少条的数据是比较合理比较好的吧。以及这里面到底真实数据跟合成数据的比例是怎么样？

真实数据的话，我差不多用了百分之六十到七十左右。然后剩下的是靶向呢去帮助这个模型，去解决一下他自己的一些错题的问题。数量的话呢，我做是能得做出差不多可能小一万条这样的数据，包括那个整合呀，包括一些好的轨迹集什么的。但实际上真实用到的话，还得剔除一大部分。所以我觉得真实使用下来就是几千条的一个这个量级就可以了。

嗯，你刚才其实我听你讲的时候，中间提到过一个点，就是说你得先去真的训练一遍，去测一下结果，然后再去返回头来改吧。我们之前交流的时候，大家也提到过类似问题，就是好像大家很难纯靠看数据本身来知道结果，对吧？因为你训出来之前，大家也不知道怎么样的数据是好的。它最后效果到底会怎么样啊，我不知道这块你的经验是怎么样。

我觉得其实这一块没有什么太大经验啊，就是一版版来测。你只能在做之的时候候，你看到这个数据是有问题的，你就能明白你这一版训练是错误的。但是如果你的数据，包括AI帮你去校对，然后包括自己去亲自采样去看了，你觉得很好，但是你训出来还是可能会有问题。这就涉及到一个非常重点的一个这个知识叫Capacity Gap,就是所谓的老师太强了。学生太弱了。因为你想这个Fable 5，它的真实的这个体量应该是在3T左右以上的一个模型。然后结果呢你要把他的一些真实的一些轨迹啊，什么真实的一些作答。你蒸到一个12B的小模型里面，中间会有一个非常大的一个一个能力，也就学不到。所以真实的情况呢，就得一版一版测试，然后看一下是否真的会有一些明显提升。如果没有的话呢，是否是老师太强了，模型太弱了这一类的。然后其实我觉得整个数据里面最重要的就是在于一版一版迭代，就是不要觉得一版做的没有自己想的好。哎，我就放弃了，我不适合，其实并不是，哎，所以说这方面就是得需要有耐心就可以了。

嗯，然后蒸馏，因为你实际做过嘛，大家过去几年一直有各种讨论，觉得说这个什么软蒸啊、硬蒸啊，聪明的争不聪明的争。你觉得你这种现在算是怎么个蒸法？

蒸馏它有很多种，一种就是属于OPD,然后也就是on-policy,一种是off-policy.其实on-policy的话呢，我可以明确跟大家说，我是用几台H200，这一台就是八卡那。然后其他的话呢，包括OPD也好啊，包括reinforcementlearning都是在锦上添花，而不是说真正解决问题。SFT的话呢，包括靶向数据啊，公开的一些好的数据啊，什么，我觉得算是一个好的蒸馏吧。

这个好坏到底是该怎么定义，是按结果去定义吗？还是什么？因为我觉得还是你，因为我特别同意你强调一个点，就是大家今天在讨论这个问题的时候，其实都是从AI Lab的角度去考虑，对吧？但实际从工业级角度去考虑，其实就是怎么有效，怎么成本低，怎么来嘛，对吧？对，那属实就是最基础简单的所谓的硬蒸，我也不管这些东西就是最好的一个方式

啊。我觉得这个里面我可能明白你想讨论的一个问题，就是我觉得好的蒸馏和不好的蒸馏方法呢，就是你的锚点是什么？我觉得和你的目标不同的话，那就是不好的蒸馏。那比如说我就是锚点benchmark,然后我蒸了很多关于benchmark的一些衍生变体啊，类似于这种东西。然后结果呢实际上你的目标是什么呢？跟边界，那这就是不好蒸馏。我觉得只有是，比如说你想做什么，然后你真往这个模型，它的分布往这面拉了，我觉得才是好的。蒸馏。不管他benchmark是掉分了也好，还是说任何也好，只要跟你的方向是一致的，我觉得都是好蒸馏。然后数据的话呢，这面只要跟你方像一致的数据，它都是好数据。

嗯嗯，对，就除了那个头部的那几家AI Lab.其实因为其他人大家也不承担AGI的责任，也不用想说我怎么训传一个更好的高智商的模型，对吧？其实就是很实打实的，我只要用起来更好用就ok了。

对对对，这也是其实我这个项目能成功的原因。因为其实现在大家更多的是用agentic和coding.然后我的个人项目就锚点，就是在这两个领域里面，所以说自然而然就很多下载量，然后很多人去用。所以说我觉得关注一下大家真实的一些使用是比锚定benchmark是强的。当然了，对于很多ai公司来说，benchmark只是一个考试。所以说他们的目标和大众的还有应用公司的目标其实是完全不同的。

嗯嗯，是，所以我觉得现在大家在讨论应用公司，反正非AI Lab自己去研发的时候，核心的一个点就除了我们刚才讲的一些表现上的东西啊，另外最主要的点就是从成本的角度考虑吧。就你最后测起来，你觉得你自己做的这个成本能降到多少？跟那个其他那些同等级表现的模型去比的话啊，几千到一万人民币以下吧。

我觉得对于一个应用公司来说，应该就能训练出一个自己比较想要的模型了。当然我说的是小模型，如果大模型的话呢，卡量还是需要上去的。所以说可能大模型的话，应用公司可能得花十几万或者二十万以内。

嗯，哎，但这里面就是如果考虑到后续用户真的去调用跟使用token的成本了，这个就很贵了。

那你就是serving 端了，serving端的话呢就有更多的坑了。比如说SGLang 和 vLLM架构啊什么的。这样当然这些的话成本上的话呢，比如说应用公司吧，如果想搞这个的话，你要看一下部署的模型是什么，那也得看你有用户多少，对不对？然后这需要去核算一下。但是我觉得价小模型如果是单纯的几并发，或者是十几并发，这种特别小的一个需求量的话，我觉得一台H200几万块钱就可以搞定。你基本上可能十几个员工的使用。

嗯，明白，那再问一下，在整个这个过程当中，还有什么你觉得有什么坑是大家需要去注意的吗？

嗯，我觉得其实就是别放弃，然后每一个地方都会有很多坑在等着大侠。其实我也是包括我最早时候公开的一个微调模型啊，就是搞小说的。然后我做这个小说模型呢，当时是纯粹的是满足一下自己的想法。比如说举个例子啊，我很喜欢武侠小说。那么武侠小说的话，除了金庸，好像还有几本就是特别好的，剩下的时候就没有了。那么我看完以后呢，其实我再想找一个好的小说，那可能就很难。所以说呢我就开始自己做这个微调，这期间呢也踩过很多坑。但是我想说其实千万的模型平时坑最少吧，包括后来训练啊，包括infer,包括一些脚本啊什么部署什么的。我觉得千问的模型目前来说是小模型里最好的，大家可以重点去搞一下。千问的像Gemma啊，包括前一阵出的，这个好像是叫斯这个模型30B的，其实都是架构非常不主流吧。然后所以导致的训练起来会非常的复杂和非常麻烦。然后具体的每一个训练的时候遇到的这个问题，我觉得目前公开的开源的都有太多的去教你去怎么做了。只要不要太相信AI,及时去查询，然后看一些大家真实的做法成功的案例，我觉得其实都可以的。

嗯，哎你觉得今天啊就是整个市场上面有你这个能力，就一个人能SFT出来一个类似你做那个模型的人，大概会有多少人？

呃，我觉得其实现在还是挺多的，但是呢这个东西我觉得就是很多人把它想的太复杂了，其实我觉得并不难。对，然后我觉得未来可能通过这次的播客，可能会有更多人去搞一下这个东西，我也非常支持。因为只要有更多的人搞社区才能更壮大。然后其实也让大家知道AI这个东西并不难，大家如果感兴趣的话，可以抽出自己的。比如说课后时间啊，或者是业余时间，可以去专门去玩一玩，成本也不贵，然后搞一搞。我觉得如果成了呢，对不对？你可能真的可以按照你的想法去部署去做这件事情。

嗯，所以你觉得未来啊训模型这件事情会变成一个像移动互联网移动互联网时代的一个每个公司的一个标配的那么一个团队跟配置嘛。嗯就是几个人。然后每家公司都能有这么个团队，都会训自己的一个小模型啊，或者说一个继续预训练的模型去做一些事情。

嗯，我觉得可以的，尤其是一些中型的或者大型公司，可以直接整一个三四人的一个小团队就完全可以了。他不需要说有很大的一个开销，然后只需要可能预算就是这几个人的工资，然后加上部署啊，包括加上训练的一些，包括显卡呀一些费用。而且而且我觉得目前来说呢，现在这个显卡还有内存啊，ram在一个特别高的一个点。因为其实很多厂商也都没有预测到AI能火成这样。所以说呢现在是有一个非常明显的一个短缺的一个情况。但之后如果说供应一旦上来了之后，我觉得就会像当初咱们买的这个有些流量一样。最早的时候可能是三十刀，不是三十人民币。现在就是在美国嘛，还有我听很多国内朋友也说现在无限量使用了对不对？其实我觉得未来也是一个这个方向，只要显存价格下来的话，所以说呢我觉得很多中大型公司的成本在未来很有可能是会大幅降低，所以肯定是会有一些自己的部门。然后小公司呢，我觉得如果是没有专门的这个预算的话，也可以去找一些未来还会存在一些AI Lab,然后去做一些商谈。到时候我估计这肯定是价格是比现在是砍了非常多。因为之后的这个AI Lab成本也会大幅降低嘛。

嗯，明白，哎，但是我我在想啊，就像你说的，现在可能每个环节都有些第三方的解决方案和开源的解决方案。我不知道现在有没有啊，或者为什么没有人做一整套的pipeline,把这些结合起来提供一个完整的服务。说让每个人可能不需要自己去做和学每个环节，你就直接跟着我这个走，最后你就自己能训出来一个小模型。

你的这个想法呢是目前也是我觉得除了RSI以外，所有的这个公司都在想搞这个事情。但是实际上呢，比如说举个例子啊，比如说AI Lab提供一个应用，然后你可以直接选择模型，然后选择自己的数据，然后进行微调。目前有一家公司已经做出来了，在海外也就是按在Hugging Face上比较出名啊，但是价格其实也挺贵的。我觉得然后目前呢很多国内的公司也都打算做这个。但是这面呢其实对于infra的话，可能会有一些难，还有包括serving端啊什么的。

但是我觉得未来的确这是将是一个趋势。外部的模型会不会商品化。然后我们聊到现在，我感觉就是未来还训模型这件事都会变成一个商品化的事情了。

对对完全是可以做到的，因为我之前是在Hugging Face上，有一个平台叫Hugging Face,它是专门去做这个事情的。但是目前呢坑比较多，因为现在inference 还是搞的不是很好这面。厂商，还是海外厂商，都在去搞这个东西。就是把这个训练做成一个商品化的一个事情，让大家每个人都可以更简单的方法去做到。

嗯，那你怎么看未来写AI不跟应用公司之间的一些关系跟发展？因为你看最近我们也看了蛮多文章，尤其是海外的，大家开始有些迹象啊，就是有几件事情。第一呢是大家开始强调所谓的主权。Ai这件事情，就是我要用自己的数据训自己的模型。而不是直接用那些AI Lab的模型。然后呢，我们也看到说美国那边包括做数据标注的，也在自己选模型，对吧？像Scale这种公司，然后像Harvey这种自己做应用的，也在训自己的模型。然后像Fireworks啊等等这些做 infra 的也在训自己的模型了。大家其实都是模型公司，或者就没有这个概念了，就大家每个人都是模型公司也都无所谓，是不是模型公司呃，我觉得AI Lab的确会减少。哎，我我确认一下你说的AI Lab会减少是说它的价值是吧？

价值可能还是有一些AI Lab是会很高的。为什么呢？其实我觉得还有一些就像我所说的这个小型的一些应用公司，比如说才发布了自己的第一个产品。比如做了一个简单的APP,然后研究一下健身打卡呀什么这一类的。那么如果说呢这时候他们直接拉一个AI团队的话，这个公司的话成本包括这效益，我觉得是并不是很高的。因为完成自己的主业才是重点，对不对？然后你像这种的话，我觉得很多AI Lab就可以在前期的时候去承接。然后等这个应用呢彻底的起来了，可能变人已经变成了几百万几千万用户了。然后这时候再发展自己的这个AI的团队。所以我觉得未来的确会留下一些真正强的一些公司，然后做一些这类的一些这个service.对

我感觉你这个还是按照今天这个状态来讲的。如果按我们刚才逻辑推理的，就是后面会有一个非常成熟的平台化的。不管是一个第三方公司还是个开源的解决方案，那似乎就是应用公司。就像他今天要做一家应用，他就要有个后端，要有前端，或者当然AI时代代也是不知道啊会怎么变化。但我就说这个门槛可能会降的，比你刚才讲的还要低，对吧？然后我的感觉是ailab现在很明确的方向，就是在追求更高level的一些事情，对吧？一些科学的问题啊，诺贝尔的问题啊，efsize的问题啊，或者具身的问题啊，然后基础的那些模型能力。其实在当下的batmark上上已经都讲完了。所以开源模型可能就已经完全足够解决日常大家的很多问题了。所以那些AI我我觉得在我们还是说回到像他去探索更高的智能和解决AGI这块是有很高的价值的。然后或者说他做的模型更好，他还能解锁一些我们现在没想到的场景。但是很多日常的场景和这些应用公司今天在做的事情，也许未来真的就是他自己基于开源去做一个内部的模型，就把这事干干掉。

对，其实是的，因为现在的确是包括很多，就像你说中大型企业就已经开始搞这个东西了。的确是未来很有可能这个AI Lab,他们主要是搞的是研究。我觉得还可能还会做一些serving这个服务，提供给一些小型的公司，做一些比如说就像提供一个平台，然后你们把这个训练啊，这个脚本啊，这个数据啊，我自己上传，然后自己去搞。或者是说呢直接有一个开源的一个项目，然后直接是把所有的pipeline全整合在一起了。关于一个模型的。未来可能对小型的公司直接去搞这个ai还是有点不友好。因为其实现在训练啊，我自己观察来看，就是还是数据是最重要的一环。这个东西可能得需要AI Lab去搞一下。然后对于中大型这面都有自己的团队呢，自然而然是没有问题的。

嗯嗯，对我最近看应该是美国红杉他们发了一篇文章，说最新的ai应用公司，其实未来反而会变成Neo Lab。

有可能比如说行业一些比较领先的，比如说business吧，比如说大模型那，可能很多公司就会继承大模型的这些模型，然后反而去成为一个新的Neo Lab。

嗯，就像我们当年看推荐算法时代，一啊就最终其实是自己先有的应用。有了场景，有了商业化的闭环，有了用户数据才有了呃更好的推荐算法。其实你去看，没有一家所谓的第三方中立的公司，说我就是做个推荐算法。

对我觉得的确是之后的lab就会偏向于这些应用公司更多一些。然后很多新兴的一些小型公司，可以直接拿他们的模型去做一些自己的事情，而不是说AI Lab去包揽了所有的领域。

对，因为像我们包括刚才跟你聊，然后跟一些researcher聊。只是说数据还是最重要的对吧？数据是决定模型表现的，而最终还是真的跟客户接触的，跟用户接触的公司有第一手的最真实的最好的数据。

对这些数据的确是最宝贵的资源。

嗯，是我的体感，就是你看像最近你可能也知道，就是至少国内大家比较流行的论调是模型吃掉一切。然后应用公司呢现在是非常非常的冷的一个时候，然后我们前几时候还做了一期播客讲这件事情。那当时呢我其实也是整体有点偏悲观的。但这几周聊起来，我反而觉得就是我们刚才说那句话，就应用公司其实才是下一个Neo Lab.现在的这些AI Lab和Neo Lab肯定仍然是上升的啊，在未来一段时间也仍然是上升的。但是应用公司的价值也是在上升的。就是这两个其实是在同步上升。然后在未来的某个时间点呢，也许会发生一个转变，就是模型的价值慢慢的往应用公司去转移吧。

对我觉得在未来真正能存活下来的AI Lab,其实是往就像你说的这个research,然后往更更高，层层上上发展展了，包括一些些沿沿开开呀，然后包括整体的一些模型的这个预训练什么的，可能后续呢就会发放到很多的应用公司里来了。因为应用公司他们并不想把自己的一些数据分享给别人嘛，然后可能更能想帮助自己在这个行业里面占住地位。所以我觉得的确会发生一次反转。但是这个反转呢，我觉得是AI Lab往上走了，就是完全是不去碰后续这一块的这个东西了。然后应用公司反而去接管，然后用着自己的这个模型，然后包括可能很多小型公司会跟这些中大型应用公司去调用啊，然后包括买一些API啊，就可能中型应用公司有一些to跟plan了，对不对？

嗯嗯，是，所以我我其实反过来也有点理解，为什么大家所谓的AI Lab愿意花这么多钱去买数据。可能很多人还没有意识到数据的价值啊，它有点像移动互联网早期。像自己的那个时候，就大家都觉得为什么要花那么多钱去买用户？嗯，那个用户获取成本其实挺高的。然后后来大家发现说一开始时候候反反，而是最低的时候后面会越来越高。我觉得数据可能也是一样的啊，就是现在af就是要花更多的钱，把能买的数据先都买回来。

因为其实包括你可能平时的时候让AI去。比如举个例子，你用GPT-5.6，你可能说帮我去写下一个播客的稿子，或者是去调整一下这个东西。那么这期间呢，其实你的数据就是非常宝贵的。你和他聊天的时候，这就是你真实使用体验下来，然后AI帮助祝你真正解决问题了。所以整个这一条数据其实就已经值钱了。那么你看可能说这个现在AI Lab,现在一在搞数据嘛，在买数据也好啊。其实就是因为想看ai真正帮助你解决的问题他是怎么完成的，包括你的真实问题会是什么？这些都是对于这个AI提升非常有用处的一个东西。就包括其实嘛我记得每次发模型的时候，可能会有一些公司说，哎，我们现在免费使用这个模型，那么你免费使用下来呢，那AI公司人家这个成本多高？他们serving的话可能加起来很多B300，那B300一台对于他们来说，无论是租还是买，都是一个非常大的数目，可能几十万、几百万这样一个级别。那么他们为什么做？不仅是在宣传自己的模型，让你真实体验一下。也其实在从中在收集好的数据来去帮助自己去迭代下一代模型。

嗯嗯，哎但我就是我们聊到这，我有个很好奇的问题啊，就是你最终为什么你还会选择去的一家也来？

因为其实就像我说的，我觉得肯定还是会有 AI Lab 是赢家的。那么真正你去选一家还是有很大希望，可能往researchRSI这方面搞的做到。像我之后说的，可能就是职业高research级别了，然后做一些预训练啊什么这一类的。包括其实我觉得目前kimi啊智谱啊，这些公司啊，其实最大的价值就是预训练。也好，什么也好，你真的无法去做到预训练。如果你想预训练一个模型的话，我可以给大家估计一下这个价格，那就加一个B300。不者这不是加一台，可能加一百二十八卡加上更高二百六十四卡，然后去做这个预训练，还得做好几个月。所以说这块肯定还是AI Lab占主导。但是其实还有一点，我我觉得是未来的一个非常大的问题。就是如果AI Lab没有人开源了，那可能对应用公司来说，其实也是一个比较毁灭性的打击。那么这期间呢就需要从很多之前开源的模型里面去拿出真实好的，然后自己去做后续，然后自己去迭代。所以说其实我觉得现在很多中大型应用公司如果有足够预算，其实想要搞下去，就得从现在就开始自己的去迭代模型嘛。对，后续

嗯，我但我觉得至少从今天看，未来相当长一段时间，应该就只要有竞争，应该就是会有开源。

对对对，嗯明白。

哎，最最后我想问一下，就是你觉得未来对，因为之前大家有过一个类比跟讨论啊，就是在计算机刚出现的时候是那种超大的对吧？一间房子都放不下的一个大的机器。那大家会觉得说哎，是不是全球只有那么几台机器，就有点像今天的全球就那么几家AI的lab.然后最后呢他慢慢的演变成了每个人一台PC的这个时代。那那这里面就是从IBM变成了微软和苹果这样公司的机会。那嗯AI会不会未来也是会往这个方向走从几家大的模型变成说未来人手一个模型。我就是跑在自己的电脑上，自己的手机上自己的一些端测产品上

一定的现在已经有这个方向发展了。因为简单来说，你调用api的时候，你的数据就是可以被你的上游看见。很多人用这个中转站，很多人说哎呀很便宜啊什么的，就是可能几十块钱包月。为什么我不支持中转站呢？因为很多中转站啊不仅是比较灰色的地带，其次呢他们会卖你的数据。目前呢已经看到过太多太多的案例。我包括我身边朋友，包括有一些其他的AI Lab都遇见过一个问题，被黑客威胁。为什么你的数据泄露了？所以未来呢大家为了保护自己的数据，一定会往这个Local AI上靠。而且呢随着这个英伟达呀，包括还有国产的比较出名的芯片，那么他们几个都会做大做强做更好。然后基本上我觉得每个人手都会配有自己的这个localAI.然后这个Local AI的话呢，数据就是永远保存在自己的电脑上，不流行任何地方。所以我觉得这绝对是一个非常大趋势，也是为什么千问他一直在发小模型的原因。然后之后呢，随着电脑的升级，可能就像我之前看到的。报道说，马上二零二七年、二零二八年，苹果也要出2TB了，统一内存的电脑了。那 2TB 的话呢，相当于可以跑到基本上现在的GRN五点二十都没问题了。就相当于自己有一个非常强大local模型型，再再也不需要去调用上游的api了。所以这绝对是一个非常好的趋势，这也是未来每一个人都希望盼有的一天。

嗯好呀最后嗯还有什么想要补充的或者跟大家分享的吗？

我觉得最重要就是如果现在大家包括应用公司想去搞AI,那就不如从现在就开始。因为其实之后呢开源可能会受到一些重创。比如说你看这回千问3.7模型的时候，就并没有发任何的小模型，如果他没有发的话，那大家怎么办呢？大家可能说哎，那我们只能自己去搞自己的后训练了，就已经直接把路堵死了。而且很多人呢完全不会只会说我我就部署在我的电脑上，我用我的显卡去部署个小龙虾什么的。这样。那么这种情况下的话呢，我觉得就是一个非常大的一个阻塞。然后可能未来也会遇到这个问题。所以我觉得不如说很多应用公司现在就可以开始专门去搞这个事情。然后很多可能学cs的就主动去往ai方向，靠一靠。这样的话呢，他们可以在未来，尤其是在闭园的情况下，可能会有一些更好的发展。

嗯，明白好呀行，那谢谢。

今天就不好意思，我想再补一个问题啊，你说呃hellohello我是陈皮，在42章经做内容。嗯，我的这个问题就是现在有一部分人，他们的说法是用户最终对智能的需求可能还是要到达SOTA level.那假设比如说像OpenAI、Anthropic这样的公司，就一直在发最最最前沿的模型。那用户就真的会愿意用自己的本地模型吗？因为本地模型可能离SOTA 还是有一些距离，就哪怕这个差异可能对大家日常生活啊工作来说已经没有那么重要了。

呃，我觉得这个问题非常非常好，也是我觉得很多人都会面临的这一个问题。就是localAI的话呢，我自己的使用率其实目前来说并不高。因为localAI还是会有一些错误，可能没有这些SOTA 这些模型啊，包括最前沿的这些模型。好，但是呢我觉得就像我说的很多人做的的事情，他可能对数据非常敏感。其实我这回发这个huggingface上很多人都反馈，其实很多人还是愿意用这个localAI的。他们就是很多人对数据非常的敏感，尤其像我收到最多反馈的是security.这一方面的话呢，你包括还有生物领域，这个Fable全是拒答那。如果碰到这种拒答的情况下，你只能去考虑localAI这种模型。然后还有一点，可能日常聊天大家更愿意用这些大模型。可能因为在手机上目前阶段还是无法部署一个非常满意的模型的。但是未来很有可能会发展到部署一个自己比较满意。比如说27B模型可能会放在手机上了。如果是达到这种程度的话，我觉得很多人可能问一些简单问题，就靠自己的熟悉。因为其实这个对于大家来讲，你这就是沉没成本嘛，对不对？我手机已经买了，我去搞这个东西，我天天问这个ai,那我相当于什么我是免费的。但如果调api,我就每个月可能得花二十刀三十刀去买这些公司的这个api的这个服务。那么对于我来讲也是一个额外的开销。然后第二点呢，就是所谓的这个安全性问题，大家可能会更关注一点。包括很多人写小说小说，这一点是因为我是以前专门做这个模型的，所以我非常了解写小说的这个情况。那么这一块这个token的消耗量是非常恐怖的。做完这一版小说的话，可能我得需要花几千甚至几万人民币的一个价格。但是如如果localAI去帮我做，然后我自己可能再做一些调整这样一个情况。所以说我觉得未来还是更偏向于Local AI.因为大家更想保护自己的隐私省钱，然后加上呢很多领域大模型，拒答的情况下，我觉得可能会更好一些。

好的，我也想再追问两个小问题啊，就是Local AI它的成本更低和速度更快，这块我觉得是比较好理解的。但是关于隐私这部分，我不确定它是不是一个真需求，或者说就我们当然都希望保护自己的隐私。但实际上就比如我们现在用的很多app对吧？他们可能都在想办法的去获取我们的数据，但我们可能用着用着也就无所谓了，这是第一个问题。然后第二个小问题就是刚刚你也有提到security.然后我们最近也有看到一些公司在做这方面的事情。那比如这种公司，它加上SOTA 模型，是不是就能够一定程度上解决大家在隐私方面的顾虑，而不是人人可能到最后都要选择一个Local AI的解决方案。

这个就是有一个非常好的一个案例出现了，就是Hugging Face啊，被这个嗯open对，被这个攻击了。然后最后呢他解决问题是使用了咱们中国的国产模型，然后本地部署。因为呢无论是Anthropic、Claude还是GPT都在拒答。所以未来我觉得很多公司可能真的会偏向于自己的这个模型。其次呢，这个隐私问题呢的确是可能很多人不在意，但是其实还有很多人也是在乎的那关于这个security的的时候，就就算目前前多SOTA 这些模型场合说算们这个security有问题问题可能融合了一下，就是说解决这个问题不拒答了或者任何情况，但是还会有很多其他的领域出现问题。还有一种就是生物领域，很多人在做research阶段的时候，vivo一直在拒答。那么这时候呢，你就无法拿到这个SOTA 模型，那已经拒答了，然后可能还有几个其他选择，反正都不是最SOTA的那我就选个中等的自己部署，然后自己把这些数据都保留下来，是不是更好呢？

嗯，另外补充一下，我觉得一个是说所谓的SOTA到底多SOTA才算SOTA，还是说后面慢慢的大家会觉得说今天用的已经够了，你用更好的就是它从性价比角度来讲，可能总归有个点就不太makesense了。就像是有很多人觉得可能四g就够用了，我没必要用五g或者五g肯定就够用了。我没必要再用六g的实是类似的。

呃，但是我觉得刚才陈皮啊，他刚才说的这个点是很对的，就是大家一直在追求着最先进的。其实不管他有没有用，对不对，就很多人都是在搞这个心态。所以说就是大家不管自己的需求，简单来说是盲目追求最强的。

嗯，没没有我，我是觉得嗯怎么讲，就是最后肯定还是豆包的用户是更多的啊。就是你们现在讲的呢其实还是小众的一个人群，只是这个小众人群在今天AI里面相对话语权比较强而已啊。嗯，大多数人其实是不care或者不会这么选择的啊，大家还是最终是看性价比的，以及就是最终你说隐私内问题，我觉得不是用户个人去care和选择，是从应用公司的角度来说，会自然的推动这件事情。因为应用公司和模型公司天然是一个有点竞对的一个状态的。就最终你如果用的个人模型，可能是因为苹果在推这件事情，而不是个人的选择。

是的是的，我觉得未来以后也是差不多是这样的的一个情况。就像你说的，豆包用户其实是最多的，因为它是最方便的。然后他也不用去多 SOTA，他只要能解决掉大家的问题就可以了。嗯，

好呀今天聊的很开心，然后我觉得提供了蛮多非共识吧。但和我们最近看到的一些趋势是蛮吻合的啊，然后非常感谢雨欣的时间。