[00:06]泓君 欢迎收听硅谷101，我是泓君。今天跟我在一起的是azookie的内容负责人二月茶。Hello,哎，红军你好，二月你好，我其实叫这个名字还挺不习惯的啊，可以理解。对对对，对对跟听众简单解释一下，天宇的动漫的应该是在网上通用的，笔名是二月茶啊。
[00:25]天宇 对，是的是的，一般叫azo.Okie.你做内容的时候就用这个名字，主要是我们在生产的时候，英文、中文和日语都会有使用，所以就挑了一个相对来说三个语言都相对比较好发音的名字。
[00:36]泓君 嗯，然后天宇在去azooki之前，也是googlebrain的工程师。因为其实我们很早就一直想聊一聊视频模型生成的这个话。提了之前我们有一次在聊天的时候，你说因为每天都在使用这些模型去生成嘛，然后你观察到其实这些模型可以说是七个视频模型，他们每周都有新的变化。这个话题也拖了很久，是因为正好在今年的五月份，你去了日本一趟，考察了一下日本整个动漫产业。所以我觉得今天嗯我们大概可以先聊一下你自己的日本之行。然后之后我们来聊一下，通过文字生成视频，来看一下整个视频大模型的进展。那我觉得在此之前啊，就可能很多听众他还不太知道啊租key是做什么的。你要不要简单跟大家介绍一下阿租key是什么后，为什么你的每天的工作会跟大模型生成？还有日本的动漫产业会结合在一起？
[01:29]天宇 好呀没问题。Azookie实际上是我们在二二年和二三年web三这一波叙事特别火的时候，创业的一个NFT和动漫相结合的一个品牌。整体的美术风格都是走一个二次元的动漫的一个风格。所以azookie从那个时候开始就跟动漫结下了不解之缘吧。一直以来，我自己对动漫就有很强的兴趣，当时也是通过各种机缘巧合参与与到azookie当中。一直到现在，我在azookie负责整个内容上的开发，尤其是动漫方向的这些制作。
[02:01]泓君 所以你们到底是要做成一个类似于动漫连续剧一样的，还是一个动漫电影。我理解这两种叙事逻辑还是挺不一样的，挺不一样的。
[02:10]天宇 我们目前认为最好的方法还是从动漫的剧集出发。作为一个动漫迷漫画和动漫剧集，还是任何一个动漫迷接触新IP最直接的方式。动漫电影对我们来说为什么感兴趣的原因也是因为它的生产周期相对短一些。动漫剧集现在基本上处于一个全球大火的状态啊，尤其是日本啊、美国啊，甚至包括中国的产能吧，都处于一个严重供不应求的状态。所以现在制作动漫剧集仅仅是等到一个好的工作室的排期，可能就到两到三年。在此基础上，它的制作本身又是一个相当手工的过程。所以如果真的要去从零开始做一个动漫剧集，很容易就是四五年的时间线。那另外一方面，如果从动漫的短片和电影来看的话，它的制作的周期相对来说就会短很，所以电影比比剧集还要稍微简单一些。
#02:22动漫番剧的制作周期困局：排期等三年，顶级工作室档期爆满
[03:04]泓君 其实在动漫漫当中反而是这样，是不是动漫剧集它是一个比较长的有连续故事线的一个片子。它有好几季，假设啊做一季，它大概是多长的时间？
[03:15]天宇 一个十二到二十四集的一季吧，目前来看纯制作大概要三年左右。但是问题在于，现在特别好的工作室都没有空闲时间来接单。所以特别好的全球方面的生产线吧，基本上都要排队到两年之后，这样就造成了一个新的动漫项目的投资，很可能会到五年之后才会见成果的状态。
#03:38动漫市场年增长率基本保持 10% 以上
[03:38]泓君 Ok哦，这个还蛮有意思的。我能问一下为什么全球排期吗？是因为动漫又火起来了，年轻人喜欢动漫。
[03:47]天宇 嗯，这个问题特别好。我觉得一方面是供一方面是需需求方面其实很简单嘛，因为动漫其实是一个相对来说比较年轻的媒介。而九几年、八几年，这一代人就是看着动漫长大的，这些人已经适时的成为了消费的主流。与此同时，新一代的消费者，比如jen、zy,对吧？我们说janealpha他们成长起来，也都是看动漫长大的。所以动漫一直以来可能在内容啊，娱乐界相对来说一开始处于一个相对边缘化的地位。但是因为他有一种独特的审美体系在里面，跟着他一起长大的这些人，很多还会一直看动漫下去。美国、中国、日本都有这个现象，全球的动漫市场周边也好啦，播放也好了。流媒体也好了，所有的这些加起来，动漫的市场也基本上保持每年百分之十以上的增长率。所以这个增长很快的这无论从什么角度上来看，都属于一种相当快速的增长了。尤其是一些手游啊，或者是一些这种潮玩游戏。对啊，潮玩潮玩啊这些在全部加进来之后，可能这个市场成长的速度比我们想象的还要大。动机这方面实际上也是一个大难题。因为动漫实际上是一个特别手动的过程，所以它比我们很多人想象的要更劳动密集的多。下次大家去看动漫的时候，可以注意一下动漫后期的职员表，每一集的职员表都蛮长的，而且里面还有很多是专门负责某一个具体环节的外包公司。而这些外包公司下面真的把它展开之后，每一个公司又是一个几百人的规模，也是很常见的事情。即使在这种情况下，可能现在有百分之三十到四十的动漫制作，甚至还是在纸张上进行百分之三十到四十。
#04:55低数字化与匠人精神：动漫制作 30%-40% 仍为纸上手绘
[05:33]泓君 所以手绘它不是全部是这样的，可能电脑绘也占了百分之六七十啊。
[05:39]天宇 不不，手绘指的是人用手在画这当中的百分之三十四是可能还是在纸张上。
[05:45]泓君 哦，我了解了，电脑上画的也电脑上也画也属于手绘，也属于手绘。
[05:49]天宇 但是动漫这个行业工业化程度、集约化程度和数字化程度比我们想象的要低很多很多。他更像小作坊，他更像是日本的一种非常具有匠人精神职人精神的几个人在一起。我们做一个好的拉面店。因为这个原因，所以日本的很多动画公司自己的营收也好啊，团队大小也好啊，也都有这样那样的问题。所以在动漫行业的绝对供给上，实际上是被人才和被管理体制，甚至从一定程度上来说，被技术被约束住了。就因为存在这样供需方面的一个很大的错位，所以导致了现在很多资本方，包括我们也是啊我们更多像是一个ip方吧。我们会看到全球动漫兴起的趋势。但问题是，它的产能又集中在少数几个国家，而且它扩张的速度并不快。所以这就导致了很强的一个排期现象。
#06:46成本差异：日本单集 40 万美元 vs 好莱坞千万级
[06:46]泓君 一般做一集动漫或者一期动漫电影大概多少钱？
[06:51]天宇 动漫的经费实际上比很多人想象的要稳定很多。嗯，我们现在看一集电视剧的话，大概每一集在四十万左右，美元四十万美元。如果是纯日本生产的IP和已经有有的漫画改编，制作方面再稍微精简一下的话，也还可以更低。即使我们最贵的动漫吧，一集一百多万的情况也会出现。但是一集比方说一千万美元，比如说欧洲我们拍的双城之战，双城之战属于预算非常非常高高到这种级别的预算，在日本动漫当中其实是相当罕见的。好莱坞也好啊，欧洲也好啊，在生产内容的预算上，比日本生产动漫要高了不止一个数量级。
[07:33]泓君 往往你说好莱坞更贵更贵，因为他们其实是缺人才或者劳动力成本高。
[07:39]天宇 因为它是劳动密集型嘛，就是好莱坞其实现在甚至没有好的动漫产能。三d的动画片嘛，比如比皮克斯啊或者梦工厂啊，他们的单集或者单作品的成本真的是比动漫要高非常多。实际上，动漫的生产纯从金钱的角度来考虑，还是比较便宜的。所以这又反方向导致了好莱坞对于动漫的投资现在有很大的兴趣。
#08:02国漫正以前所未有的速度发展，但人才密度和优质运营管理模式不足
[08:02]泓君 投日本动漫产业，中国动漫好吗？
[08:05]天宇 中国动漫其实现在以非常快的速度在发展，b站和腾讯应该是两个最大的投资。其实我们目前看到有很多中国特别特别好的动画工作室，基本处于一个遍地开花的状态。当然中国动画有它的难处，它存在一定的人才密度的问题。呃，为什么日本现在还是动漫首屈一指的国家？不仅仅是因为日本动漫，它的生产或者做的人多啊，那另外一方面也是日本政府长期扶持，包括这一整个动漫工业长期以来互相影响，互相作用，而导致它产生了一堆非常非常有才华的人，而做成了一种产业性的一个现象。中国愿意做动漫，愿意投资动漫的人可多了。但是从一个产业的成熟程度跟日本相比来说，还是差一些话。虽然这么说，中国尤其是在今年非常多的非常非常好的国漫，可能今年之后要出的记忆管理局，现在已经在播的的突变英雄，还有超能立方，包括今年年初的哪吒二。啊，我觉得对于中国来说很可能是一个破圈的时刻，我认为是有很大的可能性。能在制作的质量啊效率方面可以开始向日本追赶。
[09:19]泓君 嗯，对我觉得你们如果做动漫的话，其实可能也是奔着比较顶级的制作去的。放眼全世界啊，像你提到的这一类非常好的动漫制作供应商。比如说像飞碟社这种，你觉得有多少家可以潜在的合作方？
[09:35]天宇 如果真白白手指数过来的话，可能不过十家为什么还是刚才讲的问题，确实存在一个根本性的人才上的高度的需求和现现在生产模式上之间的一个差异。市场兴趣在这儿，但我们需要很多的人才，我们在人才之上还需要很多很好的运营管理模式。全球的行业分布大概是日本最大，中国、韩国甚至包括东南亚。其实有很多国家做的都不差，欧洲很好，但是很独特。欧洲可能他们做出来的动画的风格，跟我们所理解的二次元中国和日本观众都喜欢动画不太一样，更偏偏艺术一些。
#09:55动漫差异：审美是关键
[10:13]泓君 对对。其实你刚刚在提到像中国的这些动漫电影，包括哪吒的时候，我就在想可能风格上还是不太一样。除了说制作水平之外，它还有一个调性，跟风格的问题，尤其是文化创意产品。其实比如说你在找合作方的时候，你可能看一眼他们的插画，你大概就能感觉到，哎，是不是你们要的是不是内容调性是一致的，完全是这样的，完全是这样。
[10:37]天宇 尤其是在内容深产产行业，我们说可能得有百分之五十以上都是关于团队对于一个作品的品味。所以国家跟国家之间确实存在一种客观品味上的区别，并没有好坏之分。而是说美国之前以漫威DC皮克斯啊也好啊，迪士尼也好啊，以这些审美价值观为核心，您所诞生出来的这种美漫风格，或者是迪士尼的橡皮馆的风格。皮克斯的三d风格，他们实际上跟观众之间视觉语言形成的共鸣，跟日本和中国的这种偏二次元的风格，其实还是有比较根本性的差距的这实际上也客观导致了。因为我们作为一个虽然是美国诞生的IP,但是因为我们视觉语言的DNA,实际上还是日本动漫DNA嗯啊zookie最早是谁画的azo?Okie的画家非常非常有来头。嗯，我们的艺术总监叫steamboy,是之前暴雪的角色设计总监艺手设计了之前很火的守望先锋。所有的这些第一批的角色确实是一个业内的大脑，他自己也是在美国生活嘛。对美国的这套工业也很理解，但反而因为他自己实际上是个动漫迷。所以在一开始制作zookie的时候，反而向日本和中国的这个二次元的方向靠的更多一点。这实际上对我们来说造成了一个很奇特的一种现象吧。因为我们作为一个美国的公司，反而在美国国内很难找到产能。因为美国国内的这种审美的偏好，跟我们所主打的这个偏好还是有相当大的区别。
#11:21AZUKI 设计：前《守望先锋》爆款总监操刀，但美国产能容不下东亚二次元？
[12:07]泓君 是的，是的那好莱坞的排片一般是怎么样的？
[12:11]天宇 像皮克斯或者是美国这边的梦工厂illumination,或者甚至marvel这种偏CG动画的制作模式其实比较相近。他跟真人电影最不一样的地方就是他不是通过摄像机拍出来的，而是通过人一张一张画出来的。比如说我们动漫在几秒当中的一个动作吧，我们给他画十五张到三十张左右的这样那很容易光一整集，他就会有上千张手工画出来的关键帧。他的这个制作成本和制作时间实际上是很难以瞬间工业化的一件事情。现在国内也好，美国也好，大家都很喜欢看短剧。其实短剧动漫能不能做？其实有很多人在考虑，我们也之前尝试过，最终发现一个很有意思的现象，就是动漫短剧的单秒成本可能会高于真人相机。只要在这拍，它，其实可以在很短的单位时间之内产生出非常多时长的一个成果。那动漫不一样，即使把它压缩到三十秒，那这三十秒当中的每一帧也都需要有人来画。
[13:14]泓君 三十秒大概要画多少张图？我们就按照每秒大概十张左右来计算的话，三十秒的话就有三百张三百张图需要一个成熟的熟练的动画师画多久。
[13:26]天宇 这个问题非常非常的好。这个问题其实实际也是动漫跟真人相比有更大复杂度的一个地方。因为动漫每一张画的难度不一样，电影当中有的时候会出现特效，有的时候会会出现演员的一些表演。我们当需要捕捉这些细节的时候，那他摄影的难度就会增加。那动漫也是动漫，实际上我现在画一张静态的场景，跟我去画两个人在打斗的场作，这个就会产生非常大的难度上的区别。我们现在就画一个人，他坐在一个公园里面喝咖啡，他应大概率不会需要三百张，他可能会需要十张二十张左右，他就可以延伸到一分钟左右。
[14:07]泓君 嗯，因为他比较静态，他他比较静态。
[14:10]天宇 嗯嗯，如果说这个人他并不是在喝咖啡，他是在公园里面跑步或者遛狗，或者说他有很多的动作，他在公园里面跳舞啊，那这个就难多了。舞蹈的制作也好，表现也好了，每一帧和每一章的难度都会大幅提升。嗯，
[14:26]泓君 我想听到这里做AI的人就会跳出来说了，哎，三百张相似的图片可不可以AI生成？这次也是你去日本考察，应该也是你考察的一个方向之一，对不对？是是是是是结论是什么？
#14:41类别一 · 传统派：借力 AI 补全中间帧，却困于细节差错
[14:41]天宇 不好说，嗯，总总体来说是难的。其实我们希望达到的一种理想状态，现在技术上能够做到的状态中间还是有着相当大的差距。但是这个技术确实发展的速度相当的快。比方说我们一开始可能有七个公司，包括像google的vio、oopeni的sora硅谷的，pickarunway.再包括中国的，比如混元啊，还有可灵啊，这些所有的加起来可能现在已经不止七个了。像b站，我记得前几天好像也发布了一些自己他们做的研究。总之视频生成的这个领域确实是相当的热，我们反而并不是一个技术方，反而是一个内容，制作方也是很希望更快的，有可以落地的场景出现。这次日本之行当中，我们也是跟现在日本已有的动画公司也好了，或者是更AI驱动的一些创业公司也好了，有了非常多的交谈。
[15:36]泓君 你们是考察了两两类公司，一类就是你说的排期要到两三年以后的专业的，还在用手去绘制动画的这样的一些工作室。我想这个应该是在整个日本动漫产业中占主流的这样的一批公司，或者说最顶尖的工作室应该都是这样的一批。然后还有一批应该你也是跟一些做AI加动漫相关的公司，也聊了一聊。能不能简单介绍一下你聊的几类AI加动漫的公司，然后再从你制片人的角度来去看一下他行不行？
[16:07]天宇 我们这次聊的公司大概有三种不同的类型吧。第一种就是红军。刚才你说的首先先做动漫，然后再考虑怎么把AI加进来的公司。这些就是我们所知道的动漫的工作室，像飞碟社啊、maa、pa啊、marthouse.他们们在最希望的就是通过使用AI给自自己的产线，提提高效率动的工作作生产资源，现基本上处于一个全球排排的状态。这个就导致了做动漫的工作是心有余力不足。其实我们这一圈聊了下来之后，基本上所有的动漫工作室都在看AI.
[16:45]泓君 当然大家不一定会说说主流的就是顶级的对，我们能叫上名字的动画工作室。
[16:51]天宇 当然，AI对于艺术家来说是一个特别敏感的话题。所以对于这些工作室来说，往往他们在外面宣发的很少。但是技术大家都看得到，他们能看到这些可能的应用场景也是很激动的。
[17:06]泓君 他们真的有行动吗？
[17:07]天宇 有的有的嗯，比如说像动漫，其实动漫的生产环节相对来说是比较流程化。比如说先从故事的脚本角色设计开始入手，然后把它做成故事版，再做到原画里面还有一元二元，然后再做中间帧的动画背景同时做，然后再加上音乐，最后把这些东西全部合起来，最后加上配音，然后再有后期调整。他们最希望能看的事情就是这些流程当当中有没有这样那样的环节，可以用AI去提升效率的。
[17:38]泓君 他们找到了吗？
[17:39]天宇 没有，其实我们待会儿可以说一下，为什么没有对对吧。就是举个非常具体的一例例子。Aai其在在动当中有一个特别特别明显的潜在应用场景。就是中间帧。比如说我们刚才讲一个人喝咖啡吧，他用手拿起咖啡杯，然后放到自己嘴里面，然后喝一口。这里面可能就会有三个关键帧。关键帧大概是手拿到杯子，可能形成一个这个我们要画一张画，然后杯子拿到嘴边可能形成一个这个我们要画一张画，然后喝一口喝完之后什么状态，杯子是什么角度？这个我们要画一张，可能有三张，而动画只有这三张，它肯定是很撕裂的一种体验。
[18:19]泓君 嗯，所以为了大家就会觉得跳帧对感觉中间漏了点什么。
[18:23]天宇 所以为了让整个动作变得很流畅，我们需要在这三个关键帧当中进行补帧。如果说我们是一个特别细节的，也是一个很靠近这个人的镜头的话，中间可能要补不少针。中间帧这个过程和关键帧这个过程的绘制，在动漫行业当中一般是两个步骤。而关键帧的绘制大家都会觉得是一种非常富有创造性的活动。中间帧的绘制相对来说就枯草一些。因为实习生做的活动，哎，对这个，所以所以中间帧的绘制也往往是动漫行业新人第一个会上手的工作。嗯，而中间帧的绘制往往是很多人想到AI能不能用于帮助我们提升产能时候的第一个应用场景。
[19:06]泓君 这个需求相当于是我给你两张原画，然后你根据这两张原画来生成中间的这一系列动作，还不仅仅说是文声图，它其实是图生图还是图声视频，图生视频。
[19:18]天宇 因为视频也是一系列图嘛。对对对对对对吧，所以基本上就可以理解为是一个图声图的一个过程。嗯，而这个过程从技术的角度上来，说听上去好像不是特别困难。无论是美国这边的大学也好了，创业公司也好了，甚至包括硅谷的一些院校吧，国内的院校还有公司也是一样，往往在关键帧生成上，时不时的就会发布一些很厉害的一些论文。每一两个月可能就会看到一个哎，我们这个在关键帧生成上又有了什么什么突破，哪些公司在关键帧上比较有突破哦，非常非常多。
[19:51]泓君 B站前几周就发了一个挺不错的论文，就b站的研发团队，他们自己也在研发这方面的技术。
#19:58补中间帧：AI 提效的首要场景，但 5%-10% 的细节误差严重破坏观感
[19:58]天宇 对对对，甚至说美国的一些比较独立的一些科研团队都会有做出来，很不错的结果。我们看到这些当然是很激动的，但是理想总是非常的丰满，现实其实相当的骨感。我们这次去参观的工作室都有尝试在用AI辅助中间帧的生成，但问题就在于效果不够稳定，不够稳定。其实这四个字当中最关键的一个词是够要多少才能够用这个是一个特别特别玄妙的一个问题。
[20:29]泓君 对，能不能还是用我们刚刚喝咖啡的这个例子来解释一下什么叫go可以没问题。
[20:35]天宇 比如说这个人他穿的是一个夹克衫，这个夹克衫在运动的过程当中可能会产生皱褶，或者说我们这个人的手可能会产生一些我想要去表现的一些光影的变化。或者说他戴了一个手套，这个手套上有一定的纹理，或者说这个咖啡杯上画了一个什么东西。那么这个时候关键帧就开始出现一些很玄妙的一些问题了。比如说我们在拿起咖啡杯之后，生成了一个关键帧，这个关键帧由ai做出来，可能百分之九十大家已经看不出什么问题了。但是很有可能这里面就会出现百分之五到十的差错。而这个差错就会对动画制作流程产生特别大的影响。
[21:19]泓君 它这不是一个连续性的过程，你人用物理跟常识去看你就会觉得别扭。
[21:24]天宇 对，而且这有些时候还不是物理的问题。这有些时候是一个创意性的问题。因为动漫的制作它也并没有追求每一帧都完全符合物理世界的规律。往往更多的是，我希望他在这种创意的允许范围之内，他可信且好看。而这两个问题都会产生比较严重的问题。在可信这方面，如果我的这个皱折一下出现，突然一下消失，又一下出现，又突然一下消失。那他如果真的播放的时候，是不会产生一种很奇怪的观感，这个袖子上到底有没有东西啊？
#21:25「精细」是动画的生命：关键帧关乎创意性与可信度
[21:57]泓君 大家可能会联想到是不是跟剧情有关系啊？
[22:00]天宇 对对对，尤其是像动漫这种媒介，因为实际上每一笔都是由人画出来的嘛，所以它实际上每一笔后面的思考，尤其是在很厉害的这些动漫的大师上面，都会有非常深奥的思考。
[22:13]泓君 就是他可能会有铺垫在里面。你本来是一个AI做的一个不完美的作品，它只是因为它不完美而已。但是观众会把它作为一种剧情的铺垫去解读，这个绝对是其中一个很大的原因。
[22:25]天宇 嗯，尤其是当我们比方说把一段很激烈的动漫的当中的打斗非常慢的放之后，就会发现其实每一针的动作相当的夸张。夸张到你如果真的把这一帧拿出来，纯粹作为一个物理世界的这种考量，它就不是一个正常物理世界当中应该存在的事情。它就是一个导演也好啊，动画制作师也好啊，在这种夸张的动作之下，诞生的一种美学上的思考。而这种在ai当中为什么会特别容易产生问题？其实就是如果有那百分之五到十，他的细节不好的话，
[23:02]泓君 这个东西不一定好改，不一定好改，不一定好改。就是在衣服上加几笔，这个褶皱是很难的，这个其实比我们想象的要困难。
[23:12]天宇 嗯，这个也是为什么说很多时候我们觉得AI好像能够做关键帧生成很不错，但其实足够用这个够这个字里面的标准相当的高。假设我们用ai拿起咖啡杯喝一口生成了十张关键帧，这十张关键帧每一张都不错，但是每一张都在不同的地方出现了百分之五的误差。这十张拿出来之后，我们还是要交给作画，监督原画师还是要交给他们审查。那么真的节省他们时间了吗？不一定还不如就直接自己画了，可能有些时候还真不如自己画来的更快。
[23:49]泓君 百分之九十五的十次方，这个正确率最后就可以算出来吗？
[23:53]天宇 对这个正确率会发现，哎，好像也没有那么大的帮助，这个更牵扯到尤其是现在生成模型的一个问题。如果比方说我中间是以十个实习生在帮我画，我至少可以非常详细的告诉他，你们错在哪了。
[24:08]泓君 我们可以把他们加起来一起开个会，但是AI很难可控的生成。你想让他把这个褶皱去掉，对他可能改的不是这个地方啊，他或者他还是会出现这个错误。
[24:19]天宇 对，这个就是细节当中的魔鬼真的就显现出来了。如果是十个实习生的话，我至少能够很稳定的知道，每次我交过来的稿件都会变得更好，ai就不一定了。包括我们现在也有这些masking的这些技术啊，但实际上最终还是存在一个我让AI从百分之九十到百分之九十五，再从百分之九十五到百分之一百，这个过程真的不一定比人快。而这个往往在影视行业也是这样，比方说在好莱坞的特效也是真人也好，CGI也好，对吧？我们现在就说一个车蹦一下爆炸了。其实这个事情如果在好莱坞来做的话，这个是我真去炸一辆车，还是说我用CGI做。如果我用CGI做的话，那这个爆炸它有多大？它是否产生烟雾，它是什么颜色的，产生出来的碎片应该往哪些方向飞？这些在很多导演当中都是相当重要的细节。而ai至少在目前阶段还很难对于特效也好啊，像动漫我刚才讲的细节也是做到如此精细程度的控制。这个我觉得也是将来AI.如果真的在影视行业全面落地的话，可能会比较需要长期投资和发展的一种关键技术。啊，就是对于非常详细的创意细节的把控能力。
[25:32]泓君 而且你这个其实难度挺大的，因为你要细节到每一帧对对。我记得之前我们聊天，你说正好听到一个詹姆斯卡梅隆的演讲，说他每一次爆炸都会爆破几百次，对吧？是模拟几百次吧，模拟几百次吧。
[25:48]天宇 对对对，嗯，卡梅隆其实一直以来也是一个非常对技术友好的一个导演了嘛。他自己本身也有工程师的背景在里面很朋克很厉害的一个人。他们拍电影的过程当中，对于技术性的要求，对于美学的追求很高。那他对于自己手上的工具的可控性，其实上有着相当相当高的要求，还是在那个不够好，这个够这个字到底有多详细？我们也可以刚好借这个话题聊第二类公司。
#26:18类别二 · 颠覆派：部分新兴公司的选择——围绕 AI 设计全流程
[26:18]泓君 嗯，第二类是什么？
[26:20]天宇 完全放弃已有动漫行业的工业流程，想要以ai为核心，做一种以ai为主的新的动画制作流程的公司，这类公司往往更偏向于创业公司了。很多这些公司可能也不一定有非常丰富的动画制作的经验。他们实际上并不是说我拿AI过来，我去优化已有的一个流程。不是，他们就是说我的流程就应该从零开始，围绕AI来去做，看AI有什么能力。
[26:51]泓君 然后我们来做什么样的动画。
[26:52]天宇 对，就是AI有什么能力，我们就干什么的事情，能出什么样的作品。比方说中间帧AI制作很难无所谓，我们就不做中间帧了。或者说我们对于中间帧的制作的方法就跟之前不一样了。我们之前聊了一个公司叫kcacreations,他们在今年做了一个大概三十分钟左右，声称是百分之九十五用AI生成的一个小动画。嗯，KAKcreations啊。刚好又是openAI.大家把照片记录理化的风口浪尖上。这家公司其实人特别少，可能也就十人左右，也非常早期他们因为看到了这些视频生成模型很有趣。想做。那他就说那我就从零开始做一个呗，他们的关键帧还有他们的中间帧，很多是动补做的，是有一个人实际在演，然后又把人演的这个部分利用AI换成动漫的风格，有点像风格转换。
#27:04KAKA Creation 的 30 分钟 AI 动画：水平及格但艺术性欠缺
[27:48]泓君 它其实是把人演的这个视频捕捉下来，还是说图像捕捉下来，再把它导入到大模型里面，把它做成一个动漫风格，有点像吉普利风格的这样的一个。
[27:59]天宇 我们还是用刚才那个例子吧，他们的想法是这样的，既然现在ai画画存在很大的缺陷，我们就不考虑这个方法了。我们就实际录一个人拿了一个咖啡，喝了一口水，然后把录出来的这个素材丢到ai里面，让它转换成动漫的风格。
[28:18]泓君 嗯，你觉得做的好吗？
[28:19]天宇 我觉得做的还行，多少分？
[28:24]泓君 七分吧，十分是吗？十分给个七分吧，然后六分及格，六分及格。
[28:29]天宇 嗯，就是我觉得属于确实就是还行的一个状态，成本应该是会比动漫诗曲化节省一些肯定低。现在的话存在很大的科研成本的问题。这个技术的做出来东西有多好，其实也不知道。当然七分其实如果真的从一个动漫纯制作角度来说，不算一个特别高的得分吧。但是如果说他能不能及格，我觉得能及格。但是非常明显的看出这个是AI制作的。它跟传统的这些动画相比，它的表现力啊，美学上的这种设计啊，坦率的说还是差不少。举一个例子说美学上的设计比如说不一样，本来做三d模型，二d模型，我得把它一帧一帧画出来，得把一个三d人的这些动作都给摆出来。我用动补的话，就直接人打打就结束了。那这个效率多高？从一定程度上是的。但问题是，如果真的做在动画里面，其实上大家会对于更夸张的表现，往往会有一种美学上的追求。动补。如果真的做成动漫，其实经常会产生的一个问题，就是它显得特别僵硬。
[29:28]泓君 懂了，就是它不够夸张，它不够有艺术性，对它不够夸张，它不够有趣。
[29:34]天宇 嗯，对吧？就是因为我们实际上一天到晚看的周围的世界就是一个很真实的一个世界。那如果我真的是喜欢这种风格的，我干嘛不去看真人电影呢？
[29:44]泓君 对的对的对的，就是就举一个例子。比如说人笑他的嘴巴的弧度是有，但我们通常在动漫中那个眼睛非常大，然后你那个笑嘴巴还可以，一直延伸到很大很大啊，对它就是一个夸张的效果。
[29:56]天宇 但我们会觉得很可爱，他也会觉得很有意思，对吧？哆啦a梦嘛，对吧？就是嘴笑的那么大，然后眼睛都眯成一条线了，哎，这个就很好玩，对吧？那这个东西如果拿动物来做呢，他就会有另外一些技术上的难度，所以动补也好也坏。最终呈现出来的效果实际上是一种美学上的取舍。而corcorations这个就是他的其中的这个案例之一。嗯，但我觉得也是一种思路，也是一种挺好的思路的。比如说背景的话，一般不是也是画的吗？啊，那我们就不画了，我们就拍张照，然后拿这张照片让AI说，你把照片给我转个风格行不行？其实背景反而是最容易成立的，尤其是静态背景啊，他就不太那么容易传帮。
[30:36]泓君 那这不是已经构成了可以在传统的动画产业链中有一个环节，至少你的背景空镜头可以用AI来做。
[30:44]天宇 说的很对，其实奈飞之前改编首种制虫的这个pluto有剧集很好看。奈飞也就公开声称自己在pluto的背景制作当中已经引入了AI生成的背景，确确实实是一个很实在的落地场景。对于实际效用的提升来说不好说，因为背景在动画生成当中本来就是一个比较平行的线。一般来说，画人画动作比画，背景要更复杂不少，而且背景估计也不占成本的多少，呃，有些时候还会占不少。但但但很很时候，新海海诚就是一个典型的例子。新海诚这作为环境狂人，他的背景的制作它就不会便宜。
[31:22]泓君 那这种背景也不可能用AI生成来，因为他对背景的要求高
[31:27]天宇 啊，那人家对于背景的要求可能确实是超过目前AI的可能性的。我觉得是呃，但是绝大部分情况下背景不占动画制作过程的主要部分。所以说有没有帮助有背景，确实是一个很具体的一个案例。那这个案例我觉得也是将来可能会看到更多的动画工作室来做的一个方向。但是他并不是动画制作瓶颈的大头。
[31:51]泓君 对，所以我们刚刚其实聊了两类公司，一类是传统公司对于AI的探索。简单来说，他们现在还是一头雾水。还有一类就是完全按照一个新的方式去做动漫。你觉得有中间派吗？
#32:04类别三 · 折中派：ChatGPT 模拟导演，人机协同破审核效率困局
[32:05]天宇 有一些非常奇特的用法，这个也是超出我的想象力啊，我们聊过的一个动画工作室，他们实际上是一个传统的动画工作室。然后他们再看哎关键帧行不行？不太行看，背景行不行？哦，有可能行。但是背景呢呃又不太能够真正意义上产生那么大幅度的时间和成本上的缩减。那怎么办呢？说我们给导演作为一个差PT助手，怎么样？他们是跟他们公司的一个导演合作。他就说哎导演你呢就把你之前所画的这些故事版啊，包括你给之前的话提出过的这些建议啊，包括你写的这些脚本，我们把它丢给叉RGPT.然后我们就告诉叉RGPT,你现在假装自己是这个动画导演对一个新的项目进行评估，所以他们最终有用吗？
[32:58]泓君 怎么样？
[32:59]天宇 哎，非常需要，哎，这个还真有用，而且觉得有用的并不完全是他们自己，而是导演本身。尤其是呃大项目的动画导演，他面临的工作量实际上是非常非常不是个人能够完成的一个量级。
[33:14]泓君 而且其实他是所有的项目都会获汇总到他这里，他要去做决定，他要去看整个项目的审美，每一个环节行不行的人。
[33:23]天宇 对，所以说很多时候比方说看到有些地方画的不好的时候，我们就要什么作画崩坏。很多人会觉得啊那个导演不行，这个不正确啊。因为导演呢，尤其是在动漫的这种产品当中，他永远不可能去亲自的把每一帧的话都拿出来去修正了。那不可能，这完全不是一个正常人物能够完成的一个工作量。所以他为了保持一个优秀的质量，那个导演下面他会去组建他信任的这些原画师也好啊，这些修正的专职人员也好啊，他会需要一个团队。而这些团队当中，如果有人掉链子了之后，其实反而这个比导演本身更容易产生作画上的质量问题。而导演本身，因为他需要反馈的东西太多了，故事版怎么样啊？脚本怎么样啊？我画的这个风格怎么样，颜色对不对？我画的这些动作时间上的安排合不合理情节好不好？他作为一个总的筹划人来说，实际上他的精力也是非常有限的。嗯，对吧？
[34:18]泓君 所以这个公司他们的产品卖的好吗？呃，其实蛮好，就是相当于是一个导演助理的角色。
[34:24]天宇 对，哦，这个是一个动画工作室，在做这个动画工作室，他是做给自己用，还是他的产品哦，做给自己做给自己用？
[34:31]泓君 他们完全是在这这个想法非常棒啊。
[34:34]天宇 对，他们完全是在自用，对吧？所以他的意思就是说，ok导演我现在给你做了一个叉GPT的一个虚拟助理。如果接下来有下面任何一个环节需要你提供反馈了，要不你先把它给拆GPT过一遍，对吧？然后拆GPT要说这不行，你看看他说的有没有道理，对吧？啊，然后他们也是呃这样试验了一下，最后最后哎这个导演觉得还不错。其实在动漫行业的这些导演和制片人的这一类人当中，很多人对AI有着更开放式的这种研究探讨的态度。我个人认为很多，一方面也是从他们的角度上来说，确实经常出现心有余而力不足的情况，
[35:16]泓君 所以ai会帮他真的抠到每一帧。那你觉得ai给的意见靠谱吗？
[35:22]天宇 我觉得实际上甚至ai也不一定能帮他抠到每一帧。但是在一些比较关键的一些节点上，其实AI即使能够帮到他百分之四十五十也是很有也是很有用的。至少作为一个关键。比方说一个导演一天一扒到
[35:37]泓君 十二个小十二个小时吧。
[35:38]天宇 比如说其实真的生产起来可能比这还多小时是吗？可能比这还多。但但我们就假设说是十个小时吧，嗯他在这十个小时当中，可能真的能够非常聚精会神的修改的关键部分，可能每天我觉得不一定会超过十个关键点吧。那有这个AI,它即使每天能够修的关键点能从十个变成十五个，那这也是一个巨大的成功。
[36:04]泓君 嗯，那么那看起来质量提升了百分之三十，那还感觉是有这个希望，对吧？对对对，然后你从日本回来之后，你觉得对你们如何做动漫，然后要不要使用AI工具？你整体上的观点会有改变吗？
[36:19]天宇 我觉得改变还是相当大的。说实话，大家对于ai一方面来说就是更欢迎，然后另外一方面来说，也是更偏向于相信他未来的可能性。但是他如果真的作为一个工具嵌入到平时的这种生产过程当中，那确实还要面对这样那样呃细节当中的魔鬼吧。
[36:38]泓君 所以你对AI就是日本执行之后，你反而对他的态度是更谨慎了。
[36:42]天宇 这个是我听出来的这个是一方面。但另外一方面，也是因为我们看到有很多现在以AI为核心的小团队实验的出现，我们也觉得很激动人心。我一直觉得人类对于艺术啊，人类对于创作的追求是一件永恒的事情。人类我觉得从上千年上万年前就开始在洞窟上戳画画，对吧？而这次从日本回来之后，我也更思考的一件事情就是，如果我们真的把ai作为创作工具的本身，那么围绕ai会不会有新的可能性产生？有没有可能说我们现在能够看到以前完全做不出来的东西，比如说特别特别复杂的衣服，动漫的设计当中不太适合出现特别复杂和华丽的服饰。因为这些服饰的制作还有把它动起来，那就需要有大量的人力物力。
[37:31]泓君 哦，我理解就是一个服饰，如果它特别复杂，上面还有花纹，那这个动画师在画它的时候啊，对，就要吐血了，对吧？
[37:39]天宇 就每天二十八个小时的工作时间就出现了，对吧？嗯，但是如果有AI的话，这可能就会成为一种可行的视觉语言。
[37:47]泓君 但服饰也不重要吧，就是在整个动漫中不好说吗？
[37:52]天宇 这个我一直以来是抱有一个很开放的态度嘛，因为嗯我们目前看到的尤其是二d啊手绘的动画，它的服饰都相对简单，并不一定代表说复杂的服饰它就不好看。而是因为制作上的原因，我们只能这么选。
[38:06]泓君 我能想象一些场景，比如说一些打斗啊，它还是需要就是一些复杂的服饰。或者在你体现一个王这种概念的时候，对对对，或或者甚甚至说一个打斗的案例吧。
[38:18]天宇 一个中世纪的一个骑士，其实他的盔甲的结构是相当复杂的嘛。而如果把这些全部复杂精密的这种盔甲的结构，完全的用手绘的方法画出来。那可真的是不知道做到什时候也确实有可能得不偿失。比方说身上会挂很多挂饰或者铃铛的这种角色，相对来说这种角色的服饰在现代动画当中可能相对罕见一些。但如果有AI的话，这些变得更好做了，他会不会产生新的一种创意上的可能性？对于这件事情，我其实保有相当的开放式的态度，我觉得也是一个很值得期待。它的领域。与此相对应的，比如说动漫的这种上色的方式啊，现在是怎么上色的？Ai是怎么上色的啊，基本上就是填充嗯，啊没有了这个这个这个就是开玩笑，这个有点半开玩笑的一种。听众朋友们可能在小时候也玩过windows上面的涂鸦工具，然后里面有一个大家可能都玩过的工具，叫做油漆桶是吧？就是你画一个圈油漆桶一点，哎，这里面突然一下都变成一个颜色了。嗯，啊其实现在大部分上司就是这么说
[39:21]泓君 就是牛系统啊，但你不觉得其实这就是人类重复密集劳动的部分吗？
#39:26回溯美术史，技术变革催生新的形式创新
[39:26]天宇 这个就是技术与创意产品之间的一种非常微妙的关系吧。
[39:31]泓君 对，这就是我们最想交给AI去做的啊。
[39:34]天宇 对，就是技术的限制，它会产生一种形式的创意的结果。像希腊雕塑的这些大理石，那大理石它本身就是一种限制，大理石上的上色。当时的颜料的技术实际上非常的不成熟，所有的颜料都很难在历史的化学反应当中被保存下来，那就导致了很多。我们现在看到希腊时期的这些大理石都是白色的，但是又因为有这样的技术上的这种限制，反而在后来比方说我们新古典主义时期的时候，大家又来看觉得白色反而是一种特色。但是后来当我们的这种印染的或者对材料控制的技术又上一层楼的时候，我们之前买的这种变形金刚的玩具也好了，哆啦a梦的这些小玩具也好了。动漫的这些手办也好了。由于我们人类对于塑料的这种化学工业已经到达了一种非常非常先进的程度，它又诞生了一种完全不一样的美学的可能性和生产的体系。我希望ai它最应该做的事情，并不是说把已有的创意给用ai自动化。但ai它最美妙的、最有趣的地方应该是说我因为产生的这个工具有没有什么？我以前因为各种各样的原因，做不到的事情，现在可以做得到了。如果我们有这样的愿景的话，那我觉得人类与AI在文化艺术方面创意上的这个未来，应该是一个非常令人期待，百家争鸣、百花齐放的一种理想状态。如果我们说在此过程当中艺术也好啊，文化作品也好的，他的创作上忽视了这当中一个一个具体的艺术家。那这我觉得也是一个很不应该的事情。
[41:09]泓君 是你能不能简单介绍一下你现在每天的工作，然后你的工作中是怎么样跟大模型发生这种，就是每天会使用它的。
[41:21]天宇 我们现在每天的工作主要围绕动漫制作产生。比方说未来的项目，他呃写故事设计角色，然后跟进已有的项目，我们就去跟进他的产能的状况，有没有什么问题？还有一些是更偏向于商业上的那就更典型的一些制片的职责嘛。比方说项目的融资啊，宣发制作资源的整合啊，对于我们来说可能比较特别的一些。因为我们本来这个ip的起源也比较奇特，它并不是一个漫画，也并不是一个小说，它是一套NFT的头像。所以我们也会尽可能的会想着有没有什么AI能够跟头像直接产生一些有趣的化学反应的方法。
[42:00]泓君 Ai是不是也可以直接帮你们生成azooke头像的作品，这是是可以的对呀？因为我觉得其实你们是一个非常典型的AI的应用场景啊。因为NFT嘛它就是需要有各种不一样的，符合你们风格调性的头像。但是每一张都要不一样，对也不对。
[42:17]天宇 一方面来说，我们肯定跟AI生成这方面是结合的非常的紧的那另外一方面NFT它本身有着比较强的收藏属性，我们人手工的制作以及它的稀缺性可能会成为比它是由AI做出来的这件事情要来更重要，所以不能用AI做。在SU体头像生成过程当中，我们肯定没有用过。Ai为了保持它本身的这种收藏属性的价值，我们也会控制它的供给量也好啊，也会有尽可能的用我们的艺术价也好，设计也好，把它打磨到最好。所以就是AI.如果足够发达的情况下，它会解决了一种生产上的问题。但是ai它不解决宣发的问题。比如说我现在拿ai做出一个五分钟的短片，但这个短片怎么样？他是否拥有商业价值，他是否能让一部分看到他的人觉得感动？这些都不是AI现在技术上正在做的事情。那这些除了技术上的考量之外，又需要很多非技术的。对于动漫也好了，文化作品也好了，有着非常深层理解的这些导演啊、创作者啊，他们来去把这件事情给挖清楚。
[43:22]泓君 那你现在每天用到AI做生成，大概是一些什么样的环节？
[43:27]天宇 我们大部分的时候在实验，比方说我你现在有一个ZP的头像，我们能不能帮你用AI把这个头像动起来。那作为一种技术上啊有意思，那么这种情况下我们就不打破它原则性的收藏性的基础上，提升了一些它的趣伪性。
#43:427+ 大模型「你追我赶」，周更竞争
[43:43]泓君 对，然后你之前有提到七个大模型，每周都在进步，你最多七个现，现在已经止止七个了。对对你觉得是些方方向的进步呢？是从什么时候开始进入到这种你追我赶的时间点的啊，我感觉这种万马奔腾的状态啊真的很接近啊，可能是从七八个月前开始的，我觉得是有什么关键的模型发布吗？
[44:05]天宇 Sora我觉得还不是sora,实际上可伶啊，皮卡还有runway在几个重大节点上的发布，可能比sora还要更具有代表性软。当时一开始发布的时候，我如果我没记错的话，好像还有一定的争议。因为大家对于它的漆面普遍偏高，但是最后生成出来的效果还不一定有想象中的那么好。但是我记得确实就从那个时间点开始，基本上这几家大模型就进入了一个你真我敢的状态。
[44:33]泓君 嗯，你追我感表现在什么方面呢？
[44:36]天宇 版本更新的频率啊，还有AI模型的稳定性啊，速度啊，对于关键词的理解上面啊，都在以一种非常惊人的速度进步啊，能不能做
[44:47]泓君 举几个例子
[44:49]天宇 哦，这个变化实在是太快了，那我们就用叉GPT来举例，好吧，ok他之前发布了吉布利，嗯，大家去改的时候，这个是今年的事情啊，今年很近的事情很近。
[45:03]泓君 两个月前四五月份，
[45:05]天宇 我记得当时在叉GPT发布之前，谷歌的germany放了一个实验性的feature当中，他就已经做到了。用文字来编辑单张图片，这个能力已经做到了一种非常惊人的程度了。在german和拆GPT这一波之前，实际上如果我们单从图片考虑的话，可能大家用mainjourney啊，stableffusion还更多一点。但mainjourney和stablediffusion对于文字逻辑的理解，坦率的说不是特别的强。在谷歌的jeamline和叉GPT上，一句话就能解决的事，而且效果还真不错。哎，很厉害嘛，迎头赶上是吧？几周之后查GBT就出来类似的东西了。
[45:49]泓君 然后嗯大家互相我觉得还有有一个素素是当一个功能，大家确定了某一个方向，可以这样做的时候，其实抄起来是很快的。
[45:57]天宇 确实现在明显有这个感觉。Luma我觉得也是一个很好的例思吗？Luma,我觉得我之前印象非常深刻的是他的给一个起点，给一个终点。
[46:05]泓君 关键帧是吧？对，拿茶杯跟喝到水的关键帧。
[46:09]天宇 哎，对对对，我们就比方说给一个起点，给一个终点，然后让他把中间给补全，对吧？我记得去年年底的时候吧，他们有一版个这个效果，整体就做的非常不错。很快。我觉得甚至可能是同时吧，中国的可林的这个模型的关键帧，尤其是在动漫这个风格上面，他的那个股权的质量就更高。
[46:28]泓君 为什么现在很多大模型，它在动漫方向的进展好像比他在真实的物理世界的进展看起来是要快的。
[46:35]天宇 我感觉这个还存在模型与模型之间的区别，嗯，可能是训练员素材的问题。对，而且有可能是跟这些团队不同的侧重点有关。可能尤其是对于中国的团队上来说，因为大家都比较习惯，也比较喜欢动漫二次元的这种画风。那对他们来说，去往这个方向做是一个相对来说比较自然而然的反应。而在美国方面，实际上现在很多比如皮卡runway啊，像卢ba他们我觉得在特效上可能就做的非常的不错，也很难说技术上来。说到底哪一家跟哪家之间是否存在真正意义上的代差。
[47:11]泓君 所以你觉得在视频模型上是没有代差的，包括中国的这些大模型，中国还有哪些做的比较好的？你刚刚提到了汇元克林，混元克林在动漫方面确实不错。
[47:21]天宇 Video我记得是呃video.对，也是动漫生成相当不错的一个开源的模型。中国的这些模型，我觉得从生成质量上完全不输美国的模型。而且从迭代速度啊，甚至产品的终端用户体验上来说，甚至比美国的公司还要再好一些。所以我觉得因为会做产品吗，呃，我觉得真的是的啊，我觉得真的是而且生成更快，而且更便宜一些。美国的这些按月付费的这个其实真挺贵的，很快就能用完。
[47:51]泓君 我觉得最新一次视频模型的发布，其实是在googleIO期间google发布的newthree.他其实是在常规的这种视频生成的基础上加入了声音。他有音画同步，包括有口型，这个难吗？
[48:06]天宇 这个有点像我们刚才讲的叉GPT和jamina他说的单个语言文字来去做图片的这种编辑这件事情本身从技术上来说，当然是挺不错的一个成就。但如果真从模型本质上来说，我反而觉得应该没有那么的复杂。可能很快我们就会看到其他家也会有类似的产品出现。音效生成。对，嗯，现在视频模型能生成的最长的视频是几秒，目前很多的都在十秒十五秒二十秒这种区间。如果再往下生成的话，就确实会出现。一方面是我们刚才说的稳定性的问题。另外一方面来说，可能他就不再具有有意义的产品和市场需求之间的匹配了。
#48:2720 秒以上的 AI 视频：逻辑连贯性不足，市场需求欠缺
[48:50]泓君 为什么？
[48:50]天宇 因为如果要生成更长的话，没有一个人会愿意看一个人举咖啡喝一分钟，我觉得生成更长可能就需要故事线了。
[48:59]泓君 所以他们现在还只是生成一些场景的特定镜头头。然后他这个特定镜头其实是没有太多的动感的对。
[49:08]天宇 就是如果真的要达到一分钟的话，其实我们平时现在你看任何的影视作品也好，你是很难看一个人做单个事情一分钟，而且尤其是在没有上下文的情况下，这个还是挺难的嘛。
[49:22]泓君 我上次在谷歌的发布会上讲，就是我用了一下他们的view.Three就是我测试了一下，我当时的prompt词是生成了一个还蛮复杂的场景的。大概就是一只小松鼠一只猫，他们在一个山坡上奔跑，然后穿过了树林。接下来是穿过了一座桥，最后到了山顶上，桥的两边是有彩虹的，然后有风就是会气了，很具体，很没有画面感了。对对对对，对我其实是想看它在这一连串的关键的奔跑中，它整个场景的变化，它的连续性效果如何。我说到的这些点非常好，但是跳帧很严重是吧？嗯，跳整逻辑很奇怪。
[50:00]天宇 对对对对，像在做梦一样，对吧啊，哦，就是这种感觉对吧？
[50:03]泓君 这个描述太太准了，对，觉像在做梦一样。对，就是他比如说从前找到山顶，你感觉这个中间它是没有任何的。这个它不是奔跑过去的，它是画面切换过去的啊，是是是。
[50:15]天宇 然后里里面各种各样的元素就开始进行不可思议的形变，对吧？这个其实跟我们刚才说的稳定性有很大的关系。如果真的要用在一个创意的产品上来说，我们看起来至少得相对合理吧。啊，除非你是真的想要做出这种梦境一般的效果。目前我看可能二十秒三十秒啊，算是比较长的，还相对比较稳定的。如果真要说生成一分钟以上的东西，一方面来说，我们人可能也需要给他更详细的情节。那另外一方面来说，他真的是否能从逻辑上很好的再现我们脑中想象的这种情节，这还确实还是一个挺大的问题。
#50:51三字总结视频大模型：不够好
[50:51]泓君 嗯，对，所以你觉得现在如果我们来看整个AI做视频生成的问题，最大的问题其实就是一个是可控性，一个是不够好，嗯，不够好。
[51:01]天宇 其实其实最
[51:02]泓君 大的问题还是不够好。
[51:03]天宇 最大问题就是这三个字不够好，所有的玄妙之处都在go这个当中。其实我之前也在网上看到一些很感人的一种个人的应用场景。比如说一些人会把他们去世，家人的照片给AI,然后让他去做一个十秒钟左右的已经去世的亲人的动态的这种呃这种在社
[51:22]泓君 声音模型生成中特别多。就是因为现在其实因为我做播客嘛，现在各个厂家他们的声音模型竞争也非常激烈。我就经常看见有评论说我把妈妈生前给我发的这个语音喂给模型，然后我就能听到我妈妈的声音了。
[51:37]天宇 对啊，很感人嘛，很具有人性色彩的一种使用的场景。而在这种场景当中，种所谓的够不够好，他这个够这个字就不重要了。因为它有一种很真实的对，有大于无。而且以前就是不可能，它的点不在于我真的生成出来一个多好的视觉产品。而是我真的通过这种方式，仿佛跟我以前的亲人朋友又重现了一个记忆，这个就很有意义。比如说如果真的AI要上工业的话，它的成本就会成为一个特别大的问题。
#52:09规模化生产拦路虎：token 不足，算力成本高昂
[52:09]泓君 Ai现在的成本是多少？
[52:11]天宇 挺高的。我大概在很多这些视频平台上都会去买他们的这种视频生成的credit,每个平台也有按月订阅的计划。基本上我会买中间那一档，主要是想尽可能的多试试看。基本上所有的平台在每一个月的第一周我都会用完。
[52:26]泓君 嗯，就是严重的token不够用。你每天用多久啊？
[52:31]天宇 非常非常的缺token.哎，我在鲁玛或者可林嘛，我有两三个创意的想法。我基本上每一个平台上会希望它生成五到十次，那么这个就相当于是二十到三十次。而我一天比如说生成二十到三十次的话，真的一周也就全用完了，可能一周都不到。
#52:48人物眼神与手部稳定性显著提升，AI 穿帮问题基本解决
[52:48]泓君 现在他们在生成人物的时候，眼睛还会有恐怖骨的效应吗？因为我们其实在这些视频模型刚刚出来的时候，因为我们自己也做视频嘛，所以我们也是都用过这些视频模型。但我们试过就觉得他生成的这个人物状态还是很恐怖的。就是跟迪士尼最开始最最开始的那些动漫一样，就他的眼神是空洞的，我觉得现在基本没有了，基本没有了。
[53:11]天宇 那这也是一个很大的进步非常大，而且比方说还有手的稳定性，手的稳定性，突然一下多出一根手指，少一根手指。这个这个其实也是一个巨大的突破，这个我觉得很厉害，所以所有模型手的稳定性都解决了，几乎到了一个不会穿帮的程度了。
[53:27]泓君 嗯，手跟眼神这两个问题都解决了。
[53:30]天宇 对，时不时还会有这样那样的一些小bug出现。但是大概率的话，我现在不会担心说哦，我现在去生成一个东西，我首先得查一下他的手，对不对？我觉得现在已经基本没有这样。
[53:42]泓君 嗯，你们会用confineUI这样的工具吗？
[53:46]天宇 我们自己没有直接在用，因为这个工具的迭代特别快，迭代速度快客观。对我们来说一直做实验的导致一个很麻烦的问题，就是必须一直用，不一直用的话，很容易出现工具跟工具之间，我过一个月它就变样了。所以在这个方面，我们也是一个有一点烦恼的一个地方嘛。
[54:06]泓君 嗯工具跟工具之间迭代了，这个对你们的影响是什么？
[54:09]天宇 就是目前没有，因为目前没有，因为你们还是没有用到这些工具真正的在商业行为中的对了，这又回到我们刚才说的这一点，这个构字当中的另外一个魔鬼就是工具的稳定性了。如果真的要工业化生产之后，我首先对于它的token会有大量的需求。我们就说一个关键帧生成中间帧的这一件事情，那可就不是一天生成二十次两起了，可能一天生成五百次，都是有可能的。一旦进入工业化之后，这个成本啊、效率啊，甚至产品上的问题会一下变得特别严重。
[54:42]泓君 Ok了解。其实对模型端来说，就是一旦他们开始给工业化的机构去做制作，他也会有token的大量消耗。
[54:52]天宇 然后你的算力够不够的问题，我觉得这个非常非常的真实。
[54:56]泓君 还有一个问题啊，就是你觉得用AI配音怎么样？因为我觉得现在语音模型的发展反而是我看到的最快，然后效果最好，可控程度也比较高的。就比如说动漫，其实我们刚刚讲的全部是画面的环节，但其实还有配音，还有配乐的环节。
#55:15语音生成的伦理争议：日本声优协会公开反对 AI 模仿声线
[55:15]天宇 这件事情牵扯到一个我个人也非常忐忑的一个话题了，语音确实比视频要好做的很多很多。而且如果真从语音的生成质量角度上来说，其实现在大部分尖端的模型已经跟真人无异了。但是这里面语音生成，这个也牵扯到一个很难聊的一个话题。也就是AI跟人类创作者之间到底是什么样一个经济关系让你忐忑的一点呢？我们非常忐忑的一点是，这次我们在日本也聊了一些导演配音演员声优，日本的声优实际上他也有自己的协会，包括日本这几个月的时候，也有很多日本非常知名的声优公开出来反对ai,他们不会把自己的声音用于语音训练，也不会允许AI来模仿他们的声音。他们给出来一个论点，其实我很同意他们自己对于自己声音的训练，还有他们的表演，实际上是他们的生计。而且这个东西一旦被替代，他们自己的价值也好了，创意也好了，还有自己，他们的升级也好，会被迎面冲击。
[56:17]泓君 你看日本还有工会，但是还有很多人不在工会里，很多国家是没有工会的，很复杂。
[56:24]天宇 如果真的讲到经济模型的问题的话，确实是一个相当相当深刻且困难的话题。从一个画画的角度上来说，我还可以说AI对我来说是一个工具。但是同样的这种工具的论点，如果放到声优上面啊，可能就会比较困难。因为他生成出来的东西跟声优表演出来的东西太像。
#56:46配音与音乐领域，AI 已完全达到人类水平
[56:46]泓君 那所以其实在声音这个环节，技术已经可以做到它可以替代人了。只是说在这个过程中，你要去怎么解决这部分人他的生计问题，他反而是一个经济关系的问题，他不再是一个基础的问题。
[57:00]天宇 我个人认为是这样的，这里面存在一定深层次的工作伦理的问题。
[57:05]泓君 对我觉得在播客行业已经出现了这样的问题，嗯嗯，完全可行，完全可行。
[57:10]天宇 这个确实是，比如说洪军吧。如果有一天天我现在告诉你有一个ai可以模仿你的声音，然后说红军以后你就不用再出来录播客了，你就写稿就行了。我们把稿件就转换成声音。这个事情我觉得从主观程度上来说，还是一个挺有冲击力的一件事情。另外一方面，我个人也偏向于认可的一个论点，就是声优它本身并不仅仅是在提供一个声音嘛，他是在对角色进行演绎，甚至他们自己也是一个流量的点。他们提供了很多在商业上啊，产品上和创意上比一个物理上的声音要多得多的一些价值，还是应该正视和尊重他们。对于作品和商业上的贡献，如果真的从技术上角度来说，声音我觉得技术程度上我觉得到了嗯，但音乐还没有ok就是声音ok了。音乐我觉得也ok了，音乐也ok了吗？
[58:02]泓君 音乐我觉得也OK觉得AI生成的音乐，它跟人的这个音乐，它的表现力哦，这
#58:07好听的音乐总是相似的，AI 容易复制
[58:07]天宇 这个问题可太有意思了，这个问题甚至可以上升到哲学高度。我之前在学校学习美术或者音乐史的时候啊，就发现一个很有意思的现象。我们就说西方音乐史吧，它里面的大家时代和风格的变化其实没有那么多。其实我觉得客观上来说，反映了一个很有意思的现象，就是我们认为好听的音乐可能就那么几种。我们认为难听的音乐比比皆是。我今天就可以写一个给你就是人类认为的好听的音乐。现在已有的这些大调啊、小调啊、节奏啊，实际上已经被前人还有阅历，总结的相当完备。因为我们认为好听的东西没有那么多，所以从AI的角度上去理解什么东西，是人认为好听呢就没有那么的困难。那所以最终导致了一个结果，就是他生成出来的东西其实表现力怎么样？我觉得这个问题一半是观众心里要回答的。
[59:01]泓君 我举一个例子啊，比如说像sno这样的音乐生成平台，我们之前有测试过他的歌，但是我们测试的时候确实可能是他刚刚出来的时候，嗯，值得再试一遍。Ok对，我们当时就觉得哇这个也太口水歌了。但是我们其实跟做这个音乐模型生成的人聊过了。他说是因为这样的平台他不敢去复制现在最顶级的这个流行歌曲。对了，或者是到到我们刚才的对，对对对对，不敢拿他们的数据去训练。如果你训练出最后一个风格一模一样的歌，或者风格很相近的歌，那这个版权问题就会产生纠纷了，非常严重纠纷其实但是理论上只要把它为进去高质量的作品跟数据，它是可以训练出来的对，我给你一个建议，你可以试试看。
[59:47]天宇 就是下次你再跟孙总玩的时候，你去生成古典乐，我们上次就试了古典乐，对吧？就试了巴河古典乐这个效果，我觉得目前相当不错。
[59:57]泓君 说是是因为古典乐的版权已经开放了五十年。对他
[1:00:02]天宇 很多已经过了这个版权期限，对，所以这个数据实际上就是更开放。嗯，但苏总的观点其实非常的正确。因为你现在如果真的模仿一个歌手，那我们真的得解决一个商业伦理上的一个问题。这我觉得甚至从一定程度上来说超越了商业利益。如果我真的现在技术上能复制出周杰伦的声音，我应该拿他的声音去写歌吗？
#1:00:25人才断层，AI 切断新人进阶的「梯子效应」
[1:00:25]泓君 但我觉得这个事情也细想也很可怕呀。你模型能做这个事情了，这件事情就变得无利可图了，尤其是刚刚起来的新艺人就变得无利可图了。所有的艺人他都是不停的创作重复创作，重复来做出更好的作品的那以后可能就没有好的性格，或者说没有人类创作出来的好的性格了。
[1:00:45]天宇 对，所以这个就是讲到商业结构和商业伦理的问题嘛。包括我们刚才讲的中间帧生成这一个简简单单的事情上，已经包含了这种深层次的矛盾。我现在比如说提出一个中间帧生成的一个模型制作一个产品，基本上不会有日本的呃动画工作室会对这件事情提出伦理上的意见。因为这个确实是大家一个需求，从表面上来看，确实也保留了人类的创作性。因为关键人还是要人来画嘛，这看上去确实是一件一本万利的好事。但是这个他客观上来说，就会对产业产生一种非常长远且非常令人忐忑的一个后果，就是新人没有办法去爬了。
[1:01:25]泓君 对，而且新人没有办法去做大量的重复的练习了，而这个练习是你通往大师的必经路。
[1:01:32]天宇 其实这一点非常非常的可怕。假设从一个小白到一个打石的过程，是一个长长的一个梯子，那小白需要从一开始有能落脚的地方。我们如果这个梯子只有上面的一半有杠杠可以抓的话，这个梯子是没有办法爬的。而关键帧这件事情虽然看上去很好，他从长远的角度上来说，可能会带来一个现象，就是大量的新一代的，我们目前还不认识的，还在读书的，还没有在读书的这些新一代的这些动画的制作师。他实际上在这个行业当中没有可以向上爬的落脚点。如果产生了这个现象的话，那可能动漫这个行业说不定还会后退。在几十年之后，我们现在已经看到这种大规模的人才短缺的现象。我觉得可能是全人类社会都需要一起来考虑的一件事情。
[1:02:23]泓君 想一想也挺可怕的。
[1:02:25]天宇 是啊，确实是一个相当复杂，而且短期之内可能还挺无解的一个问题。反过来说，一个理想状态还是刚才说的，就是我们作画也好啊，在动画上也好，我们真的能够把ai作为一个工具来看这种工具，又去鼓励另外一些之前不会考虑做动画的人，他们参与进来。那就像是我们以前在艺术史上，颜料都是很贵重，自然原料来做出来的那在化学工业做成之后，油画的颜料就变便宜了很多。那他从客观上来说，就鼓励了很多新的一代的年轻人，新的一代的画室进入这个行业。如果AI能够对动画达到这样的效果的话，我觉得他还是一个值得期待的未来。当然这个过程当中存在非常深奥非常复杂的商业伦理和商业结构的一个问题。我觉得也是整个各行业需要一起去面对，去探索的。
[1:03:18]泓君 嗯，你为什么会从技术走向动漫啊？
[1:03:21]天宇 我觉得我在大学的时候学的是计算机啊，对我一直以来就非常非常喜欢动漫。我看刚刚你还过西方美学史，老师跟音乐史，这些是我一直以来都非常喜欢创意的产品，我对创意行业本身也是有非常大的激情。当然一开始是作为一个观众嘛，能够通过机缘创巧合的机会，做到现在这个位置上来说，也许非常非常的幸运。
[1:03:45]泓君 现在你的工作中涉及到的技术的部分多吗？你的这个岗位如果是一个传统的内容负责人或者一个动漫制片人，他们的岗位是需要懂技术的吗？传统的可能对于技术的理解要求并不是特别，他可能对特效能达到一个什么样的技术会要求更高。
[1:04:04]天宇 一点很多时候是对于流程的理解和对于创意方面的直觉是更核心的一个。比如说每天都会用到的一个事情。是的，技术上来说反正相对少一点。嗯，现在呢现在我觉得可能对于技术理解的要求会越来越高。如果说我们都认为技术和创意的相互奔赴啊，在接下来会加速的话，可能双方互相的直觉和品味上需求都会提高。
[1:04:28]泓君 那你现在的工作中会具体用到涉及到技术判断的时候吗？百分之十五左右，百分之十五到这百分之十五是一些什么样的场景？
[1:04:36]天宇 主要还是用在我刚才讲到的实验性的场景上。比方说我们做出来一个东西，从技术角度上来说，这个事情花了我多长时间，他难不难做，他是否可以复刻？他如果大规模复刻的话，他需要多少钱？这些都是很技术上的东西，甚至还有更纯代码和技术上的东西。比如那比如说我现在如果去做一套我们自己的管线，我们训练自己的模型，你会做自己的模型吗？我们其实做过，但是我们做出来坦率的时候，效果真的不好。而且由于是万马奔腾的状态嘛，那就让马在前面跑啊。
[1:05:09]泓君 所以你们其实还想过做一个就是生成二次元的模型。
[1:05:14]天宇 对，纯粹作为尝试嘛。对于比如说视频生成啊，关键帧生成啊，或者声音的生成啊，对于这些行业非常感兴趣的技术上的创业者来说，可能现在的时代会对他们提出更高的美学上的需求。比如说我生出来的音乐到底好不好听，有什么标准去评判它，好不好听这个我觉得可能反而会成为技术指标之外啊，训练模型以及指导模型进行迭代方面一个很重要的标准，对你的品味可能决定了模型的品味。
#1:05:42「你的品位可能决定了模型的品位」
[1:05:45]泓君 对最近看到一些文章挺有意思的。就是其实比如说像deepseek出来来以后，我是非常喜欢deepseek他回答问题的那种方式的。然后我是偶然在一篇采访中发现，梁文峰他对你的文字的美感是有追求的。包括最近我也是问deepmind的人我说，为什么anthropic他们做出来的代码质量就很好？GPT整个文本的风格，跟sam奥特曼他那一套非常看重表达，看重营销，看重把一个事情包装的特别美好的那个风格。我觉得还是跟创始人的品味关系很大，特别相关。
[1:06:24]天宇 而且甚至可以说在大模型啊也好，视频生成模型上，这种品味就能转换成非常更直接的商业价值和产品优势。我用文字生成出来二十秒的小视频，一个特效或者是中间帧，这个中间帧它能不能用它中间出现的这些百分之五的错误，错在哪儿了？这个错的地方我能不能接受？如果一个技术的团队理解这些事情的话，并且针对这些事情进行优化的话，那么他们在产品上应该就可以跟其他的产品形成非常非常有利的竞争优势，是可能是一个混合型人才的时代，是吧？
[1:06:59]泓君 对的，我觉得嗯每个行业都在追求混合型人才，是是是啊，很有意思很有意思，对，
[1:07:07]天宇 我自己很喜欢艺术师。然后我自己也是一个工程师，我现在很直观的一个感觉，就是从两三年前大模型这一波开始，我的左脑就在每天跟右脑打架。说实话就是呃左脑跟右脑每天起来都在打架，然后工程师的这这一边说，哎，你看AI的东西多么的酷炫，对吧？艺术史的这边就是说啊，但是你得注意这些东西产生的社会的影响，而我更愿意相信，人类对于创意的追求是无限的。对于表达创意，还有对于他人的作品的这种原始性的追求是刻在人类dna里面的东西，它并不会随着技术产生改变。而技术的迭代技术是不停的在变的，美术的商业环境也是不停的在变的，但是艺术和美术自己是永恒的。所以我也是希望正在走向的一个未来。并不是说因为有了AI,所以我们走向了一个更贫瘠的更无趣的一个世界。不是，而是说因为我们有了一个AI,我们走向了一个更百家争鸣，百花齐放的一个世界。如果是这样的话，那我觉得AI啊，人类啊包括人类对自己的理解，人类对自己的艺术的理解，可能都会以这个为契机吧，走向一个全新的高度吧。
[1:08:22]泓君 对，因为我在做一档技术，博客，播客是一个创业行业，技术也是一个相对枯燥的事情。所以我每天其实也是在一个左脑右脑打架的这样的一个状态。但是整体来说，我对AI跟人类的未来要悲观很多，很难说很难说。
#1:08:38「我们这一代的选择，可能影响人类技术与艺术的关系」
[1:08:39]天宇 但是好处是在于无论怎么说，我们这一代人就是在创造这个未来嘛是的对吧？嗯，所以我们一代人的选择确实有可能影响在接下来很长一段时间之内，人类技术和艺术之间的相互关系。对，还有很多的社会问题，还有很多很多的社会问题，这个没有任何好的答案。但是至少可以知道的一点就是答案是要由我们来写的，这个心态特别好，对吧？对这个心态特别好，创业者的心态知道了这一点之后，我觉得每天左脑右脑打完架之后就又能上睡觉了。明天起来又可以打架了，对吧？Ok所以也是希望通过就是今天的分享一些事情和思考。作为一个抛砖引玉，作为长长的技术和艺术之间的博弈当中，提供一些个人的一些小的想法。
[1:09:26]泓君 嗯，好的，好，谢谢天宇。
[1:09:28]天宇 嗯，好，非常感谢拜OK.好，拜拜。
[1:09:33]泓君 好了，这就是我们今天的节目。欢迎在小宇宙、苹果播客、spotify,还有喜马拉雅蜻蜓FM、荔枝FM、网易云音乐QQQ音乐上订阅收听。我们如果你是习惯通过视频平台来收听播客，也可以在youtube和b站上搜索硅谷一零一播客来关注到我们。部分文字稿会发表在我们的公众号硅谷一零一上。如果大家感兴趣，欢迎大家持续的关注我们，我是泓君，感谢大家的收听。
转录稿由 Tony 自动生成（平台 ASR + 说话人分离）。错别字修正范围仅限明显误识别（如人名、节目名）。
原节目版权归 硅谷101 所有，本页仅供学习参考 · ← 返回 Tony's Lab