Omni 把「AI 视频」从「像素级概率拼接」推向「世界模型」叙事：它同时吃文本、图像、音频、视频，先用 Gemini 的世界知识推理场景应该怎么发展，再渲染成带音频的高清视频；编辑则完全变成多轮对话，每一轮都建立在前一轮之上。
01它到底是什么
官方定义一句话：Omni 是「能从任意输入创作任意内容、先从视频开始」的模型。它在 2026 年 5 月 19 日的 Google I/O 上发布，第一个落地型号是 Gemini Omni Flash，并正式在 Gemini 应用里接手 Veo 的位置（Veo 3.1 仍在，继续提供文生视频 GA API）。
关键差别在于「原生多模态」：早期视频工具走的是「先转成文字描述 → 再交给独立渲染器」的线性管线；Omni 在同一套引擎里对多种模态同时推理，省掉的转换层意味着更丰富的上下文被保留下来。官方把它类比成「视频版的 Nano Banana」——去年 Nano Banana 把 Gemini 的智能带进图像生成，Omni 是同一思路往视频走。
| 项目 | 内容 |
|---|---|
| 发布 | Google I/O 2026（2026-05-19），Google DeepMind 出品 |
| 首个型号 | Gemini Omni Flash；1.1 版本 2026-08-27 推出 |
| 输入 | 文本、图像、音频、视频（音频目前仅支持「声音/语音参考」） |
| 输出 | 带音频的高分辨率视频；图像/音频输出「未来支持」 |
| 架构 | Transformer（Vaswani et al., 2017），原生多模态 |
| 训练 | Google TPU，JAX + ML Pathways；音视频数据带多层级文本描述标注 |
| API 型号名 | gemini-omni-1.1-flash |
来源：官方发布博客、DeepMind 模型页与模型卡（2026-08）。
02编辑变成一段对话
这是 Omni 最像「范式迁移」的地方：你不再重写提示词从头再来，而是在同一段视频上逐轮叠加指令，模型记住上下文，只改你提到的部分、保住你没提的部分。官方给的例子是一条小提琴镜头，四轮下来人物、场景、风格始终连贯——左右滑动下面这条胶片看它怎么一层层长出来。
「一位在小提琴手演奏的镜头」
初始生成：人物、乐器、环境一次性建立。
「把小提琴手传送到这张图片的环境里」
主体保留，只换背景——光照和反射跟着重算。
「让这把小提琴变成隐形的」
手部姿势和演奏动作保持，道具被抹掉。
「把镜头改到小提琴手的过肩视角」
同一场景换视角，一致性不丢。
技术上是 有状态（stateful）的编辑会话：开发者用 previous_interaction_id 串起多轮，不用重复上传上一版视频；模型靠「世界模型」层重新推理主体、环境与光源的物理关系，而不是简单叠图层。
03能力清单
对话式、多轮视频编辑
自然语言改背景、服装、风格、光影、镜头、防抖、替换主体/物体；每条指令都建立在上一版之上，场景保持一致。
世界知识 + 物理直觉
官方称基于 DeepMind 的世界模拟平台 Genie 训练，对重力、动能、流体动力学、光照一致性有直观理解；能结合历史、科学、文化语境做「解题式」画面（发布会演示了黏土定格风的蛋白质折叠讲解）。
任意组合的参考输入
文本、图像、视频、音频都能当参考：转移运动、套用风格、把草图变实拍、首尾帧插值。音频目前只支持声音参考，其他音频输入「即将推出」。
数字分身（Avatar）
用你自己的外貌和声音生成视频、不必每次上传本人素材。创建前需完成身份验证入驻（录制朗读数字的视频）。
扩展、首尾帧、升采样
1.1 新增：场景续接（参考最多 10 秒前文，10 秒一跳、累计 ≤40 秒）、指定首尾帧生成过渡、360p 快速草稿、1080p/4K 输出。
041.1 Flash 更新了什么
2026-08-27 · 面向开发者 / 企业，主打「生产可用」
- 场景扩展：可分析最多 10 秒先前上下文（旧模型只参考最后 1 秒），视觉与叙事一致性更好；10 秒一续、累计最长 40 秒。
- 首尾帧插值：指定起始帧与结束帧，生成中间的连续镜位运动——适合复杂环绕、变焦过渡、无缝循环。
- 360p 草稿：比 720p 快最多 60%，成本约三分之一，便于快速试错。
- 4K / 1080p 升采样：产出可直接进后期的成片。
- 视频参考：多模态输入里可引用最多 3 秒视频，保持视觉上下文与角色一致性。
05官方基准表现
官方在模型页给出的人工对比结果（均为「领先 / 并列领先」，具体数值未公开）：
| 评测维度 | 基准 | 结果 |
|---|---|---|
| 视频编辑 | 内部基准 · 504 组样本 | 整体偏好、指令遵循均为领先 |
| 文生视频 | MovieGenBench（Meta，1003 条提示） | 整体偏好、指令遵循最佳 |
| 文生视频（快速运动） | 500 条高动态运动提示 | 参与评测 |
| 图生视频 | VBench I2V（355 组） | 与 Grok-Imagine-Video、Kling 并列领先 |
| 参考转视频 | 内部基准 · 468 组多种参考 | 整体偏好、语音贴合领先 |
来源：DeepMind 模型页性能区块（2026-08）。「领先」为厂商自测人工对比，非第三方复现。
06怎么用、多少钱
- Gemini App：Google AI Plus / Pro / Ultra 订阅用户，全功能含分身。
- Google Flow：AI 创作工作室，含 Flow Agent、批量编辑、Flow Music。
- YouTube Shorts / YouTube Create：I/O 周起免费开放。
- 另有 Google Vids（企业办公）等入口。
订阅档位（第三方整理，以官网为准）
| 档位 | 月费 | 云存储 |
|---|---|---|
| Google AI Plus | $7.99 | 200 GB |
| Google AI Pro | $19.99 | 5 TB |
| Google AI Ultra | $99.99 | 20 TB |
- 入口：Google AI Studio / Gemini API / Gemini Enterprise Agent Platform。
- 型号名 gemini-omni-1.1-flash；task 参数可显式指定 text_to_video / image_to_video / reference_to_video / edit / extend。
- 输出参数：aspect_ratio 支持 16:9（默认）/ 9:16；resolution 支持 360p / 720p（默认）/ 1080p / 4K。
API 价格（Google 定价页口径）
| 项目 | 价格 |
|---|---|
| 输入 tokens | $1.50 / 1M |
| 文本输出 tokens | $9.00 / 1M |
| 视频输出 tokens | $17.50 / 1M |
| 折算单价（720p） | ≈ $0.10 / 秒 |
720p 每秒约计 5,792 个输出 tokens。第三方指出无免费层、无批处理折扣——下单前请以 Google 定价页为准。
07限制与风险（重点）
- 10 秒是发布期上限：据 DeepMind 的 Nicole Brichtova，这是为管理算力做的审慎限制，不是模型能力天花板；1.1 已能续接到累计 40 秒。
- 已知短板：官方模型卡承认——编辑全程的完全一致性、复杂运动场景、文字的精确渲染仍是挑战。
- 改语音被暂缓：Omni 修改视频中人物说话的能力目前被限制，Google 在评估如何负责任地开放。
- 音频输入受限：现阶段只支持声音/语音参考。
- Omni Pro 已公布、未定档：Google 说等团队看到「比 Flash 有质的提升」再发。
- 水印不可关：所有 Omni 视频嵌 SynthID 不可见水印 + C2PA Content Credentials，默认开启且无法关闭；可在 Gemini App / Chrome / Google 搜索中检测。
08我的判断
真变化在「推理 + 生成」合流
值得记的不是又一个 10 秒片段，而是视频编辑的交互范式从「重写提示词」变成「有状态的连续会话」——这跟当年 chat 之于单次补全是同一类迁移。做工具的人要盯的是 previous_interaction_id 这种会话对象。
成本仍是大头
≈$0.1/秒意味着一条 10 秒片段约 $1、一条 40 秒成片约 $4，还没算多次试错。草稿降本（360p 三分之一价）会成为标准工作流。批量场景下，省钱的关键是「少生成、多编辑」。
生态整合比模型本身更值得看
Adobe Firefly、Picsart、Figma Weave、Runway、Lovart、Artlist 等已接入，Omni 正从「一个模型」变成「一条被到处嵌进创作管线的能力」。这类整合速度，往往比基准分数更能说明它会不会成为标准件。
· FIN ·