Strata × Qwen3.8-Flash-Next：把 176B 模型塞进一台游戏电脑

模型

Qwen3.8-Flash-Next 是什么

阿里通义团队 2026 年 8 月 26 日开源的模型。定位很特别：它不是"更大的 Qwen3"，而是下一代 Qwen4 架构的提前预览版——官方说法是先把架构放出来，让社区有时间准备。

主模型 / 激活: 125B / 6BMoE，每词只用一小撮
实际总量: 176B含 51B n-gram 表 + 4B MTP 头
层数 / 词表: 48 / 248,320
上下文: 262K可扩展到 1M
精度: BF16 + FP8
许可: qwen-community-1.0

四个架构创新

n-gram 嵌入表：2000 万条 bigram/trigram 嵌在第二层，贡献 51B 参数，但它只是查表、不做矩阵乘。等于给"加参数"开了第二条轴——不费算力，费内存。

Qwen 稀疏注意力（QSA）：在微块级别做稀疏，配 3:1 的线性注意力混搭；预算固定，超预算后注意力成本不再随上下文增长，长对话不会越聊越慢。

门控残差：4 条分支、瓶颈秩 320，逐元素读门 + 每分支一个标量写门，用极小开销换更强表达力。

MTP 多 token 预测：1 层草稿头，天然支持推测解码，是各家引擎提速的主战场。

厂商自报跑分（参考）GPQA Diamond 91.7 · LiveCodeBench v6 91.9 · SWE-bench 多语言 81.0 · SWE-bench Pro 62.5 · Toolathlon 73.5 · AndroidWorld 84.5。属开源第一梯队，代码与 agent 能力尤其突出——但都是厂商自测，不是第三方横评。

机制

为什么游戏电脑跑得动

关键不是"压缩得狠"，而是这套架构本来就留了余地。

要算的少：真跑一次前向只有 6B 参数在动，其余是"读"不是"算"。
专家极多但极稀疏：模型内部是 24,576 个小专家，每个词只叫其中 10 个——所以不必把全部专家塞进显存。
查表不费算力：51B 的 n-gram 表是内存里的查表结构，把参数量的压力从"算力"挪到"内存"。

一句话MoE 靠"多激活专家"扩容（费带宽），它靠"长一张查表"扩容（费内存）。在显存容量先于算力见顶的机器上，这是完全不同的性价比。

引擎

Strata：把专家摊到三层里

Strata（作者 Niko1221，MIT 许可，C++ 写的）是个专门把这套模型塞进消费级 PC 的推理引擎。仓库 9 月 24 日才建，一周多就涨到五千多 star。

显存 · VRAM12–24 GB · 最快

注意力 / DeltaNet、门控残差、路由器、共享专家、输出头、MTP 草稿层、KV cache，外加一个专家缓存——它按对话自适应，把最常叫的专家留在显卡上。显存越大越快：每多 1GB ≈ 多 700 个专家常驻。

内存 · RAM32–64 GB · 全部专家

放全部 24,576 个专家（pinned）。显卡没接住的那些，CPU 用 AVX-512 / AVX2 内核就地计算，和 GPU 并行、互不等待。

硬盘 · SSD28.8 GB · 查表

存那张 n-gram 大表，每个 token 只读几行，走系统缓存。

两个加速招

先猜后检（推测解码）：模型自带的 MTP 层一次猜最多 3 个词，大模型一遍全部校验，平均每步出 2.4–3.2 个词——快 1.6–1.8 倍，质量不变。改代码这种重复上下文的场景，再借 prompt lookup 快 6–11%。

长文大块读：一次最多吃 8,192 token，>1000 tok/s；首条之后只读新增内容，追问秒回。

怎么接进你的工具

跑起来是个本地服务 http://127.0.0.1:8080，同时给两套接口：OpenAI 兼容（/v1）和 Anthropic 兼容（/v1/messages，Claude Code 填 ANTHROPIC_BASE_URL 就能直连）。Windows 双击 START-HERE.bat、Linux 跑 ./setup.sh，装的时候它会自动挑适合你机器的档位。

作者

写这个引擎的人

Strata 基本是一个人的作品：GitHub 账号 Niko1221，主页显示名就一个字「Niko」，简介一行——AI & fun。公开履历、公司、机构背景一概查不到，是个相当低调的独立开发者。

GitHub: Niko1221显示名 Niko
X / Twitter: @coldniko显示名 Niko Veit
所在地: 斯洛文尼亚 · 卢布尔雅那🇸🇮
公开仓库: 1 个就是 Strata 本身
账号注册: 2021-07粉丝百来个
项目许可: MIT

不刷仓库数：公开项目只有 Strata 一个，典型的"闷头做一件事"型选手。
发版很勤：版本更新、性能突破基本都先在 X 上发——AMD 支持、Coder 版、长上下文优化，一个接一个。
跟社区贴得紧：在 r/LocalLLM 里亲自回帖。有人给他提了个把吞吐翻倍的 fork，他回「Amazing work (Niko here)! 我尽快支持」，顺手还在推 AMD 补丁。
出手就是硬活：纯 C++ 从零搭出一整套让 12–24GB 显卡跑 125B MoE 的推理引擎，还带 Windows/Linux 一键装、OpenAI + Anthropic 双兼容接口。

一句话一个低调的斯洛文尼亚独立开发者，X 上活跃、Reddit 上接地气，靠一个"周末级"的仓库证明了消费级显卡跑大模型能有多省事。

实测

速度、门槛、怎么选档

2170预填 tok/s · 5070 12G

93出字 tok/s · Q2_0

100–140出字 tok/s · 3090 24G

24,576专家总数

官方在 RTX 5070（12GB）+ 64GB 内存上实测：Q2_0 档位出字 93 tok/s、预填 2170 tok/s；IQ3_S 档位出字 53、预填 1620。显存更大的卡更快——RTX 3090（24GB）约 100–140 tok/s，4090 只会更好。

量化档	内存+显存	速度	质量
Q2_0	37.6 GB	最快	good
IQ2_XS	39.2 GB	快	更好（推荐档）
IQ3_XXS	47.0 GB	较慢	great
IQ3_S	54.8 GB	最慢	最好（接近满血）

按内存对号入座

64G

四个档都能跑，首选 IQ2_XS（要质量上 IQ3_S，要最快上 Q2_0）。

48G

Q2_0 或 IQ2_XS。

32G

走「低内存模式」，可跑 Q2_0、IQ2_XS 和 Coder，但更慢。

硬条件显卡 NVIDIA RTX 20/30/40/50 系或 AMD RX 7000/9000 系（≥12GB 显存）；内存 32GB 起、64GB 全能；约 80GB 空闲磁盘（首次要下载 ~70GB，最好 SSD/NVMe）；2–3 张卡也能一起扛。

边界

别把它想成生产级服务

一次只处理一个请求，不是并发服务器。
首条消息很慢：要把整段 prompt 读完，约 1 分钟 / 3 万 token；之后的追问才秒回。
启动会卡：要把 35–55GB 载入内存，电脑卡 1–3 分钟属正常。
跑的是压缩量化版：Q2/IQ2/IQ3，和满血有差距；IQ3_S 最接近，但最慢。
它自己只是"架构预览"，不是 Qwen4 正式旗舰，别拿它当终版下结论。
还有几个变体：Coder（砍一半专家、专精代码）、Swift 1.5（想得少、答得快）、Unsloth 4-bit（实验，靠 SSD 流式读，很慢）。

来源

出处

Strata 仓库 — github.com/Niko1221/Strata
作者主页 — github.com/Niko1221 · x.com/coldniko
Qwen3.8-Flash-Next 模型卡 — huggingface.co/Qwen/Qwen3.8-Flash-Next
架构与实测分析 — inferencex.semianalysis.com/model/qwen-3-8-flash-next

页面内数字均来自上述来源（2026-10-02 取数）；跑分与速度为官方/项目自报，非第三方横评，实际以你机器为准。