用不同的 harness（执行框架）跑同一批任务，账单、通过率、耗时天差地别。FrontierHarness v1.0 覆盖软件开发与终端类任务。
Claude Code 和 DSH Creator 同为 63.3% 通过率，但 Claude Code 每个 pass 贵 5.6 倍。结论先行：框架比模型更决定你的账单。
通过率聚集在 50.0%~66.7%，差距极小；但每完成一项任务的成本从 $1.05 到 $18.34 —— 两个框架能解同一个问题，一个可能比另一个贵 十倍以上。点击表头可排序。
| 框架配置↕ | 每 pass 中位成本↕ | 通过率↕ | 缓存命中↕ | 中位耗时↕ |
|---|---|---|---|---|
| Codex | $3.47 | 66.7% | 88.0% | 6m 43s |
| DSH Creator | $3.28 | 63.3% | 84.3% | 6m 44s |
| Claude Code | $18.34 | 63.3% | 67.8% | 9m 38s |
| Pi | $2.43 | 60.0% | 79.4% | 7m 33s |
| DSH Standard | $3.46 | 60.0% | 86.5% | 6m 17s |
| DSH PTC | $4.58 | 60.0% | 87.2% | 7m 44s |
| Kimi Code | $3.65 | 56.7% | 88.0% | 7m 56s |
| DSH Minimal | $4.72 | 56.7% | 84.6% | 5m 41s |
| Oh My Pi | $4.75 | 56.7% | 82.2% | 6m 46s |
| Exo Harness | $1.05 | 53.3% | 70.3% | 6m 17s |
| Hermes | $2.90 | 50.0% | 85.9% | 6m 58s |
| OpenCode | $3.24 | 50.0% | 78.4% | 6m 27s |
Runta 是 agent 执行层，关心 token 效率、秘密保护与受控访问。他们真正想知道的：一个 agent 完成它本就能完成的任务，到底烧了多少算力——其中多少是框架的功劳，多少是模型的功劳。
模型评测建立能力基线；框架提供工具与环境，决定这份能力有多少花在问题上、多少花在开销上。三个问题塑造了这次评测：
30 个任务（21 个 Terminal-Bench + 9 个 DeepSWE）× 9 个框架 = 12 种配置、360 次评测，每个「任务 × 配置」只有一条规范结果。判定用确定性 verifier 的 pass/fail；首轮缓存读取跨框架统一重新计价，让成本可比。
每个框架和任务环境只安装一次，捕获为 golden checkpoint。360 次试验都从该 checkpoint 全新恢复：vCPU、内存、磁盘大小与内容、内存状态完全一致——没有试验会继承文件系统漂移、热页缓存或半装的依赖。
三条规则保证数字可比：
用 Claude 会偏向 Claude Code 的原生环境，用 GPT 会偏向 Codex。Kimi K3 是更中立的起点（虽不能消除所有兼容效应）。它是前沿级编码模型，定价公开、带隐式提示缓存；经 Fireworks 统一托管，九个框架经同一网关（同时说 OpenAI Responses 与 Anthropic Messages 两套协议）访问相同权重。
它的 kimi provider 类型在网关上返回 404，于是按 `type="anthropic"` 走 Messages API 路由；流式输出还缺 usage 数据，从会话日志的 usage.record 事件里恢复。最终并列第七（56.7%），$3.65/pass，88.0% 的中位缓存命中率并列全场第一——但既没换来更高通过率，也没换来更低成本。
排行榜展示的是中位缓存命中率，但它不说总 token 花在了哪里。Claude Code 的缓存命中率：按单元格中位数是 67.8%，按 token 加权只有 25.0%——其他所有框架的加权值都在 91.6%~99.1%。仪表盘画的是中位数，而你的总账单由加权数决定。两者差距 2.7 倍。
加权数被最贵任务严重拖累：Claude Code 单个任务（python-statemachine-state-data-scoping，输入 2460 万 token、命中率 15.7%）独自贡献了其全部 token 用量的 68%。换句话说，25.0% 主要反映这一个异常巨大的单元格，不代表典型行为。
| 调用 | fresh | cacheRead | total_in | 命中% |
|---|---|---|---|---|
| 1 | 1174 | 18432 | 19606 | 94.0 |
| 4 | 19381 | 18432 | 37813 | 48.7 |
| 5 | 0 | 38345 | 38345 | 100.0 ← 同一对话，全前缀命中 |
| 8 | 23092 | 18688 | 41780 | 44.7 |
| 13 | 0 | 45277 | 45277 | 100.0 |
| 25 | 35474 | 18944 | 54418 | 34.8 |
| 26 | 0 | 55514 | 55514 | 100.0 |
同一个 append-only 对话里，同一前缀有时全量命中、有时完全不命中——这是隐式缓存的行为，而不是固定缓存策略。一个可能的主因是「框架-模型契合度」：Claude Code 围绕 Anthropic 模型的显式 cache-control 语义设计，而 K3 暴露的是行为不同的隐式前缀缓存，同一套策略没能顺利迁移。
⚠️ 作者明确：这属于被测的完整「框架 × 模型」配置的属性，不一定是 Claude Code 自身的缺陷。$18.34 与 $64.36 描述的是这个确切配置，不是孤立框架。拆分归因是 v1.1 的第一项任务。
datacurve/python-statemachine-state-data-scoping：对 fgmacedo/python-statemachine 固定基提交的特性请求。官方 DeepSWE 通过率 38%，历史中位轨迹 117 个 agent 步骤。解决它要动元类、回调注入机制、历史恢复、pickling、SCXML 解析器和图表渲染器，还要保持现有测试套件全绿。12 个配置里 7 个通过。
| 框架配置 | 结果 | 成本 | 步数 | 缓存 | 耗时 |
|---|---|---|---|---|---|
| Pi | PASS | $2.50 | 90 | 98.2% | 39m |
| Codex | PASS | $5.97 | 187 | 99.1% | 37m |
| Hermes | PASS | $6.70 | 156 | 99.1% | 29m |
| Kimi Code | PASS | $9.24 | 209 | 99.3% | 38m |
| DSH Standard | PASS | $10.14 | 227 | 99.3% | 47m |
| DSH Minimal | PASS | $10.49 | 259 | 99.1% | 44m |
| Claude Code | PASS | $64.36 | 381 | 15.7% | 60m |
| Exo Harness | FAIL | $1.46 | 51（上限） | 96.0% | 40m |
| Oh My Pi | FAIL | $2.71 | 86 | 98.3% | 42m |
| DSH Creator | FAIL | $3.88 | 109 | 98.8% | 60m（超时） |
| DSH PTC | FAIL | $12.95 | 285 | 99.5% | 60m（超时） |
| OpenCode | FAIL | n/a | 0 | n/a | 60m（超时） |
7 个配置拿到同一个「通过」，账单却各不相同。Pi 与 Claude Code 都通过了，价格差 26 倍：Pi 用 90 步修完，Claude Code 381 步，命中率 15.7% 对 98.2%——步数更多，每一步还更贵。pass/fail 这一列完全看不到这些。
失败侧同样值得看：DSH PTC 失败的 $12.95，比 7 个通过者里的 6 个都贵。DSH Creator 失败 $3.88，而 DSH Minimal 通过 $10.49——同一框架、同一模型、同一运行时，只是 preset 不同。说明配置比选哪个框架影响还大。
v1.0 只覆盖软件开发和终端类任务，尚不能推广到其他 agentic / 知识工作。
基准按框架出厂原样使用，不改内部实现——对缓存有强烈内部主张的框架（如 Claude Code），作者没有为了提升命中率而调整它。因此报告的成本差异反映的是「交付状态的完整框架-模型组合」，若所有框架都针对 K3 的缓存行为同等调优，差距还剩多少，目前无从判断。
v1.1 计划：加入更多框架与模型，跑完整的「框架 × 模型」矩阵，揭示交互效应，产出一张兼容性矩阵。
通过率聚集在 17 个百分点内，中位每 pass 成本却横跨 17 倍。