# 这篇论文在说什么
SCLATE（Substrate for Continual-Learning Agent Training and Evaluation）是 Apple 团队做的一套「执行底座」，对象是持续学习智能体——即「模型 + harness（脚手架）+ 记忆系统」三件套，跑在跨天、跨周、多会话的长周期上（Claude Code、Codex、OpenClaw、Hermes 都被它归为这类系统）。
要评测/训练这种智能体，任务之间得穿插大量「到点才发生」的事件：会话启停、定时任务、记忆整合。但现有 benchmark 和训练框架只调度自己那一侧的事件，于是每一对「benchmark × agent」都得单独手搓一套调度循环，既不可复现，也没法公平横评。
# 三大核心机制
benchmark 和未改动的 agent 各自通过一个 adapter，把事件注册到同一个调度器上——场景任务、会话启停、cron、状态存取全进同一条事件流。
agent 干活时时钟按实时走（工具、测试、内部计时器正常）；一旦空闲就跳过空档，直接跳到下一个事件。再用 libfaketime 让 harness 内部的系统时间调用也返回模拟时间，所以原生 cron 照样跟着走，源码一行不改。
效果：40 个日历日的场景，中位 5.9 小时跑完（加速 162×；全部运行合计 142×）。
所有模型调用都经过容器内代理，记录每次调用的 token 和 log prob，并标记这次调用来自哪个 harness / 记忆组件。于是评测跑一次，同时就是训练数据。
# 实测：三家 harness 的对比
实验网格：3 个 harness × 10 个模型 × 10 套记忆配置 × 7 个 benchmark，全部 harness 与记忆系统零改动接入。下面挑最关键的几组。
① MetaClaw（30 个工作日 / 346 轮）：Hermes 在同模型上完胜
同一个模型 Haiku-4.5，Hermes 领先 13.8 个百分点。作者查轨迹给的原因：Hermes 有专门的技能管理工具，外加一个「工具调用后必须验证」的钩子。
② LongMemEval-s（多会话记忆召回）：Claude Code 反超
原因很具体：Hermes 自带记忆有容量上限，塞满就拒收新事实，于是大多数事实根本没存进去。给它外挂一个没有容量上限的 Hindsight 后，分数被拉回 77 / 74——输在记忆系统的上限，不全是 harness 的问题。
③ GAIA-2（800 个场景）：比较的是「每家最强模型」
| Harness | 该 harness 下最强的模型 | 通过率 |
|---|---|---|
| Claude Code | Sonnet-5 | 62.8% |
| Codex | DS-Vision | 61.3% |
| Hermes | DS-V4.1 | 58.5% |
注意：这一组不是同一模型换 harness，而是「每家 harness 下最强的那个模型」，所以更像在比「哪个模型强」。三家都挤在 58–63%。论文还提到：Search / Execution 类最简单，依赖运行中动态事件的 Adaptability / Time 类在每格里都很低（最高 37.5% / 34.4%）。
④ AppWorld & SWE 后训练
| 模型（AppWorld） | 三家 harness 的通过率区间 |
|---|---|
| Haiku-4.5 | 48.4% – 49.6% |
| Sonnet-5 | 52.1% – 61.7% |
| DS-V4.1 | 最高 70.1% |
SWE-Gym 后训练（GRPO，Qwen3.5-4B）：
后训练后，Claude Code 下的模型学会了「不硬塞上下文」：读文件行数少 6.8 倍，整文件读取从 69.2% 降到 18.4%，撞上下文上限从 97.6% 压到 31.0%。
# 两个容易踩的坑
论文也强调「任何未改动的 harness 只要写个 adapter + 配置就能接入」——所以 OpenClaw 更像没做，不是不能做，但论文没解释为什么不跑它。
参考文献里那些 GitHub 链接是它用到的第三方项目（GBrain、Harbor、libfaketime、prime-rl、slime），不是 SCLATE 自己的代码。这是 Apple ML 的常见做法：放论文，不放代码。
# 三条可以带走的结论
- 没有最强 harness。MetaClaw 上 Hermes 在 Haiku-4.5 领先近 14 个点，换个模型就反转——排名不通用。
- 外挂记忆不是万灵药。50 个「模型 × 配置」格子里，有 11 个加了外挂记忆反而更低，其中 8 个出现在 Hermes——因为它的原生 skills + notes 本身就强。
- 必须一起评。论文原话：模型、harness、记忆系统要一起评测、一起训练，孤立地比任何一层都没有意义。
Agent 评测 Claude Code Codex Hermes 持续学习 Apple OpenClaw（未评测）