PenguinHarness 深度研究 🐧 HARNESS FOR RSI — LET AI BUILD AI

PenguinHarness（企鹅驾驭师）是 PrismShadow 团队开源的 Agent Harness——「驾驭 Agent 的框架」。它的口号是 RSI（Recursive Self-Improvement，递归自我改进）：不止让 AI 干活，而是让 AI 自己构建、评测、优化别的 AI。

一句话：让 Agent 通过「考试」来改进自己——先出题、再考试、看失分、改自己、重考，只有分数严格更高才接受新版本，否则回滚。整个过程由四个 Skill 驱动，对应四个角色：

一轮优化的实际流程：

1. 建立基准（Reference）：确认当前最优版本与其完整评测记录，作为每一轮的起点。
2. 诊断失分：对比各题分数，结合 Trace 找出可观察的行为差距——是提示词没约束输出格式？缺某个 Skill？
3. 提出可证伪假设：「加上输出格式约束，题 X 分数会从 40 提到 70」——只加分析步骤、不预测行为变化的改动不算有用假设。
4. 生成候选版：从 Reference 复制出 vN+1，只允许改 AGENTS.md、Skills、config 安全字段，改前先打快照。
5. 并行重测：Evaluator 铺满「全部题目 × runs 次」矩阵，独立打分、隔离执行。
6. 裁决：候选版平均分严格高于 Reference 才接受为新 Reference；持平或下降 → 立即回滚。假设未被证实但分数涨了，单独标注，不冒充因果。
7. 循环：达到目标分提前停，否则跑到轮数上限，保留最高分版本。

团队 demo 里，一个 Agent 经过多轮迭代从 53 分进化到 95 分，全程 token 花费约 0.5 元（DeepSeek V4 Flash）。

用「英超比赛预测 Agent」走一遍完整流程（示意案例，机制对应源码真实流程）。

① 一句话创建：输入「创建一个预测英超比赛结果的 Agent，输出胜/平/负和简要理由」——agent-creation 直接生成一个带 AGENTS.md 行为规范、可运行的 Agent。

② 出题：Builder 出 50 道历史比赛题。每题配套一份私密评分标准（rubric），与题目分离存放——被测 Agent 永远看不到：

# statement（题目，Agent 可见）
阿森纳主场 vs 切尔西，预测结果并给理由

# rubric（评分标准，只有考官能看到）
结果预测正确 +50 · 理由提到伤停信息 +20
理由提到主客场战绩 +15 · 引用近期状态 +15

Agent 不知道「提伤停」是得分点——它只能靠真本事，猜不到打分器想要什么。

③ 摸底考试：Evaluator 矩阵跑完 50 题，基线 50 分——基本等于瞎猜，理由是「阿森纳很强所以赢」这种废话。

④ 进化循环：每轮 = 诊断 → 假设 → 改动 → 重测 → 裁决：

1. 诊断：翻 Trace 发现所有题都是凭印象猜，从不看伤停、主客场。
   假设：「要求输出前先列伤停名单、主客场战绩、近 5 场状态，分数应 50 → 65。」
   改动：AGENTS.md 加一条行为规则（v2，改前打快照）→ 重测 66 分 → ✅ 接受。
2. 诊断：赔率相关题全错。假设：「装 odds-analysis skill 教它读赔率。」
   改动：装 skill（v3）→ 重测 61 分，比 v2 还低——skill 让简单题过度分析、输出格式也乱了。
   裁决：61 < 66 → ❌ 拒绝，回滚到 v2，快照派上用场。
3. 诊断：「读赔率」方向对但实现砸了。假设：「只在实力接近（赔率差 < 0.3）的场次启用赔率解读，其余维持 v2 逻辑，分数应 66 → 80。」
   改动：条件式规则（v4）→ 重测 82 分 → ✅ 接受。
4. 后续：再跑两轮收益递减（83 分），最终达标 90 分停止，全程花费几毛钱。

「改 Agent 容易，让 Agent 变好很难」——难在评测。模型自带随机性，Agent 是不确定系统，进化很容易变成「背答案」「迎合打分器」。这套契约把常见坑都堵上了：

README 的宣传数字相当激进。逐条核实（截至 2026-08-18）：

PrismShadow 团队（2025 年成立），核心成员履历硬核——这是它区别于一般「AI 包装项目」的最大背书：

路线很清晰：LlamaFactory 解决「怎么把模型调好」，PenguinHarness 解决「怎么把 Agent 调好」——而且是让 Agent 自己调自己。项目里甚至内置了 llamafactory、vllm、ollama 等 Skill，可以在对话里直接指挥它启动模型微调和部署。

2026 年 8 月，「Agent Harness」是最热的词——每个前沿实验室都开始下场：

PenguinHarness 星数（1.4k）在这波浪潮里不算高，但差异化明显：别人卷编码效率，它卷「Agent 造 Agent」。同时与 DeepSeek 深度绑定——默认模型就是 deepseek-v4-flash，宣传口径也以「配合 DeepSeek 性价比最高」为主线。它更像一个「Agent 生产平台」，而非单纯的编码工具。