▍系统简报 · TL;DR
JitRL 完全冻结模型权重、不做任何梯度更新，靠「推理时检索历史经验 → 在线估算优势值 → 把优势值加到输出 Logits 上」完成策略进化。数学上证明：这套操作严格等价于求解一个带 KL 约束的强化学习优化问题——成本比传统微调低 30 倍，效果反而更好。
[00]
60 秒视频解读
VIDEO
[01]
它要解决什么问题
PROBLEMLLM Agent 部署后权重就冻结了，不会越用越聪明。想让 Agent 持续学习，过去只有两条路，各有硬伤：
ROUTE-01 / ICL
✗上下文学习
把历史经验拼进 prompt。Token 消耗暴涨、首字延迟飙升，而且始终改不了模型底层的动作概率分布——同样的错误下次还会犯。
ROUTE-02 / RL-FT
✗传统 RL 微调
动辄数万美元算力，极易灾难性遗忘（学会新的忘了旧的），遇到 GPT-4o、Claude 这类闭源 API 模型更是完全没辙——权重根本不给你。
JitRL 的答案：不换脑子，只翻笔记。
[02]
核心机制：推理侧的三步闭环
MECHANISMJitRL 在推理阶段实时完成「记忆 → 估值 → 调分」，环环相扣：
1反思式记忆
REFLECTIVE MEMORYTICKET-MEM
把已完成的任务轨迹打分、归因（哪一步导致了成功/失败），聚合进一个可检索的优势经验池。这是非参数记忆——不训练、只存取。
2检索式价值估计
RETRIEVAL-BASED VALUE ESTIMATIONTICKET-VAL
遇到新任务，检索最相似的过往轨迹，实时估算每个候选动作的优势值（Advantage）——「这个动作比平均水平好多少」。省掉了训练价值网络的全部开销。
3闭式 Logit 更新
CLOSED-FORM LOGIT UPDATETICKET-LOG
把优势值直接叠加到 LLM 输出 Logits 上，毫秒级重塑概率分布，当场改变模型的行为倾向。
[03]
为什么「改 Logits」是严谨的
THEORYLLM 生成每个词之前，会给候选词各打一个分，这个分就是 Logit；分数经过 softmax 变成概率再抽样。JitRL 干的活，就是在抽样前对分数做一次「临场调分」——下方控制台演示了整个过程：
MODEL OUTPUT · 原始打分
搜索资料
直接回答
点开广告
▶
Δ ADVANTAGE
ADJUSTED · 调分后
搜索资料
直接回答
点开广告
历史经验：「上次搜索资料 → 成功」→ 搜索被选中 ↑ · 点广告被压制 ↓
这一步看着简单，背后有完整的数学推导：
# 优化目标：学得更好，但别偏离原模型太远
max E[ Advantage(π) ] − β · KL( π ‖ π_ref )
# 推导出精确闭式解 → 取对数 → 恰好等价于：
logits_new = logits_ref + Δ / β
# 结论：推理侧给 Logits 做线性加法，
# 严格等价于求解了一个带 KL 约束的 RL 优化问题。
max E[ Advantage(π) ] − β · KL( π ‖ π_ref )
# 推导出精确闭式解 → 取对数 → 恰好等价于：
logits_new = logits_ref + Δ / β
# 结论：推理侧给 Logits 做线性加法，
# 严格等价于求解了一个带 KL 约束的 RL 优化问题。
▍这就是论文最狠的地方
「推理时改 Logits」不是拍脑袋的启发式技巧，而是有最优性保证的严格操作。它把「修改权重」换成了「修改输出分数」，效果等价、成本天差地别。
[04]
实验表现
BENCHMARKS51.4%
WebArena 最终成功率
免训练方法新 SOTA（基线 ≤44%）
免训练方法新 SOTA（基线 ≤44%）
30×
成本比 WebRL 等
重微调方法更低
重微调方法更低
SOTA
Jericho 文字游戏
（Zork 系列等）
（Zork 系列等）
| 对比维度 | JitRL | 传统 RL 微调（如 WebRL） |
|---|---|---|
| 梯度更新JitRL | 零 | 大量 |
| WebArena 成功率 | 更高 | 被反超 |
| 算力成本 | ≈ 普通推理 | 数万美元级 |
| 灾难性遗忘 | 不存在（权重没动过） | 高风险 |
| 闭源 API 模型 | 即插即用 | 无解 |
[05]
为什么说这是「Agentic RL 下半场」
WHY IT MATTERS1. 持续学习的成本归零级。 传统权重更新动辄数万美元的算力，被替换成一个轻量、可检索的非参数记忆模块——成本直降 30 倍以上，回归普通推理水平。「边用边进化」从口号变成了可落地的工程方案。
2. 闭源模型也能自我进化。 GPT-4o、Claude 这类拿不到权重的 API 模型，现在可以「即插即用」地获得持续学习能力，而且永远不会遗忘。理论上，所有 agent 框架都能挂上这套记忆模块。
▍值得琢磨的点 · OPEN QUESTIONS
非参数记忆池是 JitRL 真正的「大脑」——那记忆本身怎么组织、怎么防污染（存了坏经验会不会越学越差）？检索的相似度阈值怎么定？这些是后续值得跟进的开放问题。
[06]
资源
RESOURCES- PAPERarXiv:2601.18510 — Just-In-Time Reinforcement Learning: Continual Learning in LLM Agents Without Gradient Updates · arxiv.org/abs/2601.18510
- CODE官方开源实现 · github.com/liushiliushi/JitRL
- AUTHOR李一博 · NUS（一作，导师 Bryan Hooi）· liushiliushi.github.io
- ICML会议页面 · icml.cc/virtual/2026/poster/61517