00结论Verdict
One-line finding
记忆不是“给模型加一个仓库”，而是对原始历史做一次有损改写。改写带来收益，也带来损耗；这篇论文第一次把两边分开记账，然后发现很多系统的损耗大于收益。
论文把这件事叫 memory tax（记忆税）：相对于“直接检索原始历史”，记忆处理过程中丢掉、遮蔽、打散证据所造成的性能损失。它是对比量，不是绝对量——参照系永远是朴素 RAG。
01科目Setup
怎么做的实验
三个 benchmark 覆盖从单跳到多跳、从对话到状态追踪；三个基座从 4B 到闭源；十一个开源记忆系统按存储形态分四类。
3
benchmark：LongMemEval-s、PersonaMem-v2、MINT-Eval
11
记忆系统：扁平 / 分层 / 图谱 / 训练策略
3
基座：Qwen3.5-4B、Qwen3.6-27B、GPT-5.6 Luna
100×
部分系统的构建耗时是 RAG 的一百倍量级
对照组是 naive RAG：按对话轮切块、约 1024 字符合并、BM25 + 向量双路召回、重排后取 top-k。听起来平平无奇，但这是全文的关键——它被认真配置过。
为了不让记忆系统“吃亏”，作者做了一个容易被忽略的设计：用 Retrieval Scope（模型实际读到的 token 占可检索存储的比例）对齐预算，把各系统的 top-k 往上调，保证它们看到的记忆不比 RAG 少。这套做法把“记忆系统只是没调参”的质疑堵掉了一大半。
评分用 LLM-as-judge（Qwen3.6-27B），与人工标注一致率 95.1% / 100% / 97.3%；不用 F1 或 BLEU，避免惩罚“答对但换了说法”。
02主账Ledger
主账本：绝大多数科目是赤字
LongMemEval-s 上的判定准确率（%），括号内是相对 RAG（2 轮）的差。RAG 1 轮本身已经是 70.2 / 77.6 / 82.0。
| 系统 | Qwen 4B | Qwen 27B | Luna |
|---|---|---|---|
| RAG (2 轮) | 72.2 | 81.4 | 90.0 |
| A-Mem | 70.4 −1.8 | 79.4 −2.0 | 84.0 −6.0 |
| MemOS | 62.0 −10.2 | 76.6 −4.8 | 78.0 −12.0 |
| SimpleMem | 60.2 −12.0 | 73.6 −7.8 | 84.0 −6.0 |
| MemoryOS | 64.6 −7.6 | 73.4 −8.0 | 80.0 −10.0 |
| LightMem | 57.6 −14.6 | 78.8 −2.6 | 77.0 −13.0 |
| OpenViking | 31.8 −40.4 | 58.8 −22.6 | 63.0 −27.0 |
| HippoRAG2 | 68.8 −3.4 | 78.2 −3.2 | 81.0 −9.0 |
| MAGMA | 60.8 −11.4 | 68.2 −13.2 | 76.0 −14.0 |
| PlugMem | 68.0 −4.2 | 75.8 −5.6 | 70.0 −20.0 |
| Mem-T | 71.0 −1.2 | 75.0 −6.4 | 78.0 −12.0 |
| Memory-R2 | 65.8 −6.4 | 73.0 −8.4 | 79.0 −11.0 |
另外两个榜上偶有胜绩：PersonaMem-v2 的 MemOS +1.0、MemoryOS +0.9；MINT-Eval 的 PlugMem +3.3、Mem-T +3.9（Luna）。均是个位数，且不稳定。
成本栏更难看
MemoryOS 离线构建记忆要 126.5 小时、A-Mem 117 小时、MAGMA 103 小时；RAG 建库 0.11 小时。准确率还低 5–10 分。论文的 Pareto 图上，多数记忆系统落在“又贵又差”的右下角——这条比准确率更难反驳。
03拆账Benefit / Tax
把净价值拆成两栏
记忆并没有全面输。逐题对比就会发现：它答对了 RAG 答错的一些题，同时也弄丢了 RAG 本来答对的题。
memory benefit：跨会话把事实串起来、把一句话里透露的偏好显式化、把“上周三”锚定成具体日期、把代码 diff 转成可语义检索的描述、按用户要求真正忘记——这些是设计本意，也在实测里兑现。
memory tax：同一套改写操作带来的副作用——证据被删、被拆散、被稀释、被改写到和 query 对不上。当税大于收益，整体就跌破 RAG。
Evidence Compressor / 示意
保留 100% · 证据完整度 92
3 月 12 日，用户提到在 Brookside 看了 4 套联排， 预算上限 62 万，最后那套 3 居室做了房屋检查， 说“其实有点超预算，但采光太好了，认了”， 中介建议 4 月底前出价，因为卖家要换房。 （这条和 2 月 1 日在 Cedar Creek 看的那套不是一回事。）
0 · 原始历史
拖动滑杆看证据怎么被“蒸馏”掉。此时模型能直接读到你原话里的每一个数字。本图为概念示意，非论文实验数据。
论文用 Venn 图逐题统计这种得失，结论是：在检索友好的任务上，收益那栏本来就小，税就格外显眼。这也解释了为什么“轻量甚至不建显式记忆”的方案常常更好——它们继承了 RAG 的分数，几乎不交税。
04税源Three Sources
税从哪来：三处
① 保真度 — 信息还在不在
人工标注 500 条原始对话轮，追溯每条在记忆里对应到什么。下表是“完全无损”的比例：
0%100% 完全保留
OpenViking 另有 38.0% 的原始轮次在记忆里根本没有对应单元——信息在构建阶段就没了，后面再强的检索也救不回来。
② 可达性 — 保住了也未必找得到
给每个 query 用 oracle（只喂正确证据）测一遍：多数系统的分数会大幅回升，说明失败不只是构建丢信息，而是检索时够不着。多轮重放检索时，记忆系统第一轮召回的金标证据普遍少于 RAG，要挖更深才凑齐。
微观成因有三类反复出现：证据被拆散到多个记忆单元、被无关内容稀释、被改写后与 query 的语义偏移（论文画了相似度漂移图）。
③ 稳健性 — 换个模型还灵不灵
用 A 模型建记忆、B 模型来问答，记忆系统的分数波动普遍大于 RAG。对“记忆可以长期复用、跨模型继承”的产品叙事，这条是硬伤：记忆里沉淀的其实是某个特定模型的偏置。
05天花板Benchmark
还有一半锅在榜单
作者拿最朴素的检索基线扫了 13 个记忆 benchmark。结论很扎心：不少榜本身就不难。
| Benchmark | IDF 关键词 | RAG 混合 | 检索占比 |
|---|---|---|---|
| EverMemBench-MCQ | 68.2 | 82.7 | 0.50% |
| HaluMem-Medium | 52.5 | 79.9 | 0.61% |
| LongMemEval-s | 46.2 | 77.6 | 1.96% |
| LoCoMo | 58.8 | 75.3 | 3.43% |
| PersonaMem-v2 | 39.5 | 46.8 | 1.48% |
| AMA-Bench | 29.0 | 48.4 | 17.4% |
| KnowMe-Bench | 17.6 | 47.0 | 0.94% |
纯 IDF 关键词匹配就能在好几个榜上到 50%+，混合检索普遍 70% 上下。天花板低，记忆稍有一点税就显得很难看；而这也意味着“我们比 baseline 高 3 分”的论文结论，可能只是 baseline 没配好。
作者顺手统计了一件事：他们复现的这批记忆论文里，只有 3 篇报告了 RAG 的数字，其余都只跟别的记忆系统比。
06外延Beyond Chat
不止对话记忆
经验记忆：一半灵一半不灵
| 任务 | 无记忆 | RAG | 最好的记忆法 |
|---|---|---|---|
| ALFWorld（具身） | 52.2 | 73.1 | 76.1 · Memp |
| τ²-Bench（工具） | 61.0 | 69.0 | 78.0 · G-Memory |
| WebShop（网页） | 45.9 | 38.4 | 44.5 · Memp |
| BigCodeBench（写码） | 16.9 | 21.6 | 20.3 |
| AppWorld（工具） | 12.5 | 22.6 | 22.6 · 并列 |
同一套“把轨迹蒸馏成流程/策略”的做法，在具身任务和客服政策任务上明显有用，在写代码和调工具 API 上反而不如直接检索原始轨迹。税的多少强烈依赖任务域，没有普适配方。
世界模型：原始帧最抗打
视频长时一致性上，直接回灌原始帧的 I3DM 拿了最高 SSIM（0.560 / 0.430），KV cache、视觉 latent、memory token 全部更低。压缩得越狠越差：FramePack 只有 0.217 / 0.279。记忆载体越“抽象”，越容易丢掉场景里的具体细节。
07对策Implications
三条不换架构的减法
作者刻意只给轻量改动——不引入新模块、不加检索深度、不换更强的模型。
- 留一条回原始历史的路。记忆检索的同时也从 raw history 检索，联合重排。等于承认“记忆会出错，但错误可赎回”。实测能稳定减少税，代价很小。
- 递归记忆：记住自己怎么记的。把历史 query、命中的证据、检索路径本身也写进记忆，让“第二轮才挖到的证据”下次第一轮就能取到。他们把这条同时当作 query 侧的 test-time scaling。
- 别盲目提前建记忆。纯 AoT 要猜未来需求，猜错就是纯税；纯 JiT 把成本推到线上，用户等不起。折中是建模未来需求——用兴趣、习惯、访问模式当先验，像推荐系统一样预估哪些信息会重要，只对有把握的部分做改写。
08存疑Limits
局限，以及我的保留
作者自述：baseline 代表性而非穷尽；benchmark 静态、离线、英文；只到 GPT-5.6 Luna(low)；部分榜按分层抽样；更远的 omnimodal / latent / 参数化记忆没覆盖。
My take · 不是论文结论
一、RAG 是调过的，记忆系统基本吃默认配置。他们用 Chapter B.3 的 top-k 对照做了辩护（多数情况是给记忆系统调高 k），但“精心配置的基线 vs 默认配置的对手”这条偏差不可能完全消掉。
二、“税”是相对量。定义在 RAG 之上，就注定在检索友好任务上税重。这不是新发现，是定义的必然。真正有价值的是那句话：任何记忆系统的论文和产品，都必须报 naive RAG 的数字。
三、最硬的结论是成本。为了低 5 分准确率多花 100 倍 token、100 小时离线构建——工程上无可辩驳，也不依赖任何 benchmark 争议。
四、对做产品的人，这文的实操价值是顺序：先上混合检索 + 重排，量出基线；再只加能说清收益的记忆（时间锚定、偏好显式化、跨会话多跳）；永远保留原始历史可回退。别一上来就三层记忆加图谱。
原文：arXiv:2610.34073《Memory Tax: Dissecting the Net Value of Agent Memory》，Xuan He、Sining Zhoubian、Ruozhen Yang、Yuhao Wen、Zhineng Wang、Yuyang Hu、Ke Yang、Yuyu Zhang、Ping Nie、Jiawei Han、ChengXiang Zhai。项目页 hexuan21.github.io/MemoryTax，作者称将开源代码与结果。