文章总结： 论文EvolveR提出一种经验驱动的自进化范式,让LLMAgent通过闭环生命周期实现自我进化。核心包括离线自蒸馏将交互轨迹转化为策略原则库、在线交互应用经验指导推理、以及策略进化通过强化学习内化经验使用策略。实验表明该方法在多个QA基准上超越强基线,且经验检索是性能提升的关键组件。该框架使Agent从无状态执行者转变为能从自身成功和失败中持续进化的终身学习者。 综合评分： 85 文章分类： AI安全

论文解读 | EvolveR：通过经验驱动自我进化的LLM Agent

杨紫丹 杨紫丹

北邮 GAMMA Lab

2026年7月7日 11:59 北京

在小说阅读器读本章

去阅读

大语言模型Agent正在从“调用工具的执行者”，逐渐变成能完成复杂任务的自主系统。一次任务可能需要Agent反复思考、搜索、验证；跨场景的部署则要求Agent在不同领域间迁移能力。无论具体任务如何，这些Agent大多依赖外部知识库或静态技能库来辅助决策。

然而，现有框架主要关注弥补外部知识缺口，却未能解决一个更根本的限制：Agent无法系统性地从自身交互经验中学习并迭代优化解题策略。

本文讲解的论文提出EvolveR，让Agent通过一个完整的闭环经验生命周期实现自我进化。Agent不再被动依赖外部注入的技能，而是自主将交互轨迹蒸馏为可复用的策略原则，并通过强化学习将这些原则内化为自身的决策策略。

论文题目： EvolveR: Self-Evolving LLM Agents through an Experience-Driven Lifecycle 论文链接： https://arxiv.org/abs/2510.16079 代码链接： https://github.com/KnowledgeXLab/EvolveR

1. 引言

1.1 从“无状态执行”到“经验驱动进化”

大语言模型推动了能够通过高级推理和工具使用解决多样化任务的自主Agent的发展。然而，当这些Agent处理序列化任务时，出现了一个显著局限：每次交互都被独立对待。它们将任务视为孤立的片段，遭受”操作失忆症”的困扰，无法从过去的成功中学习，也无法避免重复犯错 。这种无法利用经验的缺陷从根本上阻碍了它们向更高自主性和智能方向发展。

相比之下，人类通过持续的生命周期学习，利用成功和失败来长期优化策略。赋予LLM Agent类似的生命周期，是弥合”片段式问题解决”与”可持续自我进化”之间差距的关键。而现有框架如检索增强生成（RAG）虽然能有效解决知识缺口，却未能解决更根本的局限：Agent无法系统性地从自身交互后果中学习 。

作者将现有Agent学习范式归纳为四类：

• 无状态执行： 标准Agent每次任务独立处理，任务完成后丢弃经验；
• 原始轨迹回放： Agent检索未经过蒸馏的原始过往轨迹来指导决策。但这种方式难以泛化，Agent只是在模仿过去的解决方案，而非提炼可复用的策略原则；
• 外部教师蒸馏： Agent依赖外部模型来总结洞察并存入外部记忆。虽然资源高效，但这种反思只作为临时提示，Agent的底层策略并未改变；
• EvolveR（本文）： Agent自主将自身经验蒸馏为原则，并通过策略进化实现完整的闭环生命周期。

EvolveR实现了一个完整的经验生命周期，Agent通过在线交互收集轨迹，在离线自蒸馏阶段将其蒸馏为抽象策略原则库，随后学会将这些原则应用于新任务。更重要的是，EvolveR通过强化学习机制使Agent能够真正利用经验——Agent不是简单地模仿过去的交互，而是基于所学内容进化。

2. 动机

2.1 现有方法的核心局限

现有Agent系统主要依赖外部知识检索来弥补信息缺口，但这种方式未能解决一个更根本的局限：Agent无法从自身交互的系统性学习中获益。

先前工作试图通过多种方式解决这一局限：

• 一些工作存储跨任务的自然语言反思，依赖强大的外部LLM存入外部记忆。这种方法虽然资源高效，但反思只作为临时提示，Agent的底层策略并未改变；
• 另一些工作通过检索完整过往轨迹来直接指导决策。然而，这种方式依赖原始案例，难以泛化，更关键的是无法进行抽象——Agent只是在模仿过去的解决方案，而非提炼使这些方案成功的可复用策略原则。

2.2 自蒸馏与策略内化的必要性

EvolveR采用自蒸馏机制，让Agent用自身的策略模型πθ分析过去的交互轨迹。通过精心设计的提示，让模型扮演专家角色，审视每条轨迹并根据其结果，将核心策略洞察提炼为简洁的自然语言陈述。

每条原则由两部分组成：自然语言描述 + 结构化知识三元组。这种自蒸馏方法使Agent能够自主生成可复用的知识。

更重要的是，EvolveR通过策略进化机制完成了学习回路。Agent的在线交互行为受从经验库中检索到的原则所引导，因此收集的轨迹本质上是经验引导的。GRPO更新不只是学习通用的推理策略，而是明确学习如何有效利用自身蒸馏出的经验来产生成功结果。

3. 方法

3.1 总体框架

EvolveR框架围绕三个核心、相互关联的组件构建：

• 离线经验自蒸馏（Offline Experience Self-Distillation）： 冻结Agent策略参数，系统化地将原始轨迹蒸馏为策略原则库；
• 在线交互（Online Interaction）： Agent应用蒸馏出的经验指导其深思熟虑的推理和行动，生成新的高质量交互数据；
• 策略进化（Policy Evolution）： 用在线收集的轨迹通过强化学习更新Agent的策略参数，从而闭合回路。

3.2 经验自蒸馏

原则生成。 自蒸馏过程利用Agent自身的策略模型πθ。通过精心设计的提示让模型扮演专家角色，审视每条轨迹，根据其结果将核心策略洞察提炼为自然语言陈述——成功轨迹产生指导性原则，失败轨迹产生警示性原则。

去重与整合。 为维护高质量经验库E，每条新原则需经过严格的整合流程：

• 首先对同一问题产生的新原则进行成对语义等价检查，只保留一个代表性原则；
• 对新原则，先用嵌入相似度检索E中最相似的原则，再用Agent模型进行二元语义等价判断。

具体地，设是从轨迹τ蒸馏出的候选原则，经验库E的更新方式为：

其中sim(·,·)是原则间的余弦相似度，θ是相似度阈值，是与最匹配的已有原则。Merge操作将τ链接到最佳匹配下。

质量控制。 每条原则跟踪其使用次数和成功次数，计算经验评分：

评分低于阈值θ的原则会被定期剪枝，确保经验库保持高质量和紧凑性。

3.3 在线交互

在线阶段是Agent应用蒸馏原则解决问题的交互测试场。Agent在深思熟虑的推理循环中运行。

经验作为策略原则。 与必须从头通过试错发现推理模式的标准Agent不同，EvolveR Agent被自身的过往经验提供的策略智慧所引导。Agent可以执行<search experience>动作，检索到的原则不仅提供事实信息，还提供塑造后续推理的启发式指导。

为未来蒸馏生成高质量轨迹。 在线阶段的最终目的不仅是解决当前任务，更是为下一轮离线反思生成高质量数据。由于Agent的行动受经验证的原则引导，产生的轨迹不是随机游走，而是结构化、经验引导的问题解决记录。

3.4 策略进化

奖励函数。 采用复合奖励函数

τττ

• 结果奖励 ：基于最终答案正确性的稀疏二元奖励，由与标准答案的精确匹配决定；
• 格式奖励 ：评估推理过程质量的密集塑形奖励，鼓励合理的思考步数和搜索经验与知识的行为，且要求轨迹结构完整。

策略优化。 使用Group Relative Policy Optimization (GRPO) 更新策略，优化目标为：

其中ρθ是重要性采样比，Â是优势估计，最后一项是KL散度惩罚项以约束策略更新。

4. 实验

4.1 主实验：在7个QA基准上超越强基线

作者在7个复杂问答基准上评估EvolveR，涵盖域内（NQ、HotpotQA）和域外（TriviaQA、PopQA、2Wiki、Musique、Bamboogle）任务。基座模型为Qwen2.5-3B和7B 。

对比方法涵盖三大范式：提示方法（Direct Inference、CoT、RAG、IRCoT、Search-o1）、监督微调（SFT、Rejection Sampling）和强化学习方法（Search-R1、DeepSeek-R1）。

EvolveR在所有基准上取得最优平均表现：3B模型平均EM从Search-R1的0.303提升到0.382，7B模型从0.385提升到0.417 。在域外多跳推理任务（如2Wiki、Musique）上的优势尤为明显，说明经验驱动的进化提升了泛化能力。

4.2 模型规模泛化性：从0.5B到3B的一致提升

为验证EvolveR是通用范式而非特定规模的方法，作者在Qwen2.5-0.5B、1.5B和3B上进行了实验 。

结果揭示了一个清晰且一致的积极趋势：随着基础模型参数数量的增加，进化者代理的性能在每个基准上都有显著提高。平均性能从0.5 B模型上的0.150单调上升到1.5 B模型上的0.270，并进一步上升到3B模型上的0.382。这证明经验驱动生命周期能有效利用更大基座模型更强的推理能力，且性能会随未来模型进步持续改善。

4.3 核心消融实验

自蒸馏 vs 教师蒸馏。 对比EvolveR（自蒸馏，使用自身模型）和使用GPT-4o-mini作为外部教师的变体。结果呈现规模依赖的转折。对于像0.5B变体这样的较小模型，更强的外部教师提供了明显的优势，因为基础模型自身的蒸馏能力有限。然而，当模型扩展到3B时，发生了逆转：自蒸馏（平均0.382）优于教师指导的变体（平均0.370）.作者解释为”认知对齐”——Agent自身蒸馏的原则与其策略更匹配。

经验检索的必要性。 当经验检索被禁用时，所有模型尺度的性能都明显下降。对于3B模型，平均性能从0.382显著下降到0.340，这说明EvolveR框架训练的代理，虽然本身很强大，但只有当它能够访问并以过去的相关原则为条件时，它才能实现其全部潜力。证明经验检索是EvolveR实现最优性能的关键且不可或缺的组件。

组件归因。 虽然单独的RL提供了基线改进（0.325），但不足以达到最佳性能。经验检索则是贡献了大量的直接收益，将仅RL的基线从0.340提高到0.382。此外，RL进一步增强经验条件化训练（0.357→0.382）。总的来说，原则检索和RL是互补的：检索提供主要的推理指导，而RL优化策略以有效利用这些提炼的原则。

4.4 长期扩展性：近5万条原则下性能稳定

关键工程问题：经验库随训练增长，检索延迟和性能是否会退化？

实验证明，即使当经验库扩展到近5万条原则时，检索延迟仍然可以忽略不计（0.20 s），表明该框架没有面临严重的计算瓶颈。此外，尽管候选池大幅扩大，检索嘈杂原则的风险固有地增加，但代理的性能并没有崩溃。相反，它保持高度稳定，并在45k尺度上达到峰值。动态评分和RL条件策略的组合对大量经验增长和长期噪声具有高度鲁棒性。

5. 结论

EvolveR的核心贡献，是提出了一种经验驱动的自进化范式——一个完整的闭环生命周期，让Agent从仅仅访问知识转向主动构建和进化专业技能。它通过离线自蒸馏将原始轨迹转化为策略原则库，在线用强化学习将经验的使用策略内化到Agent参数中。

实验证明了EvolveR在多个复杂QA基准上的有效性，系统化消融验证了自蒸馏和经验检索机制的显著价值。虽然蒸馏原则的质量与基座模型能力相关。但总体而言，EvolveR给出了一个清晰的研究方向：未来的LLM Agent不一定只是“调用外部工具的无状态执行者”，也可以是一个能从自己的成功和失败中持续进化、自主积累“认知技能”的终身学习者 。

免责声明：

本文所载程序、技术方法仅面向合法合规的安全研究与教学场景，旨在提升网络安全防护能力，具有明确的技术研究属性。

任何单位或个人未经授权，将本文内容用于攻击、破坏等非法用途的，由此引发的全部法律责任、民事赔偿及连带责任，均由行为人独立承担，本站不承担任何连带责任。

本站内容均为技术交流与知识分享目的发布，若存在版权侵权或其他异议，请通过邮件联系处理，具体联系方式可点击页面上方的联系我。

本文转载自：北邮 GAMMA Lab 杨紫丹 杨紫丹《论文解读 | EvolveR：通过经验驱动自我进化的LLM Agent》