国内多校联合 | AgentBoard：面向多轮大语言模型 Agent 的细粒度评测与可视化分析平台

原创

Chang Ma
Chang Ma

安全学术圈

2026年11月2日 18:30
四川

去阅读

原文标题：AgentBoard: An Analytical Evaluation Board of Multi-turn LLM Agents
原文作者：Chang Ma, Junlei Zhang, Zhihao Zhu, Cheng Yang, Yujiu Yang, Yaohui Jin, Zhenzhong Lan, Lingpeng Kong, Junxian He
作者单位：香港大学、浙江大学、上海交通大学、清华大学、西湖大学、香港科技大学
原文链接：NeurIPS 官方论文页面
发表会议：NeurIPS 2024，Datasets and Benchmarks Track
开源代码：hkust-nlp/AgentBoard
项目主页：AgentBoard

1、背景介绍

随着大语言模型推理和指令遵循能力的发展，研究者开始将其用于构建能够感知环境、制定计划并执行操作的智能体。与普通问答不同，Agent 需要在多轮交互中持续决策：读取当前观察，选择动作，接收环境反馈，再据此调整后续行为。例如，完成一次网页购物，需要依次搜索商品、检查属性、选择规格并提交购买；完成家庭操作任务，则需要探索房间、寻找物品并执行相应操作。

这类任务对评测提出了新的要求。一方面，Agent 的表现与环境密切相关，单一场景难以反映其通用能力。另一方面，任务通常具有部分可观测性，模型不能直接获得完整的环境状态，必须通过探索补充信息。因此，评测需要保留真实的交互过程，才能观察模型如何利用历史记录和反馈完成目标。

已有评测常用最终成功率概括 Agent 的能力。然而，多轮任务中的失败具有不同原因：有的模型无法生成合法动作，有的能够完成大部分步骤却卡在最后，有的则在早期就停止有效探索。仅报告成功率，难以揭示这些差异。

针对这一问题，本文提出 AgentBoard，将多样化任务、细粒度指标与可视化分析结合起来，帮助研究者同时了解 Agent 的最终表现和执行过程。

2、Motivation

最终成功率无法充分区分不同程度的失败。 假设两个 Agent 都未完成“清洗鸡蛋并放入微波炉”的任务，其中一个尚未找到鸡蛋，另一个已经找到并清洗鸡蛋，只差最后放入微波炉。若仅使用成功率，两次执行都记为失败，但它们反映的能力明显不同。这个对照用于说明指标设计动机，并非额外的模型实验。

原文以该家庭任务说明子目标标注方法：打开冰箱、取出鸡蛋、清洗鸡蛋、将鸡蛋放入微波炉。通过检查执行过程是否达到相应状态，可以判断 Agent 推进到了哪一步，而不必等到完整任务结束才给出反馈。

统一的总分也难以解释失败原因。 较低的任务表现，可能来自规划不足、环境知识缺失、动作格式错误或对反馈利用不充分。研究者需要将结果分解到任务类型、任务难度和具体执行轨迹，才能确定后续优化方向。

因此，AgentBoard 希望回答三个问题：Agent 完成了多少任务？未成功时推进到了什么程度？这些表现暴露了哪些能力短板？

3、本文方法

3.1 统一多轮交互框架

AgentBoard 将不同任务组织为统一的交互流程。每一轮中，Agent 根据任务目标、当前观察和历史动作生成下一步操作；环境执行合法操作并返回更新后的观察，或者在动作不合法时返回错误信息。该流程持续进行，直到任务完成或达到交互限制。

为尽量减少复杂 Agent 结构对模型比较的影响，论文采用相对简单的 reflex agent，主要使用 Act-only 提示方式，并加入一个上下文示例。当交互历史超过模型的上下文限制时，采用滑动窗口保留最近的历史记录。这样的设置便于在较为一致的条件下比较不同模型的基础 Agent 能力。

需要注意，Act-only 并不意味着系统没有历史记忆，而是模型主要直接输出动作，不要求在每一步额外输出显式的思考过程。

3.2 构建覆盖多类场景的任务集合

AgentBoard 包含四类场景、九类任务，共 1,013 个环境实例。

这些任务围绕多轮交互进行统一适配，主要处于部分可观测环境。论文的实际评测采用文本观察和文本动作，即便涉及网页或具身场景，也不等同于直接评测视觉 GUI 操作能力。

3.3 细粒度任务进度率

进度率是本文的核心设计，用于衡量执行过程接近目标的程度，取值范围为 0 到 1。AgentBoard 根据任务特性采用两种实现。

基于状态匹配的进度率。 对能够直接比较当前状态与目标状态的任务，通过状态匹配程度计算进度。例如，表格操作可以比较当前单元格内容与目标表格内容。

基于子目标的进度率。 对中间状态难以直接比较的任务，研究者将目标分解为若干子目标，并标注可检查的完成状态，再据此计算匹配比例。

在时间步 t，论文记录的是截至该步取得的最高匹配得分。因此，进度率反映“执行过程中曾达到的最好进展”，不能直接理解为当前状态始终保持了相同程度的完成度；它也不是简单地把所有历史时刻出现过的子目标任意合并计数。

这种设计使研究者能够同时观察任务是否最终成功，以及失败轨迹是否包含有意义的中间进展。

3.4 多维分析与可视化面板

AgentBoard 在统一评测之外，还提供交互式分析面板，支持查看不同模型的整体表现、简单与困难任务的差异、进度随交互步数的变化，以及具体执行轨迹。开源实现结合 Weights & Biases 组织可视化结果，并保存本地评测日志。

其中，grounding accuracy 表示合法动作所占比例，侧重衡量模型能否把意图转换为环境可以执行的动作。它并不表示这些动作一定有助于完成目标，因此需要与成功率、进度率共同分析。

论文还从记忆、规划、世界建模、自我反思、动作落地和空间导航六个维度构建能力画像。需要注意，这些子能力得分基于任务需求及模型表现进行汇总，属于诊断性指标，不能直接视为六项能力彼此独立、经过严格隔离的测量结果。

4、评估

4.1 实验设置

评测环境。 实验覆盖前述九类任务。各任务包含不同数量的实例，例如 AlfWorld 为 134 个、WebShop 为 251 个、WebArena 为 245 个，合计 1,013 个实例。

评测模型。 论文主结果表包含 19 个模型，涵盖 GPT-4、Claude2、GPT-3.5-Turbo 等闭源模型，Llama、DeepSeek、CodeLlama 等开放权重模型，以及 AgentLM、xLAM 等经过 Agent 任务训练的模型。

评价指标。 主要报告任务成功率与进度率，并结合合法动作比例、难度分组结果和长程交互曲线进行分析。

指标验证。 论文对八个评测组分别收集 60 条执行轨迹，合计 480 条，由四名论文作者在不查看自动得分的情况下评价进度，并将人工评分与自动指标比较。这里的八组将工具任务合并统计，与主评测中的九类任务口径不同。

以下数据均来自论文发表版本，反映当时的模型与实验设置。

4.2 进度率能揭示成功率难以体现的差异

原文表 3 的部分平均结果如下，数值单位均为百分比。

Mistral-7b 与 Llama2-13b 的成功率都很低，但进度率分别为 24.6% 和 18.9%，相差 5.7 个百分点。这说明，即使两个模型完成整个任务的次数较少，它们在执行过程中推进目标的能力仍可能存在差异。

人工验证中，自动进度率与人工评分的 Pearson 相关系数约为 0.95 至 0.99。这为该指标提供了支持，但验证者是论文作者，且采用离散等级评分，结论仍受评测样本和验证设计约束。

4.3 复杂任务会显著降低完成能力

论文按子目标或目标约束数量划分任务难度。以 GPT-4 为例，其简单任务平均成功率为 65.6%，困难任务为 34.4%，下降 31.2 个百分点；对应进度率从 79.2% 降至 62.7%。

这一差异说明，在论文设置下，模型在困难任务中仍能取得部分进展，但更难将多个步骤稳定串联为完整成功。对评测平台而言，按难度分组有助于判断总体得分是否主要来自较简单的任务。

4.4 合法动作比例与最终表现并不等价

论文发现，较高的合法动作比例并不必然对应更高的任务表现。例如，GPT-3.5-Turbo-16k 的平均 grounding accuracy 为 76.2%，高于 DeepSeek-67b 的 67.6%，但其平均进度率为 34.2%，低于后者的 38.5%。

这表明，模型即使能够输出格式正确、可被执行的动作，也可能缺乏推进目标所需的规划或决策能力。因此，平台若仅统计工具调用是否成功，会遗漏对实际任务能力的判断。

4.5 长程交互分析能够定位进展停滞

论文通过绘制进度率随交互步数变化的曲线，观察模型能否持续推进任务。在 AlfWorld 和 PDDL 中，GPT-4、Claude2 能在较长交互中继续取得进展；部分开放权重模型则较早进入平台期。

因此，增加可用交互步数未必能够直接提升任务表现。若进度长期不变，研究者需要进一步查看模型是否陷入重复操作、缺乏探索，或者无法根据反馈修改计划。

5、Case Study

5.1 从整体结果定位到具体失败轨迹

原文以 GPT-4 展示面板的使用过程。研究者首先在汇总面板比较模型整体表现，再通过任务维度发现 Jericho 和 WebArena 的成功率相对较低，随后进入对应任务面板，继续查看难度分组和单条轨迹。

在 Jericho 的一个“zenon”子任务中，Agent 成功打开牢房门，却未能分散守卫注意力，最终无法逃脱。论文认为，该失败与探索不足有关：Agent 应进一步探索房间中可用于吸引守卫注意的物品。

这一案例展示了平台如何把“未成功”的结果转化为更具体的诊断线索。最终成功率描述结局，进度与轨迹则帮助定位 Agent 卡在何处、可能缺少什么行为。

5.2 已有进展却未正确结束的工具任务

论文还指出，CodeLlama-34b 在工具使用任务中经常未能生成规定的 finish 动作，导致其进度率相对较高，但成功率较低。模型已经完成部分有效操作，却未满足完整的任务终止要求。

对这一现象，进度率与成功率提供了不同信息：前者保留中间操作的有效性，后者检查是否真正符合任务完成协议。两者结合，有助于区分“没有推进任务”和“推进后未正确收尾”。

6、局限性与研究启发

6.1 论文的主要局限

人工子目标标注的扩展成本。 细粒度进度依赖子目标及完成状态标注。任务越复杂，标注和验证的成本越高，粒度选择也会影响指标解释。

真实环境中的稳定评测仍有困难。 论文主要通过受控、标准化的环境进行比较。真实网站内容和业务状态会变化，可能导致目标状态和正确答案发生改变；具有修改能力的 Agent 还需要在评测过程中受到适当约束。

评测对象与交互方式存在范围限制。 本文重点考察文本环境中的基础 Agent 能力，不能直接推广为对视觉操作、多智能体协作或所有复杂生产系统的完整评价。

6.2 对 Agent 评测平台研究的启发

以下是结合论文作出的研究分析，不属于作者已验证的实验结论。

首先，评测平台可以同时保留结果指标和过程证据。成功率适合汇总比较，子目标完成记录和执行轨迹则便于分析失败，两者具有互补价值。

其次，统一接口与指标适配需要共同设计。不同环境可以共享任务启动、动作执行和日志记录接口，但进度判断仍应结合具体状态与约束，不能仅依赖统一的文本相似度。

再次，后续研究可以关注进度指标的扩展成本与有效性，例如能否辅助生成子目标、如何支持多条合理完成路径，以及如何验证自动评分与真实任务完成情况一致。

对于以“Agent 评测平台”为题的研究，AgentBoard 的参考价值在于把任务执行、过程测量和交互式诊断组织成了一套可研究、可复现的系统。

作者团队介绍

根据论文首页，Chang Ma 来自香港大学，Junlei Zhang 来自浙江大学与西湖大学，Zhihao Zhu 来自上海交通大学，Cheng Yang 来自清华大学，四人为共同第一作者。其他作者包括清华大学的 Yujiu Yang、上海交通大学的 Yaohui Jin、西湖大学的 Zhenzhong Lan、香港大学的 Lingpeng Kong，以及香港科技大学的 Junxian He。

论文附录 A 说明，Chang Ma 实现了 AgentBoard 的框架代码与可视化面板，四位共同第一作者分别负责不同任务的实现、适配和评测；Junxian He 是该项目的主要指导者。

参考资料与图表说明

1. AgentBoard：NeurIPS 2024 官方论文与附录：方法见第 2—3 节；主要实验见表 3—5 和第 4 节；案例见第 5 节；作者贡献见附录 A；能力评分规则见附录 G；数据统计见表 14。
2. AgentBoard 项目主页：任务概览与结果展示。
3. AgentBoard 官方代码仓库：评测接口、日志与面板使用说明。

本文配图均摘自原论文，保留原有图号；结果表为原文表 3 的节选与中文整理。正文为中文阅读总结，研究启发已单独标明。

安全学术圈 | 投稿须知
有兴趣加入学术圈的请联系 secdr#qq.com

---