文章总结： 本文介绍人工智能代理开发从提示工程向循环工程的演进，重点阐述通过设计自主迭代系统（计划-行动-观察-修正循环）解决生产环境中的稳定性与安全问题，并提出构建可信系统的四阶段路线图（核心架构、适配规模、安全治理、评估机制），强调明确停止条件和克服生产环境挑战的重要性。 综合评分： 82 文章分类： AI安全,安全开发,安全建设,安全运营,解决方案

人工智能代理开发中的新常识

AI与代码安全

2026年6月21日 23:55 中国台湾

在小说阅读器读本章

去阅读

学习Loop Engineering循环工程：如何通过运行代码创建“可靠的生产自主系统”

人工智能代理开发已从提示的创新发展到设计“循环（迭代系统）

你是否曾对用 ChatGPT 创造性地设计提示，或者在自己的电脑上运行一个“自动完成任务的 AI 代理”感到兴奋？

然而，如果你尝试直接运行这个代理程序来工作或作为生产服务，你会突然遇到各种各样的问题。“程序运行到一半崩溃了，导致数据不完整”、“程序意外陷入无限循环，导致API使用费过高”、“程序行为会根据模型的情绪而出现异常”，等等。

目前，人工智能开发的趋势正显著转变，从巧妙的指令（提示）转向通过 AI 的反复试验自主设计整个系统=“循环工程 （Loop Engineering）”。

一、 LLM 开发的“三个阶段”

我们尝试了多种方法来解锁大型语言模型（LLM）的能力。 这大致可分为三个阶段。

1.1提示工程

当大型语言模型首次出现时，最重要的是“如何给出指令”。 该技术通过设计措辞和包含示例（Few-shots）来提升输出质量。

1.2.情境工程

随着模型一次可读取字符数（上下文窗口）的增加，考虑输入哪些信息（搜索数据、数据库模式、API 描述等）变得比指令的编写方式更为重要。 RAG（搜索扩展生成）及类似方法属于这一类。

1.3 Loop Engineering

现在，主要关注点已从“一次性交互（单次）”转向“自主重复（多轮）”。它不再是给模型下达指令并立即给出答案，而是一种设计技术，构建一个模型计划、执行、观察结果并反复修正直到目标达成的系统 。这就是循环工程 （Loop Engineering）。

1.4打个比方：如何请同事帮忙做某项工作

如果你想象一个场景，请同事做一项工作，这种区别很容易理解。

提示： 制作并提交一份详细的说明书，以便易于理解。

背景 ：请提交参考文件和说明书。

循环 ：发放说明和材料，建立一个系统（安排），让你能自主移动，说“然后自己执行，边看结果边修正，遇到问题要提问，完成后报告”。

从现在起，工程师们不会修改文本，而是设计人工智能的工作过程 。

二、“提示链”和“循环”之间的根本区别

一个顺序执行多个提示的系统（提示链）也称为代理，但它与循环工程中的“循环”本质上不同。

提示链（固定步骤 ）：执行“步骤 A”后，始终执行“步骤 B”，然后继续“步骤 C”，依此类推，路线从一开始固定。模型简单地填充预定框架。

循环（动态/条件分支）： 重复“计划→行动→观察→修改”。模型会审查结果（如发生错误或数据与预期不同），并每次决定下一步行动。

循环是应对“不确定任务、你无法提前决定如何推进”的必备结构。

2.1最重要的“停止条件（完成的定义）”

设计循环时，有一点绝对不能忽视，那就是 “停止条件（终止条件）”。一个不知道何时结束的循环只会继续浪费 API 代币（资金）。

在loop‘工程中，不允许像“让它看起来更好”或“让代码干净”这样的模糊目标。 你必须定义特定条件，使机器能够客观地验证而无需人工干预 ，比如“通过所有测试”或“输出符合指定格式（模式）”。 目标越精确，循环在目的地收敛的稳定性就越高。

三、为什么构建人工智能代理这么难？

循环极其强大，但正因为它们强大，开发者面临着严重的陷阱。

3.1静态和结构性故障（隐形错误）

虽然典型程序中的错误可以立即被注意到，但代理可能会出现静态且不方便的故障，例如“表面上在运行，但无休止地重复相同的无用操作（无限循环）”或“为了实现其字面目标而随意删除无关的重要数据”。

3.2放任损坏的状态（不一致）

如果代理在中途崩溃，只有部分动作被执行，其余动作未执行，系统状态会部分重写。

3.3摆脱“笔记本电脑循环”

运行在个人 PC 脚本上的简单代理（笔记本循环）既简单又有趣，但它们对生产环境中运行的系统非常脆弱。在演示阶段，存在一些生产运营障碍（治理和安全 ），这些障碍在演示阶段看不到，比如个人 API 密钥使用、成本监控不足、崩溃时缺乏恢复方法以及缺乏审计日志。

四、构建可信系统的四条路线图

| | | | | — | — | — | | 序号 | 主题 | 主要内容 | | 1 | 核心架构 | ReAct 模式的核心：设计构成循环的六个基本元素（自动化、工作树、技能、插件、子代理、外部存储）。 | | 2 | 配器与规模 | 如何选择像 LangGraph 和 AutoGen 这样的框架，以及构建带有共同 AI 网关和可观测性的 LLMOps 环境。 | | 3 | 安全性  治理、安全与安全 | 一个防止模型输出以命令形式执行（主权代理循环）、个人信息隐藏以及控制由人类主导的系统（环中人）。 | | 4 | 评估与长期健康 | 提升自动化评估（LLM 即评判者）的可靠性，并以 AI 为评估者，并解决代码演进带来的“理解债务”和“模型崩溃”等长期风险。 |

五、结论

1）旨在让人工智能提供良好答案的“提示工程”时代已经成熟。

2）未来工程师真正必备的技能是具备设计、控制和安全管理人工智能自主运行的环路的工程能力。

3）为什么不超越把代理作为玩具开发，学习“loop工程”来应对生产运营的现实呢？

免责声明：

本文所载程序、技术方法仅面向合法合规的安全研究与教学场景，旨在提升网络安全防护能力，具有明确的技术研究属性。

任何单位或个人未经授权，将本文内容用于攻击、破坏等非法用途的，由此引发的全部法律责任、民事赔偿及连带责任，均由行为人独立承担，本站不承担任何连带责任。

本站内容均为技术交流与知识分享目的发布，若存在版权侵权或其他异议，请通过邮件联系处理，具体联系方式可点击页面上方的联系我。

本文转载自：AI与代码安全 《人工智能代理开发中的新常识》