文章总结： Cloudflare推出MarkdownforAgents功能，允许AIAgent通过添加Accept:text/markdown请求头直接获取网站的Markdown格式内容，可将HTML内容的Token用量缩减高达80%，并引入Content-Signal协议让站长控制数据用途。建议网站站长启用该功能以保持AI可见性，AI开发者应在爬虫中使用该头部以降低成本并提升结果质量。 综合评分： 85 文章分类： AI安全,解决方案,安全工具

Cloudflare推出Markdown for Agents功能 网页可自动转Markdown格式

原创

玄月调查小组 玄月调查小组

玄月调查小组

2026年2月14日 10:03 上海

导语： Cloudflare近日宣布推出“Markdown for Agents”服务，允许大模型爬虫和AI Agent通过简单的HTTP请求头，直接获取网站的Markdown格式内容。随着互联网内容分发从“面向人类”转向“面向AI”，这一功能的上线标志着AI的成本和门槛将进一步大幅降低。

苦HTML久矣：大模型的“Token燃烧陷阱”

在构建RAG系统或AI Agent时，获取互联网公开数据是必不可少的环节。然而，现代Web网页是为人类的视觉和浏览器渲染设计的，其中充斥着大量对AI毫无语义价值的代码。

把未经处理的HTML直接“喂”给大模型，无异于把买椟还珠的“椟”也按克数算了钱。举个最直观的例子：一个简单的网页二级标题“关于我们”，在Markdown中（## 关于我们）只需消耗约3个Token；但在HTML中（<h2 class="section-title" id="about">关于我们</h2>），哪怕不计算外层的<div>、导航栏和脚本标签，也会轻易烧掉12到15个Token。

根据Cloudflare官方公布的实测数据，一篇原本包含16,180个Token的HTML博客文章，在转换为Markdown后仅需3,150个Token。这意味着高达80%的Token用量缩减。

Markdown格式凭借其清晰的结构化特征，已经成为大模型系统无可争议的“通用语言”。通过直接投喂Markdown，大模型不仅能大幅降低计算成本，更能获得更精准的上下文理解结果。

一些知名网站已经开始支持Markdown格式。例如Android的开发者文档，现在就有View AS Markdown的选项，点击后就会打开一个markdown格式的新页面。

自动将HTML转换Markdown

Cloudflare此次推出的功能，将“网页转换 Markdown”这一高频动作前置到了边缘节点。对于AI而言，接入方式非常简单：不需要引入复杂的DOM解析库或第三方清洗API，只需在发起HTTP请求时，利用标准的内容协商（Content Negotiation）机制即可。

AI Agent仅需在请求头中添加一行声明：

Accept: text/markdown

当Cloudflare检测到带有该请求头的访问时（前提是目标站点开启了 Markdown for Agents），便会在自动拉取源站HTML，转换为Markdown并返回给AI。目前，包括Claude Code和OpenCode在内的主流Agent，已经开始在请求中广泛使用这一协议头。

不仅如此，Cloudflare在返回的响应头中，加入了一个名为 x-markdown-tokens 的自定义标头，直接提示了该Markdown文档的预估Token数量。 这项设计让内容送入大模型之前，就能精准计算上下文窗口占用，从而动态调整分块策略，告别“Token超载导致API报错”的尴尬局面。

拥抱合规：引入Content-Signal协议

在为AI大开方便之门的同时，如何保护网站所有者的权益？Cloudflare将Markdown转码与此前提出的内容信号策略（Content Signals Policy）进行了深度绑定。

当网络将Markdown返回给AI爬虫时，响应头中会明确带有授权声明，例如 Content-Signal: ai-train=yes, search=yes, ai-input=yes。这一机制赋予了站长对数据用途的掌控权，站长可以清晰界定自己的内容是否允许被用于大模型的基础训练、AI搜索结果呈现，或是作为AI Agent的实时输入上下文。

点评

今天，AI Agent正成为新的流量分发中心。Cloudflare 精准捕捉到这一趋势：让内容以 AI 原生格式直达Agent，既是效率优化，更是战略卡位。

对于网站站长，建议尽早启用 Markdown for Agents，并关注 Content Signals 政策，以便在 AI 驱动的搜索、问答和自动化任务中保持可见性。对于 AI 开发者，则应在爬虫中增加 Accept: text/markdown 头部，毕竟Claude Code 和 OpenCode已经更新了，其他Agent也会慢慢跟进。不如主动利用这一特性，降低自身 token 成本并提升结果质量。

可以预见，未来网站不仅要为人类提供良好的阅读体验，还需为 AI 提供结构清晰的“数据接口”。Markdown for Agents 正是这座桥梁的雏形，让互联网在 AI 时代依然保持开放与可访问。

以上，既然看到这里了，如果觉得不错，随手点个赞、在看、转发三连吧，如果想第一时间收到推送，也可以给我个星标⭐～谢谢你看我的文章，我们，下次再见。

参考资料: Introducing Markdown for Agents：https://blog.cloudflare.com/markdown-for-agents/

免责声明：

本文所载程序、技术方法仅面向合法合规的安全研究与教学场景，旨在提升网络安全防护能力，具有明确的技术研究属性。

任何单位或个人未经授权，将本文内容用于攻击、破坏等非法用途的，由此引发的全部法律责任、民事赔偿及连带责任，均由行为人独立承担，本站不承担任何连带责任。

本站内容均为技术交流与知识分享目的发布，若存在版权侵权或其他异议，请通过邮件联系处理，具体联系方式可点击页面上方的联系我。

本文转载自：玄月调查小组 玄月调查小组 玄月调查小组《Cloudflare推出Markdown for Agents功能 网页可自动转Markdown格式》