文章总结： Google开源ARTEMIS是AI原生的Android自动化测试工具，通过自然语言指令驱动跨App自动化测试，采用元素索引优先坐标兜底的多模态定位策略，每步仅需3-5秒，在AndroidWorld基准测试中任务完成率达99%以上，支持MCP协议集成ClaudeCode等AI助手直接控制真机，并提供一键启动脚本便于快速上手。 综合评分： 85 文章分类： 安全工具,移动安全,应用安全
Google开源ARTEMIS：说句话就能操控Android，Claude Code也能控制测试手机
原创
Dr. Clay Dr. Clay
黑白之道
2026年9月27日 09:10 韩国
在小说阅读器读本章
去阅读
在公众号小说中沉浸阅读
导语：Android自动化测试长期以来都是脚本的天下——UI Automator、Appium、Espresso，每一种都需要工程师写大量代码来描述”怎么点”。Google新开源的ARTEMIS换了一种思路：只需告诉它”要做什么”，它自己找路、自己点击、自己跨App流转。这才是AI时代该有的自动化。
一、为什么这件事值得关注
传统的Android自动化框架本质上是过程描述——你需要精确告诉工具第几步点哪个坐标、第几步输入什么文本。一旦UI变更，脚本就废掉了。而ARTEMIS做的是目标描述：你说出最终状态，它自己规划路径、实时感知界面、动态调整操作。
这意味着两件事：
- 非技术人员也能做自动化测试：不需要写代码，说人话就行
- AI编码助手可以真正驱动手机：Claude Code、Codex不再只停留在”建议修改代码”，而是能真正在真机上跑完整套测试流程
二、核心能力解析
2.1 自然语言驱动的跨App自动化
ARTEMIS能听懂类似这样的指令：
“打开Google Maps设置驾驶路线，计算总时长，然后打开YouTube播放一首Coldplay的歌”
它会自动在Google Maps和YouTube两个完全独立的App之间切换，完成导航规划→获取数据→跳转播放的完整流程，无需写一行代码。
官方演示：输入自然语言指令，ARTEMIS自动在Google Maps与YouTube之间跨App协作，完成路线规划到音乐播放的完整工作流。
2.2 多模态定位：元素索引优先，坐标兜底
ARTEMIS的UI定位策略很聪明：优先使用元素索引（类似Android的无障碍标签），当遇到自定义控件时自动降级到坐标+视觉识别。这种Dynamic-First, Coordinate-Fallback的策略让它在真实App（而非标准控件）上也能稳定运行。
2.3 Flash执行模式：3-5秒/步
ARTEMIS内部实现了一个响应式观察-执行循环（reactive observe-and-act loop），配合异步历史摘要，典型每步耗时只有3-5秒。对于完整流程测试，这个速度已经相当可观。
2.4 MCP协议集成：Claude Code直控真机
ARTEMIS原生支持Model Context Protocol（MCP），这让它能直接插入主流AI IDE的agent工作流：
# 在Claude Code中直接说：
"Build the latest changes into an APK, install it on the connected device,
open the login screen with a test account, verify if there are any
unexpected popups after login, and return screenshots of the final page."
ARTEMIS会：生成测试计划 → 驱动真机执行 → 收集Logcat → 截图返回报告。整个闭环不需要人工介入。
以下是Antigravity通过MCP调用ARTEMIS的标准工作流四步图：
2.5 Pro探索模式
对于需要长时间运行的稳定性测试和探索性测试，ARTEMIS提供Pro模式：在每个关键动作前先检查目标状态，遇到阻塞时将控制权交回操作员，避免在异常状态下盲目重试浪费宝贵时间。
三、基准测试表现
Google在AndroidWorld benchmark（100+多步跨App任务）上进行了系统性评估：
| 测试集 | 任务完成率 | | — | — | | AndroidWorld Benchmark | 99%+ | | 单步操作 | ~100% | | 跨App复杂流程 | >98% |
这个数字在Android自动化领域是前所未有的。传统脚本化工具在同等复杂任务下的成功率通常在60-70%区间，且依赖大量人工维护。
四、快速上手
环境要求
- Android真机（开启USB调试）或模拟器
- Python 3.10+
- ADB、scrcpy、FFmpeg（启动脚本自动检测安装）
一键启动（macOS/Linux）
git clone https://github.com/google/artemis.git && cd artemis
./start.sh
一键启动（Windows）
git clone https://github.com/google/artemis.git
cd artemis
.\start.bat
启动后自动打开 http://localhost:8000，包含设备连接向导、实时屏幕镜像、提示词沙盒和执行回放功能。
CLI直接运行
uv run artemis run "Open Settings, find Battery and tell me current level" --profile flash
MCP接入Claude Code
uv run artemis mcp --install claude
这会自动把ARTEMIS的移动测试思维规则安装到 ~/.claude/rules/artemis.md。
五、技术架构一览
┌─────────────────────────────────────────────┐
│ AI IDE (Claude Code/Codex) │
│ Prompt: "测试登录流程，截图最终页面" │
└──────────────┬──────────────────────────────┘
│ MCP Protocol
┌──────────────▼──────────────────────────────┐
│ ARTEMIS MCP Server │
│ ┌─────────────┐ ┌─────────────────────┐ │
│ │ Flash Loop │ │ Pro Exploration │ │
│ │ (3-5s/step) │ │ (阻塞检测+恢复) │ │
│ └─────────────┘ └─────────────────────┘ │
│ ┌─────────────────────────────────────┐ │
│ │ 多模态定位引擎 │ │
│ │ 元素索引 > 坐标 > 视觉识别 │ │
│ └─────────────────────────────────────┘ │
└──────────────┬──────────────────────────────┘
│ ADB
┌──────────────▼──────────────────────────────┐
│ Android Device / Emulator │
└─────────────────────────────────────────────┘
六、未来趋势
ARTEMIS代表了一个方向：AI原生（AI-Native）的测试工具。传统工具把AI当作辅助（”帮我生成更好的XPath”），ARTEMIS把AI当作大脑（”告诉我该点哪里”）。这种设计在多步、跨域、非结构化的真实场景中优势会越来越明显。
未来可能的演进方向：
- 支持iOS自动化（Android端验证后扩展）
- 与CI/CD管道深度集成，实现”代码提交→自动跑全量UI测试→报告”闭环
- 语音驱动的端到端验收测试
版权声明：本文由华盟网原创发布，保留所有权利。配图由华盟网授权使用。
👇 点击阅读原文，访问我的网站
免责声明：
本文所载程序、技术方法仅面向合法合规的安全研究与教学场景，旨在提升网络安全防护能力，具有明确的技术研究属性。
任何单位或个人未经授权，将本文内容用于攻击、破坏等非法用途的，由此引发的全部法律责任、民事赔偿及连带责任，均由行为人独立承担，本站不承担任何连带责任。
本站内容均为技术交流与知识分享目的发布，若存在版权侵权或其他异议，请通过邮件联系处理，具体联系方式可点击页面上方的联系我。
本文转载自：黑白之道 Dr. Clay Dr. Clay《Google开源ARTEMIS：说句话就能操控Android，Claude Code也能控制测试手机》
版权声明
本站仅做备份收录，仅供研究与教学参考之用。
读者将信息用于其他用途的，全部法律及连带责任由读者自行承担，本站不承担任何责任。
评论