Phone Harness 开源：让 AI Agent 接管 iPhone 与 Android，Hermes 集成首发

原创

Red Hunter
Red Hunter

黑白之道

2026年10月15日 08:43
韩国

在小说阅读器读本章

去阅读

在公众号小说中沉浸阅读

导语：ShawnPana 在 GitHub 开源的 phone-harness 工具，让 Claude Code、Codex、Hermes 等 AI Agent 直接控制真实手机——iPhone 通过 Mac 的 iPhone Mirroring 窗口、Android 通过 adb、Cloud 提供托管 iPhone 与 Android，全部不需要越狱。Nous Research 的 Hermes Agent 首发集成插件，红队视角看四个新攻击面。

一、工具定位：让 Agent 看见屏幕、点出动作

phone-harness 解决的问题很直接：之前 AI agent 只能控制电脑，现在能控制手机。具体支持三个层面：

第一层本地 iPhone。Mac 上启用 iPhone Mirroring 后，手机屏幕被渲染成 Mac 窗口，harness 抓取窗口截图、用 Apple Vision framework OCR 文本和坐标、最后以 HID 级别模拟触摸键盘事件。整个流程不需要越狱、不需要 Xcode、手机上不装任何东西。

第二层本地 Android。通过 adb（USB 或 Wi-Fi 都能用）抓取 screencap、读无障碍树、用 input 命令注入 tap / swipe / type。Android 11 之后的无障碍树本身就是结构化文本，比 OCR 干净。

第三层 Cloud phone。phone-harness.com/cloud 提供托管 iPhone 与 Android，\"real numbers, 2FA, and unlimited devices\"——官方原话。Cloud 走 HTTPS，host 端跑 OCR，taps 用手机原生屏幕坐标点。一个 cloud iPhone 起步价 15 分钟（cloud start），也可指定 90s/15m。

二、核心助手：五个常用 API

把 phone-harness 接到 Claude Code 或 Codex 后，自动 import 的助手只有五个但够用：open_app(name) 开应用、tap_text(text) 通过文字找到坐标并点击、type_text(text) 模拟键盘输入、screen() 读取当前屏幕文本、find_text(text) 只查坐标不点。

完整调用如下：

phone-harness <<'PY'
open_app(\"Notes\")
tap_text(\"New Note\")
type_text(\"hello from the harness\")
print([o[\"text\"] for o in screen()][:10])
PY

底层抽象把 Vision OCR / adb input / HTTPS POST 三套完全不同的传输方式压平到同一组 Python 助手，调用者不用关心目标平台。

三、内部实现：iPhone / Android / Cloud 三套技术

iPhone 路线。iPhone Mirroring 把 iPhone 屏幕渲染到 Mac 窗口，harness 用 CoreGraphics 抓窗口位图，用 Apple Vision 框架（VNRecognizeTextRequest）做 OCR 并附带 tap-ready 坐标。坐标直接喂 CGEventCreateMouseEvent，模拟鼠标点击——因为 iPhone Mirroring 把触摸事件转成 Mac 鼠标事件，整条链路完全在 App Store 政策内。

Android 路线。adb 的 screencap 拉 PNG、uiautomator dump 拉无障碍树 XML、input tap / input text / input swipe 注入操作。OCR 在 Android 上是不必要的——无障碍树自带元素文本和 bounds 坐标，效率比 Vision OCR 高一个量级。

Cloud 路线。phone-harness cloud login 走 OAuth 浏览器授权，cloud start 拿到 session id。Cloud iPhone 没有 shell，所有操作 HTTPS POST 到 phone-harness 服务端，host 端跑 Vision OCR 解析屏幕，taps 转成屏幕原生坐标。Cloud Android 走标准 adb over TCP，所有助手照常工作。

四、Hermes 集成首发

@HermesWatcher 11 月 14 日的推文引爆了这个工具：

HERMES CAN NOW CONTROL YOUR PHONE. 🤯📱🔥 A new Phone Harness plugin gives Hermes the ability to actually operate an iPhone or Android. We're talking real phone control: • See what's on the screen • Open apps and navigate menus • Tap, swipe, scroll, and type • Read the results and continue working • Handle multi-step tasks inside mobile apps

Hermes 是 Nous Research 的开源 agent 框架。集成方式是一条命令：

hermes plugins install ShawnPana/phone-harness/integrations/hermes

装完启用后，Hermes 拿到一个 phone_exec 工具，配合 phone-harness 的 SKILL.md 就能直接驱动手机。这不是 demo，是已经在生产跑的 release 集成。

五、限制与适用边界

读完能力描述还得看清边界。官方 README 明文列出五条限制。

iPhone 解锁会暂停 iPhone Mirroring——PIN 锁状态下的 iPhone 只能用于解锁后阶段。Android 解锁同理，需要用户输入 PIN。无标签控件（只带图标的按钮）走 OCR 失败率很高，必须用 vision-capable 模型看截图。DRM 视频（如 Netflix、Disney+）渲染黑屏无法走。多人多点（multi-touch）手势不支持。摄像头/拍照/Face ID 流程不能跑。配对永远需要人工首次。

这些限制不是技术缺陷，是苹果 App Store 政策与操作系统能力的边界。Phone Harness 在灰色地带内推进得相当快，但红线没越。这对防御方是半个好消息：它不是一个\"全操作系统能力\"的工具，是个\"UX 级\"工具。

六、红队视角：四个新攻击面

工具能力摆出来，红队视角能看出四条新攻击面。

第一，AI Agent 攻击面正式进入移动端。之前 agent 风险评估都默认 agent 跑在 Linux 容器或 Windows 工作站上，控制范围限定在文件系统、浏览器、shell。Phone Harness 出现后，agent 获得了\"操控云端手机\"的能力——只要云手机开了一台 Telegram/WhatsApp 账户，agent 就能养号、对话、跑自动话术验证。攻击面从传统 IT 设备扩展到移动设备。

第二，OCR + 坐标点击绕过应用行为分析。多数银行 App、Telegram、微信对\"非人操作\"的检测基于鼠标轨迹熵、操作间隔时间分布、手指压力模式。Phone Harness 用 Vision 读屏后模拟人类点位置，行为语义上无法区分自动化和真用户。这条绕过能力对钓鱼页面的 A/B 测试、对风控规则的对抗采样都极其有用。

第三，Cloud 隐身号 + 2FA 工厂化养号。phone-harness.com/cloud 明文标注\"real numbers, 2FA, unlimited devices\"。红队可以批量开 Google Voice / ProtonMail / Signal 账户做鱼叉式钓鱼的接码池，单台操作员能跑出过去需要 5 人小组的养号产能。Cloud 计费按 15 分钟起步（最低 90 秒），封号前可控测试窗口足够长。

第四，Agent-to-Agent 编排新链路。\"Hermes → phone-harness → 云手机\"是过去不存在的链路。Hermes 负责推理与决策，phone-harness 把决策转成云手机上的真实 UI 操作。这种\"agent 操作员\"模式让单点 OAST 域名、多步社工链、跨平台信息收集都能全自动跑完。从 ATT&CK 视角看，这把 TA0009（TA0009 - Adversary Use of AI Tools）的可观测性降到了新低。

七、防御方启示与思考题

对蓝队来说，传统移动威胁模型要加一条假设：\"对手可能是 AI agent，不是人\"。行为分析系统需要把\"Vision-based 自动化\"和真实用户区分——具体方法有：检查操作时间熵、检测 Vision OCR 错误特征（\"l\" 被识别成 \"1\"）、监控 adb 调试桥是否启用、检查 iPhone Mirroring 是否异常启动。2FA 体系需要从\"凭据 + 设备\"二元模型升级为\"凭据 + 设备 + 行为签名\"三元模型，因为单凭\"是这台手机\"已经不能信任。

思考题 3 道：1. 如果攻击者用 phone-harness 控制云手机跑钓鱼，对端风控系统能不能区分？为什么？2. Vision OCR 识别错误有典型模式（\"0\" vs \"O\"、\"1\" vs \"l\"），能不能用这一点反制 agent 自动化？3. 企业 MDM 拦截 iPhone Mirroring 和 adb 调试桥的代价是什么，会损失哪些正常业务场景？

八、下载与使用

工具完全开源，使用方式：

• 仓库地址：https://github.com/ShawnPana/phone-harness
• 安装命令：uv tool install phone-harness（需 Python 3.12）
• Cloud 服务：https://phone-harness.com/cloud
• Hermes 集成：hermes plugins install ShawnPana/phone-harness/integrations/hermes
• 自检命令：phone-harness --doctor

素材出处

• 推文源：@HermesWatcher 2026-11-14，https://x.com/HermesWatcher/status/2110143648939885008
• 官方仓库：https://github.com/ShawnPana/phone-harness
• 官方 README：https://raw.githubusercontent.com/ShawnPana/phone-harness/main/README.md
• 官方网站：https://phone-harness.com
• Hermes 集成：https://github.com/ShawnPana/phone-harness/tree/main/integrations/hermes

👇 点击阅读原文，访问我的网站

---