通过USB直接操控IPhone手机，附安装指引
原创
Violet Walker
Violet Walker
黑白之道
2026年10月12日 08:40
韩国
在小说阅读器读本章
去阅读
在公众号小说中沉浸阅读
导语：GitHub上的开源项目
zhongerxin/iPhone-use近期热度上升。它让Codex等AI Agent能够通过USB连接真实iPhone，完成App自动化操作、实时屏幕查看与截图回退。本文整理其原理、关键依赖与安装要点，供需要做iOS端自动化测试或AI接入的读者参考。
一、项目地址与基本信息
- 仓库地址：https://github.com/zhongerxin/iPhone-use
- 作者：zhongerxin
- 当前版本：0.3.6（持续迭代中）
- 许可证：开源（具体以仓库 LICENSE 为准）
- 形态：Codex插件 + 本地 MCP 服务 + 安装引导技能 + 实时屏幕 widget
该项目已衍生出若干社区分支，例如：
tangshunpu/iPhone-use：加入腾讯 WorkBuddy、字节豆包工作 等国产 Agent 端口quanru/iPhone-use：加入可选的 Midscene 集成xiangyingchang/iPhone-use、Xiangyu-CAS/iPhone-use等社区维护分支
二、它能做什么
按照官方README描述，iPhone-use的目标是\"让 Codex 通过 USB 操作真实 iPhone\"，具体覆盖以下能力：
- 引导式安装：把WebDriverAgent（WDA）的搭建过程拆成可执行的步骤，降低上手门槛
- App 自动化：通过WDA对iPhone上的应用进行点击、输入、滚动等操作
- 实时屏幕视图：右侧栏显示手机当前画面，便于AI与人类同步观察
- 截图回退机制：当控件定位失败时，引导模型先看截图，再尝试坐标点击
这一组合让\"自然语言指令 → 真实iPhone操作\"成为可能。例如让Codex\"打开Safari并搜索某关键词\"、\"在备忘录里写下某段文字\"、\"截屏当前页面\"等。
三、技术架构
iPhone-use并不重新发明轮子，而是把现有Appium生态组件封装成一个开箱即用的Codex插件：
| 组件 | 角色 |
|---|---|
| WebDriverAgent（WDA） | 跑在iPhone端的自动化执行服务 |
| appium-ios-device | 提供USB通信、端口转发与屏幕流能力 |
| Appium | 整体生态底座 |
| 本地 MCP 服务 | 把上述能力以MCP工具的形式暴露给Codex |
| 屏幕 widget | 在桌面上显示实时画面的HTML小窗 |
按照官方说明，用户无需单独运行Appium Server，安装插件即可使用。控件查找失败时会自动切到截图分析模式，给出更稳定的鲁棒性。
四、环境要求
- macOS：WDA 需要用 Xcode 构建，依赖 macOS + Xcode
- iPhone：一台可被Xcode识别的iPhone（任意系统版本需自行确认）
- USB 数据线：用于连接Mac与iPhone
- Apple ID：用于签名WDA Runner（个人免费账号即可，但证书有效期7天；付费开发者账号可长期签名）
- Node.js：运行MCP服务所需的版本
- Codex：作为前端Agent接收自然语言
五、安装步骤概览
按照README的指引，整体流程大致如下：
- 克隆仓库
git clone https://github.com/zhongerxin/iPhone-use.git
- 构建并安装 WebDriverAgentRunner
- 打开仓库或单独拉取的WDA源码中的
WebDriverAgent.xcodeproj - 在Xcode左上角选择
WebDriverAgentRunnerscheme，并把目标设备切换为你的iPhone - 在Runner target的 Signing & Capabilities 中选择自己的Apple ID与可签名的Bundle Identifier
- 通过 Product → Test 构建、安装并运行WDA Runner
- iPhone端根据提示进入 设置 → 通用 → VPN与设备管理 信任证书
- 安装插件与依赖
# 安装过程中通常涉及 npm install / plugin install 等步骤
# 具体以仓库当前 README 为准
- 启动MCP服务与Codex
按照官方配置启用iPhone-use相关skills与tools，重启Codex会话即可在右侧栏看到实时屏幕。
六、隐私与遥测
官方说明指出，默认会向一个PostHog项目发送匿名的使用统计，包括：
- 启动事件
- 工具调用次数
- 连接状态
- 耗时
- 错误类型
- 随机生成的安装标识（不绑定用户身份）
明确不上传：屏幕内容、用户输入、设备标识符。如不希望被统计，可在启动前设置：
export IPHONE_USE_ANALYTICS=0
# 或
export DO_NOT_TRACK=1
七、适用场景与局限
适合
- AI Agent接入iOS端的实验与原型开发
- iOS UI自动化测试
- 个人手机操作的脚本化（截图、批量填表、辅助输入等）
- 安全研究中需要把AI能力延伸到iPhone的场景（前提是合规授权）
局限
- 仅限macOS + Xcode环境，Windows/Linux无法直接构建WDA
- 个人Apple ID签名证书有效期7天，过期需重签
- App Store上对自动化操作敏感的应用（如银行类、涉及支付密码的页面）通常会触发风控
- iOS系统升级后，WDA可能需要更新匹配版本
八、小结
iPhone-use把Appium生态与Codex生态做了桥接，让\"AI操控真实iPhone\"从概念走向可落地的开源方案。对于做iOS自动化测试、AI Agent接入移动端、或研究AI在移动设备上行为的研究者来说，是一个值得上手的开源项目。
建议从官方README开始，遇到WDA签名、构建失败等问题时优先查看仓库的Issues与社区分支（如 tangshunpu/iPhone-use 中的国产Agent端口说明）。
版权声明：本文由华盟网原创发布，保留所有权利。配图由华盟网授权使用。
👇 点击阅读原文，访问我的网站
版权声明
本站仅做备份收录，仅供研究与教学参考之用。
读者将信息用于其他用途的，全部法律及连带责任由读者自行承担，本站不承担任何责任。
评论