AI 操控真机：XPhoneUse 实现与避坑

XPhoneUse 把 AI Agent 装进了真实手机。它像 Scrcpy 一样提供镜像，但多了个 Skill 包，让 Claude 或 Codex 直接指挥真机。操作逻辑极简：连接手机，让 Agent 安装 Skill 链接，即可下达指令。实测用 DeepSeek V4.1 配合 OMP，完成了多邻国日语课、查看连胜、给微信特定联系人发消息等任务。

核心机制：Agent 靠 ADB 通道和无障碍树「看」手机。无障碍树失效时，Agent 会「失明」。文中案例显示，当微信界面树节点为空，Agent 自主编写了基于 Swift Vision 的 OCR 工具，用截图代替树节点识别文字坐标。

安全规则：Agent 被设定了「未知即不操作」原则。看不清屏幕时不盲点；涉及社交、消费（如微信发红包、多邻国宝箱）等敏感动作时，仅执行明确指令或选择关闭，不擅自处理。听力题因无听觉模型，选择承认无法完成，而非乱猜，避免影响用户连胜。

踩坑与修复：底层坐标 Bug 导致点击错位（屏幕 1080×2340，归一化值 472×1024，坐标溢出），Agent 改用 input tap 传设备像素绕过，并更新 Skill 文档记录该坑。还有 shell 子命令因 argparse 命名冲突静默失败的问题，也被顺手修好。

风险：最大风险是「无回滚」。在真实设备上，误发消息、误确认退出网页版微信等操作不可逆。Agent 全程需依赖「看-点-看」的单步验证循环，确保每步准确。这技术适合自动化测试、移动端无人值守运营，但务必警惕误操作带来的社交或财务后果。

来源 · 小众软件：阅读原文 →