如何让 Codex / WorkBuddy 操作手机，比如整理图标、操作 App 等

[Ozonated]

让 Codex / WorkBuddy 操作手机，比如整理图标、操作 App 等 只能靠 codex 的视觉能力吗 效率太低了

[labubu]

adb 命令

[heywitt]

对于 iOS 设备：
- iOS Xcode 可以提供 devicectl ，提供 App 级别控制、诊断和获取信息；
- XCUITest 可以拿到无障碍信息，这个比读截图效率高很多。组合 Appium + XCUITest 应该可以做到自动化，让 Agent 调用或者做自动化测试；
- 你说的整理图标、操作 App 接口又不一样了，简单的办法是 computer use ，但是建议用 iPhone 镜像然后在 macOS 上操作； XCUITest 也可以，但我没有实施过，你可以测试一下；
- 如果你的需求相对简单，或许 App Intents 、快捷指令也可以完成；
- 如果你的需求是真的自动化测试，用一台非人类使用的真机实施，需要完整的 setup ，那么 Apple MDM 非常适合你，特别是下发 App 、整理图标、布局。

Android 没怎么接触过，不太了解生态

[digdug]

安卓 adb

ios 原生的别想了

模拟操作就得自己写了