Computer Use
让 Agent 直接操作桌面应用——看窗口、点按钮、填表单;设置页只管安装与授权状态,操作过程和画面在会话右侧的预览窗里。
更新于 2026年11月11日
Computer Use 让 Agent 操作 Proma 之外的桌面应用:查看窗口内容、按元素或坐标点击、输入文字、连续执行多步流程。设置页只管安装与授权状态,不控制具体操作过程。
安装状态
说明是「让 Agent 操作电脑上的应用,完成查找信息、填写内容和跨应用协作。」,下面一行「安装状态」带平台名和一枚状态徽标,可能的值:
- 正在检测…
- 已安装——「已检测到 Cua Driver,无需重复安装。」
- 需要检查——「已找到 Cua Driver,但未能确认版本,请让 Agent 检查现有安装。」
- 未安装——「未在配置记录、默认安装目录或 PATH 中找到 Cua Driver。」
- 检测失败——「暂时无法检测本机安装,请重新检测。」
- 暂不支持——「目前支持 macOS、Windows 和 Linux。」
已安装时另外显示版本号和可执行文件路径。右侧图标按钮「重新检测安装状态」,切换窗口焦点或回到前台时也会自动重检。
Linux 另有一段说明:Linux 为实验性支持,使用截图预览,能力取决于 X11/Wayland、AT-SPI 和桌面授权;部分桌面环境即使安装成功也不代表能操作窗口。
配置入口
主按钮随状态变化:未安装时是「用 Agent 帮我完成配置」,已检测到时是「用 Agent 检查配置/升级」,点击后变「正在打开会话…」。它做的是新建一个会话并预填配置任务,不会静默安装。启动失败提示「配置会话启动失败」。
没有模型时按钮不可用,提示「请先在模型配置中配置可用模型,并在 Agent 会话中选用。」
页面没有总开关:装好、授权了就能用,要停用就让 Agent 停止操作。
权限
- macOS:「安装状态不代表已授权。使用前需开启 CuaDriver 的辅助功能和屏幕录制权限。」
- 其他平台:「安装状态不代表服务已启动。使用时请保持桌面登录并解锁,确保 Driver 与 Proma 处于同一桌面会话。」
操作预览
Agent 操作时,会话右侧浮出「Computer Use 操作预览」窗。
- 进行中显示「Proma 正在安静地操作 <应用名>」或「Proma 正在安静地操作桌面」;结束后是「桌面操作已完成」,出错结束时是「桌面操作已结束」。
- macOS 的窗口目标用实时视频流;流断了会回退到截图预览,并提示「实时预览已中断,正在尝试截图预览」。
- 还没拿到第一帧时显示占位。
- 预览出错时底部显示错误文案,并给「重试预览」;窗口已关闭这类错误不给重试。
- 预览只显示画面,不接受点击,也不把截图交回模型;它不会替代你操作。
能力范围
- 枚举应用与窗口、读取窗口内容、按元素或坐标点击、输入与按键、连续多步操作、启动应用、把窗口带到前台。
- macOS 额外有本地文字识别工具,装了 OCR 组件时可用,否则回退到截图识别。
- 默认在后台操作;需要把窗口带到前台交付时要先征得同意。
- 网页内容优先用浏览器工具,地址栏、菜单、系统弹窗才走桌面操作。
注意
- 发送、删除、提交这类不可逆动作会停在动作前确认;「看看消息」不等于授权回复,回复仍需你明确要求。
- 锁屏、切到其他登录会话、UAC 这类系统保护不会被绕过,遇到时只会失败并提示你解锁或手动处理。
- 目标窗口关闭或重建后,旧窗口标识失效,需要让 Agent 重新查找窗口,提示是「目标窗口已关闭、重建或不再属于原应用,请让 Agent 重新查找窗口。」
- 没给辅助功能或屏幕录制权限时,表现通常是拿不到画面或点击无效,而不是明确报错,先在系统设置里确认权限。
- 它和内置浏览器分工不同:读取网页结构化内容用浏览器更快更稳,模拟界面点击才用 Computer Use。