文档能力扩展
文档目录

Computer Use

让 Agent 直接操作桌面应用——看窗口、点按钮、填表单;设置页只管安装与授权状态,操作过程和画面在会话右侧的预览窗里。

更新于 2026年11月11日

Computer Use 让 Agent 操作 Proma 之外的桌面应用:查看窗口内容、按元素或坐标点击、输入文字、连续执行多步流程。设置页只管安装与授权状态,不控制具体操作过程。

安装状态

说明是「让 Agent 操作电脑上的应用,完成查找信息、填写内容和跨应用协作。」,下面一行「安装状态」带平台名和一枚状态徽标,可能的值:

  • 正在检测…
  • 已安装——「已检测到 Cua Driver,无需重复安装。」
  • 需要检查——「已找到 Cua Driver,但未能确认版本,请让 Agent 检查现有安装。」
  • 未安装——「未在配置记录、默认安装目录或 PATH 中找到 Cua Driver。」
  • 检测失败——「暂时无法检测本机安装,请重新检测。」
  • 暂不支持——「目前支持 macOS、Windows 和 Linux。」

已安装时另外显示版本号和可执行文件路径。右侧图标按钮「重新检测安装状态」,切换窗口焦点或回到前台时也会自动重检。

Linux 另有一段说明:Linux 为实验性支持,使用截图预览,能力取决于 X11/Wayland、AT-SPI 和桌面授权;部分桌面环境即使安装成功也不代表能操作窗口。

配置入口

主按钮随状态变化:未安装时是「用 Agent 帮我完成配置」,已检测到时是「用 Agent 检查配置/升级」,点击后变「正在打开会话…」。它做的是新建一个会话并预填配置任务,不会静默安装。启动失败提示「配置会话启动失败」。

没有模型时按钮不可用,提示「请先在模型配置中配置可用模型,并在 Agent 会话中选用。」

页面没有总开关:装好、授权了就能用,要停用就让 Agent 停止操作。

权限

  • macOS:「安装状态不代表已授权。使用前需开启 CuaDriver 的辅助功能和屏幕录制权限。」
  • 其他平台:「安装状态不代表服务已启动。使用时请保持桌面登录并解锁,确保 Driver 与 Proma 处于同一桌面会话。」

操作预览

Agent 操作时,会话右侧浮出「Computer Use 操作预览」窗。

  • 进行中显示「Proma 正在安静地操作 <应用名>」或「Proma 正在安静地操作桌面」;结束后是「桌面操作已完成」,出错结束时是「桌面操作已结束」。
  • macOS 的窗口目标用实时视频流;流断了会回退到截图预览,并提示「实时预览已中断,正在尝试截图预览」。
  • 还没拿到第一帧时显示占位。
  • 预览出错时底部显示错误文案,并给「重试预览」;窗口已关闭这类错误不给重试。
  • 预览只显示画面,不接受点击,也不把截图交回模型;它不会替代你操作。

能力范围

  • 枚举应用与窗口、读取窗口内容、按元素或坐标点击、输入与按键、连续多步操作、启动应用、把窗口带到前台。
  • macOS 额外有本地文字识别工具,装了 OCR 组件时可用,否则回退到截图识别。
  • 默认在后台操作;需要把窗口带到前台交付时要先征得同意。
  • 网页内容优先用浏览器工具,地址栏、菜单、系统弹窗才走桌面操作。

注意

  • 发送、删除、提交这类不可逆动作会停在动作前确认;「看看消息」不等于授权回复,回复仍需你明确要求。
  • 锁屏、切到其他登录会话、UAC 这类系统保护不会被绕过,遇到时只会失败并提示你解锁或手动处理。
  • 目标窗口关闭或重建后,旧窗口标识失效,需要让 Agent 重新查找窗口,提示是「目标窗口已关闭、重建或不再属于原应用,请让 Agent 重新查找窗口。」
  • 没给辅助功能或屏幕录制权限时,表现通常是拿不到画面或点击无效,而不是明确报错,先在系统设置里确认权限。
  • 它和内置浏览器分工不同:读取网页结构化内容用浏览器更快更稳,模拟界面点击才用 Computer Use。
本页内容