📋

Desktop Control

基于 PyAutoGUI 的高级桌面自动化,提供像素级鼠标控制、键盘输入、屏幕截图、窗口管理与剪贴板操作。

作者

matagul

生产力与任务自动化桌面PyAutoGUI
安装
npx clawhub@latest install desktop-control
当前安装数

381

累计安装数

120

版本

v1.0.0

查看源码

ClawHub

Desktop Control 介绍

Desktop Control 提供完整的桌面自动化能力,使 OpenClaw 能与电脑上的任意应用交互。

它包含像素级鼠标控制、快速键盘输入、带图像识别的屏幕截图、窗口管理与剪贴板操作,并内置安全机制。

工作原理

1Step 1 - 初始化 DesktopController

以 PyAutoGUI 为核心引擎,并通过 DesktopController 类提供自动化能力。

2Step 2 - 驱动输入

鼠标移动、点击、拖拽、滚动与键盘事件通过 DesktopController 统一调度。

3Step 3 - 观察屏幕

支持截图、像素检测与可选的 OpenCV 图像识别来定位 UI 目标。

4Step 4 - 安全保护

包含 failsafe 角落、暂停控制与可选审批模式,降低误操作风险。

关键特性

鼠标控制

绝对/相对定位、平滑移动、左/右/中键与双击、拖拽和滚动。

键盘输入

高速输入,可配置 WPM,支持热键、特殊按键、组合键与按下/释放控制。

屏幕操作

全屏与区域截图、像素颜色检测、图像识别与多显示器支持。

窗口管理

列出窗口、按标题激活、读取窗口信息、最小化/最大化控制。

剪贴板操作

写入系统剪贴板,并读取剪贴板内容。

安全特性

failsafe 终止、紧急暂停、边界检查与动作日志。

使用要求

  • 无需 VM。
  • Python 依赖:PyAutoGUI、Pillow、PyGetWindow 必需;OpenCV(opencv-python)用于图像识别,可选。
  • 支持 macOS、Linux 与 Windows;部分操作可能需要更高权限。
  • 需要图形桌面环境(不兼容无界面服务器)。

使用场景

表单填写

自动填写网页表单或桌面应用字段。

应用自动化

通过鼠标与键盘模拟控制任何桌面应用。

屏幕监控

截图并识别 UI 元素,响应视觉变化。

文件管理

拖拽文件、跨文件夹移动、多选 Ctrl+点击。

测试与 QA

自动化执行桌面应用的 GUI 测试流程。

如何安装

npx clawhub@latest install desktop-control

在终端运行上述命令,或点击页面顶部的安装按钮完成一键安装。

常见问题

需要哪些 Python 依赖?

PyAutoGUI、Pillow 与 PyGetWindow 为必需依赖;OpenCV(opencv-python)用于图像识别,可选。

Desktop Control 支持哪些系统?

支持 macOS、Linux 与 Windows,部分操作可能需要更高权限。

可以在无界面服务器上运行吗?

不可以。需要图形桌面环境。

是否有安全保护机制?

有。包含 failsafe 角落、暂停控制、可选审批模式与日志记录。

如何开启图像识别?

安装 OpenCV(opencv-python)即可启用图像匹配功能。