# 视觉自动化工具

**Repository Path**: sky_18/VisualAutomation

## Basic Information

- **Project Name**: 视觉自动化工具
- **Description**: 这是一个基于图像识别的自动化工具，可以实时在屏幕上查找指定图片，找到后自动执行鼠标或键盘操作。适用于重复性的UI自动化任务。
- **Primary Language**: Python
- **License**: MIT
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 1
- **Forks**: 0
- **Created**: 2026-03-03
- **Last Updated**: 2026-03-05

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# 视觉自动化工具 - 运行文档

## 简介

这是一个基于图像识别的自动化工具，可以实时在屏幕上查找指定图片，找到后自动执行鼠标或键盘操作。适用于重复性的UI自动化任务。

## 安装依赖

### 前置要求
- Python 3.7 或更高版本
- Windows 操作系统（推荐）

### 安装命令
```bash
pip install opencv-python numpy pyautogui pillow keyboard
```

### 依赖说明
- **opencv-python**：图像处理和模板匹配
- **numpy**：数组操作
- **pyautogui**：屏幕截图和控制鼠标/键盘
- **pillow**：图像处理
- **keyboard**：监听键盘快捷键

## 运行程序

### 启动方式
```bash
python visual_automation_new.py
```

### 首次运行
程序会自动检查依赖是否安装完整。如果缺少依赖，会显示错误信息并提示安装命令。

## 使用指南

### 1. 添加任务
1. 点击"➕ 添加任务"按钮
2. 设置任务名称（可选）
3. 选择参考图片（可以浏览本地图片或使用截图功能）
4. 选择动作类型：
   - 鼠标点击/双击/右键
   - 键盘按键
   - 输入文字
   - 等待
   - 滚动
5. 设置动作参数（如按键名称、输入内容等）
6. 调整点击偏移（可选）
7. 设置重复次数和超时时间
8. 点击"保存"

### 2. 全局设置
- **识别精度**：图像匹配的相似度阈值（0.5-1.0）
- **检查间隔**：每次查找图片的间隔时间（秒）
- **动作延迟**：找到图片后执行动作前的延迟时间（秒）
- **监控区域**：可选择全屏、指定区域或当前窗口

### 3. 控制操作
- **▶️ 开始监控**：开始执行任务列表
- **⏹️ 停止**：停止监控
- **🧪 测试截图**：测试当前监控区域的截图功能
- **💾 保存配置**：保存当前设置和任务列表
- **📂 加载配置**：从文件加载配置

### 4. 快捷键
- **F8**：开始/停止监控
- **F9**：紧急停止

## 任务参数说明

### 动作类型与参数
- **鼠标操作**：参数可选 left/right/middle
- **键盘按键**：参数填写按键名（如 enter、esc、space、tab、f1 等）
- **输入文字**：参数直接填写要输入的内容
- **等待**：参数填写等待秒数
- **滚动**：参数填写正数向上滚动/负数向下滚动

### 高级设置
- **点击偏移**：相对于找到图片位置的X/Y偏移量
- **重复次数**：找到图片后执行动作的重复次数
- **超时时间**：任务等待的最长时间（0表示无限等待）
- **执行后停止**：勾选后此任务完成会自动停止监控

## 工作模式

程序采用**串联循环模式**：
1. 按顺序执行任务列表
2. 每个任务找到目标图片后执行指定动作
3. 完成当前任务的所有重复次数后，自动切换到下一个任务
4. 所有任务完成后，从头开始循环

## 注意事项

### 安全设置
- 程序启用了 `pyautogui` 的安全模式：鼠标移动到屏幕左上角会紧急停止
- 建议在使用前先测试截图功能，确保能正确识别目标图片

### 最佳实践
1. 识别精度建议设置在 0.8-0.9 之间
2. 对于频繁变化的界面，适当降低识别精度
3. 合理设置超时时间，避免无限等待
4. 使用"测试截图"功能验证监控区域设置

### 常见问题
- **无法找到图片**：尝试降低识别精度或检查监控区域设置
- **动作执行失败**：确保目标窗口处于活动状态
- **程序卡死**：按 F9 紧急停止或移动鼠标到屏幕左上角

## 配置文件

程序会自动在同目录下创建 `automation_config.json` 文件，保存：
- 全局设置
- 任务列表配置
- 监控区域设置

可以手动备份此文件，或使用"加载配置"功能导入其他配置文件。

## 软件界面

### 主界面
![软件1](软件1.png)

主界面包含任务列表、全局设置、控制按钮和运行日志等区域。

### 设置界面
![软件2](软件2.png)

任务设置对话框用于配置具体的任务参数，包括图片选择、动作类型和高级选项。

## 技术支持

如遇到问题，请检查：
1. Python 版本是否符合要求
2. 所有依赖库是否正确安装
3. 防火墙或杀毒软件是否阻止了程序运行
4. 是否有足够的系统权限（某些操作需要管理员权限）

---

**版本信息**：Visual Automation Tool v1.0  
**最后更新**：2026年3月2日