# analysis_log

**Repository Path**: jack_fly/analysis_log

## Basic Information

- **Project Name**: analysis_log
- **Description**: 这是一个基于Vue.js + Spring Boot的高性能MyBatis日志分析系统，支持多种日志格式的慢SQL检测、性能监控和模板管理，具备大文件处理能力和优雅的用户界面。
- **Primary Language**: Java
- **License**: MIT
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 15
- **Forks**: 14
- **Created**: 2025-07-12
- **Last Updated**: 2025-10-20

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# MyBatis日志分析系统

一个基于Vue.js + Spring Boot的高性能MyBatis日志分析工具，支持多种日志格式的慢SQL检测和性能监控。

## 🚀 功能特性

### 核心功能
- **多格式日志支持**: 支持MyBatis、Spring Boot、Nginx等多种日志格式
- **智能SQL匹配**: 基于正则表达式的智能SQL语句提取和参数匹配
- **慢SQL检测**: 自动识别执行时间超过阈值的慢SQL语句
- **性能监控**: 实时监控日志处理性能，提供详细的性能指标
- **模板管理**: 支持自定义日志模板，灵活适配不同日志格式

### 技术特性
- **高性能处理**: 多线程批处理，支持大文件快速分析
- **虚拟滚动**: 前端虚拟滚动技术，支持大量数据流畅展示
- **实时搜索**: 支持SQL语句、Mapper名称、参数的实时搜索过滤
- **数据导出**: 支持分析结果导出为CSV格式
- **响应式设计**: 现代化的用户界面，支持多种设备访问

## 📋 系统要求

- **Java**: 8 或更高版本
- **Node.js**: 14 或更高版本
- **MySQL**: 5.7 或更高版本
- **Maven**: 3.6 或更高版本

## 🛠️ 快速开始

### 1. 克隆项目
```bash
git clone <repository-url>
cd analysis_log
```

### 2. 数据库初始化
```sql
-- 创建数据库
CREATE DATABASE IF NOT EXISTS log_analysis DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;

-- 使用数据库
USE log_analysis;

-- 创建日志模板表
-- `log_analysis`.log_template definition

CREATE TABLE `log_template` (
  `id` bigint(20) NOT NULL AUTO_INCREMENT,
  `name` varchar(255) NOT NULL,
  `description` varchar(500) DEFAULT NULL COMMENT '模板描述',
  `preparing_format` text COMMENT 'Preparing行模板',
  `parameters_format` text COMMENT 'Parameters行模板',
  `total_format` text COMMENT 'Total行模板',
  `thread_matching_strategy` varchar(20) DEFAULT 'exact' COMMENT '线程匹配策略',
  `sql_timeout_threshold` bigint(20) DEFAULT '30000' COMMENT 'SQL超时阈值(毫秒)',
  `enabled` tinyint(1) DEFAULT '1' COMMENT '是否启用',
  `create_time` datetime DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
  `update_time` datetime DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '更新时间',
  `preparing_regex` text COMMENT 'Preparing行正则表达式',
  `parameters_regex` text COMMENT 'Parameters行正则表达式',
  `total_regex` text COMMENT 'Total行正则表达式',
  PRIMARY KEY (`id`),
  UNIQUE KEY `name` (`name`)
) ENGINE=InnoDB AUTO_INCREMENT=10 DEFAULT CHARSET=utf8mb4;

INSERT INTO `log_analysis`.log_template
(id, name, description, preparing_format, parameters_format, total_format, thread_matching_strategy, sql_timeout_threshold, enabled, create_time, update_time, preparing_regex, parameters_regex, total_regex)
VALUES(1, 'MyBatis Preparing', '案例: 2025-07-12 10:00:00 [main] DEBUG com.example.mapper.UserMapper - ==>  Preparing: SELECT * FROM users WHERE id = ?', '{time} [{thread}] {level} {class} - ==>  Preparing: {sql}', '{time} [{thread}] {level} {class} - ==> Parameters: {params}', '{time} [{thread}] {level} {class} - <==      Total: {total}', 'exact', 5000, 1, '2025-07-12 00:31:09', '2025-07-12 13:12:41', '(?<time>[\d\-\.\s:]+) \[(?<thread>[^\]]+)\] (?<level>\w+) (?<class>[\w\.]+) - ==>  Preparing: (?<sql>.+)', '(?<time>[\d\-\.\s:]+) \[(?<thread>[^\]]+)\] (?<level>\w+) (?<class>[\w\.]+) - ==> Parameters: (?<params>.+)', '(?<time>[\d\-\.\s:]+) \[(?<thread>[^\]]+)\] (?<level>\w+) (?<class>[\w\.]+) - <==      Total: (?<total>\d+)');
INSERT INTO `log_analysis`.log_template
(id, name, description, preparing_format, parameters_format, total_format, thread_matching_strategy, sql_timeout_threshold, enabled, create_time, update_time, preparing_regex, parameters_regex, total_regex)
VALUES(2, 'MyBatis Parameters', '案例: 2025-07-12 10:00:01 [main] DEBUG com.example.mapper.UserMapper - ==> Parameters: 1(Integer)', '{time} [{thread}] {level} {class} - ==>  Preparing: {sql}', '{time} [{thread}] {level} {class} - ==> Parameters: {params}', '{time} [{thread}] {level} {class} - <==      Total: {total}', 'exact', 30000, 1, '2025-07-12 00:31:09', '2025-07-12 00:31:09', '(?<time>.*?) \[(?<thread>.*?)\] (?<level>.*?) (?<class>.*?) - ==>  Preparing: (?<sql>.*?)', '(?<time>.*?) \[(?<thread>.*?)\] (?<level>.*?) (?<class>.*?) - ==> Parameters: (?<params>.*?)', '(?<time>.*?) \[(?<thread>.*?)\] (?<level>.*?) (?<class>.*?) - <==      Total: (?<total>.*?)');
INSERT INTO `log_analysis`.log_template
(id, name, description, preparing_format, parameters_format, total_format, thread_matching_strategy, sql_timeout_threshold, enabled, create_time, update_time, preparing_regex, parameters_regex, total_regex)
VALUES(3, 'MyBatis Total', '案例: 2025-07-12 10:00:02 [main] DEBUG com.example.mapper.UserMapper - <==      Total: 1', '{time} [{thread}] {level} {class} - ==>  Preparing: {sql}', '{time} [{thread}] {level} {class} - ==> Parameters: {params}', '{time} [{thread}] {level} {class} - <==      Total: {total}', 'exact', 30000, 1, '2025-07-12 00:31:09', '2025-07-12 00:31:09', '(?<time>.*?) \[(?<thread>.*?)\] (?<level>.*?) (?<class>.*?) - ==>  Preparing: (?<sql>.*?)', '(?<time>.*?) \[(?<thread>.*?)\] (?<level>.*?) (?<class>.*?) - ==> Parameters: (?<params>.*?)', '(?<time>.*?) \[(?<thread>.*?)\] (?<level>.*?) (?<class>.*?) - <==      Total: (?<total>.*?)');
INSERT INTO `log_analysis`.log_template
(id, name, description, preparing_format, parameters_format, total_format, thread_matching_strategy, sql_timeout_threshold, enabled, create_time, update_time, preparing_regex, parameters_regex, total_regex)
VALUES(4, 'MyBatis Row', '案例: 2025-07-12 10:00:03 [main] DEBUG com.example.mapper.UserMapper - <==        Row: id=1, name=Tom', '{time} [{thread}] {level} {class} - ==>  Preparing: {sql}', '{time} [{thread}] {level} {class} - ==> Parameters: {params}', '{time} [{thread}] {level} {class} - <==        Row: {row}', 'exact', 30000, 1, '2025-07-12 00:31:09', '2025-07-12 00:31:09', '(?<time>.*?) \[(?<thread>.*?)\] (?<level>.*?) (?<class>.*?) - ==>  Preparing: (?<sql>.*?)', '(?<time>.*?) \[(?<thread>.*?)\] (?<level>.*?) (?<class>.*?) - ==> Parameters: (?<params>.*?)', '(?<time>.*?) \[(?<thread>.*?)\] (?<level>.*?) (?<class>.*?) - <==        Row: (?<row>.*?)');
INSERT INTO `log_analysis`.log_template
(id, name, description, preparing_format, parameters_format, total_format, thread_matching_strategy, sql_timeout_threshold, enabled, create_time, update_time, preparing_regex, parameters_regex, total_regex)
VALUES(5, 'Spring Boot', '案例: 2025-07-12 10:00:04 [main] INFO  com.example.Application : Started Application in 2.345 seconds', '{time} [{thread}] {level} {class} : {msg}', '{time} [{thread}] {level} {class} : {msg}', '{time} [{thread}] {level} {class} : {msg}', 'exact', 30000, 1, '2025-07-12 00:31:09', '2025-07-12 00:31:09', '(?<time>.*?) \[(?<thread>.*?)\] (?<level>.*?) (?<class>.*?) : (?<msg>.*?)', '(?<time>.*?) \[(?<thread>.*?)\] (?<level>.*?) (?<class>.*?) : (?<msg>.*?)', '(?<time>.*?) \[(?<thread>.*?)\] (?<level>.*?) (?<class>.*?) : (?<msg>.*?)');
INSERT INTO `log_analysis`.log_template
(id, name, description, preparing_format, parameters_format, total_format, thread_matching_strategy, sql_timeout_threshold, enabled, create_time, update_time, preparing_regex, parameters_regex, total_regex)
VALUES(6, 'Nginx Access Log', '案例: 127.0.0.1 - - [12/Jul/2025:10:00:05 +0800] "GET /index.html HTTP/1.1" 200 1024', '{ip} - - [{time}] "{method} {url} {protocol}" {status} {size}', '{ip} - - [{time}] "{method} {url} {protocol}" {status} {size}', '{ip} - - [{time}] "{method} {url} {protocol}" {status} {size}', 'exact', 30000, 1, '2025-07-12 00:31:09', '2025-07-12 00:31:09', '(?<ip>.*?) - - \[(?<time>.*?)\] "(?<method>.*?) (?<url>.*?) (?<protocol>.*?)" (?<status>.*?) (?<size>.*?)', '(?<ip>.*?) - - \[(?<time>.*?)\] "(?<method>.*?) (?<url>.*?) (?<protocol>.*?)" (?<status>.*?) (?<size>.*?)', '(?<ip>.*?) - - \[(?<time>.*?)\] "(?<method>.*?) (?<url>.*?) (?<protocol>.*?)" (?<status>.*?) (?<size>.*?)');
INSERT INTO `log_analysis`.log_template
(id, name, description, preparing_format, parameters_format, total_format, thread_matching_strategy, sql_timeout_threshold, enabled, create_time, update_time, preparing_regex, parameters_regex, total_regex)
VALUES(9, 'mybatis_hours', ' 不带日期只带时间的格式，案例：10:01:00:000 [http-nio-8080-exec-1] DEBUG com.example.mapper.OrderMapper - ==>  Preparing: INSERT INTO orders (user_id, product_id, quantity, price) VALUES (?, ?, ?, ?)', '{time} [{thread}] {level} {class} - ==>  Preparing: {sql}', '{time} [{thread}] {level} {class} - ==> Parameters: {params}', '{time} [{thread}] {level} {class} - <==      Total: {total}', 'exact', 30000, 1, '2025-07-12 15:16:01', '2025-07-12 15:16:01', '(?<time>[\d\-\.\s:]+) \[(?<thread>[^\]]+)\] (?<level>\w+) (?<class>[\w\.]+) - ==>  Preparing: (?<sql>.+)', '(?<time>[\d\-\.\s:]+) \[(?<thread>[^\]]+)\] (?<level>\w+) (?<class>[\w\.]+) - ==> Parameters: (?<params>.+)', '(?<time>[\d\-\.\s:]+) \[(?<thread>[^\]]+)\] (?<level>\w+) (?<class>[\w\.]+) - <==      Total: (?<total>\d+)');
INSERT INTO `log_analysis`.log_template
(id, name, description, preparing_format, parameters_format, total_format, thread_matching_strategy, sql_timeout_threshold, enabled, create_time, update_time, preparing_regex, parameters_regex, total_regex)
VALUES(10, 'Spring Boot-plus', '案例: 15:52:08.069 [http-nio-8079-exec-3] DEBUG Schema.findCount - ==>  Preparing: select count(o.id) from t_sys_schema o, (select * from t_sys_datasource_config where 1=1 and upper(factory_code)=upper(?) limit 1) tsdc where 1=1 and o.schema_name <> ?', '{time} [{thread}] {level} {class}.findCount - ==>  Preparing: {sql}', '{time} [{thread}] {level} {class}.findCount - ==> Parameters: {params}', '{time} [{thread}] {level} {class}.findCount - <==      Total: {total}', 'exact', 5000, 1, '2025-07-12 00:31:09', '2025-07-12 20:33:25', '(?<time>\d{2}:\d{2}:\d{2}\.\d{3})\s+\[(?<thread>[^\]]+)\]\s+(?<level>\w+)\s+(?<class>[^\s]+)\.findCount\s+-\s*==>\s*Preparing:\s*(?<sql>.+)', '(?<time>\d{2}:\d{2}:\d{2}\.\d{3})\s+\[(?<thread>[^\]]+)\]\s+(?<level>\w+)\s+(?<class>[^\s]+)\.findCount\s+-\s*==>\s*Parameters:\s*(?<params>.+)', '(?<time>\d{2}:\d{2}:\d{2}\.\d{3})\s+\[(?<thread>[^\]]+)\]\s+TRACE\s+(?<class>[^\s]+)\.findCount\s+-\s*<==\s+Total:\s*(?<total>\d+)');
```

### 3. 后端启动
```bash
# 进入后端目录
cd analysis-server

# 修改数据库配置
# 编辑 src/main/resources/application.yml 中的数据库连接信息

# 启动后端服务
mvn spring-boot:run
```

### 4. 前端启动
```bash
# 进入前端目录
cd frontend

# 安装依赖
npm install

# 启动开发服务器
npm run serve
```

### 5. 访问系统
- **前端地址**: http://localhost:3000
- **后端API**: http://localhost:8080

## 📝 日志生成器使用

系统提供了两个日志生成器，用于生成测试用的MyBatis日志文件：

### MyBatis日志生成器
```bash
# 生成10MB的MyBatis日志文件
python gen_mybatis_log.py -s 10 -f mybatis_test.log

# 生成50MB的日志文件，慢SQL比例20%
python gen_mybatis_log.py -s 50 -f mybatis_large.log -r 0.2

# 只生成慢SQL
python gen_mybatis_log.py -s 5 -f slow_sql_only.log --slow-only

# 只生成正常SQL
python gen_mybatis_log.py -s 5 -f normal_sql_only.log --normal-only
```

### Spring Boot MyBatis日志生成器
```bash
# 生成10MB的Spring Boot风格MyBatis日志
python gen_spring_boot_log.py -s 10 -f spring_boot_test.log

# 生成50MB的日志文件，慢SQL比例15%
python gen_spring_boot_log.py -s 50 -f spring_boot_large.log -r 0.15

# 只生成慢SQL
python gen_spring_boot_log.py -s 5 -f spring_boot_slow.log --slow-only
```

### 参数说明
- `-s, --size`: 目标文件大小(MB)，默认10MB
- `-f, --filename`: 输出文件名
- `-r, --ratio`: 慢SQL比例(0-1)，默认0.1
- `--slow-only`: 只生成慢SQL
- `--normal-only`: 只生成正常SQL

### 生成的日志格式示例
```
2024-01-01 10:00:00 [http-nio-8080-exec-1] DEBUG com.example.mapper.UserMapper - ==>  Preparing: SELECT * FROM users WHERE id = ?
2024-01-01 10:00:00 [http-nio-8080-exec-1] DEBUG com.example.mapper.UserMapper - ==> Parameters: 123(Integer)
2024-01-01 10:00:05 [http-nio-8080-exec-1] TRACE com.example.mapper.UserMapper - <==      Total: 1
```

### 使用步骤
1. 运行日志生成器生成测试文件
2. 将生成的日志文件上传到系统
3. 选择对应的日志模板（MyBatis或Spring Boot）
4. 开始分析，系统将自动检测慢SQL
5. 查看分析结果和性能统计
## 效果图
   
![输入图片说明](daf56bb5598544962a39956a67335c6.png)
![输入图片说明](7144760e6ba0e011b3f1b745f53f8cf.png)
## 📖 使用指南

### 1. 模板管理
1. 访问"模板定义"页面
2. 查看系统预设的日志模板
3. 根据需要创建自定义模板
4. 使用正则测试功能验证模板正确性

### 2. 日志分析
1. 访问"日志解析"页面
2. 选择对应的日志模板
3. 上传日志文件（支持.log和.txt格式）
4. 等待分析完成，查看慢SQL结果

### 3. 性能监控
1. 访问"性能监控"页面
2. 查看实时性能指标
3. 根据性能建议优化系统

### 4. 结果导出
1. 在分析结果页面点击"导出CSV"
2. 下载包含慢SQL详细信息的CSV文件

## 🔧 配置说明

### 后端配置 (application.yml)
```yaml
spring:
  datasource:
    url: jdbc:mysql://localhost:3306/log_analysis?useUnicode=true&characterEncoding=utf8&serverTimezone=Asia/Shanghai
    username: your_username
    password: your_password
    driver-class-name: com.mysql.cj.jdbc.Driver

server:
  port: 8080
  servlet:
    context-path: /api

logging:
  level:
    com.analysis.server: DEBUG
```

### 前端配置
前端默认配置后端API地址为 `http://localhost:8080/api`，如需修改请编辑 `frontend/src/views/` 目录下各组件中的 `apiBaseUrl`。

## 📊 性能指标

系统支持以下性能监控指标：

- **文件处理统计**: 处理文件数、字节数、行数
- **处理性能**: 吞吐量、处理速度、平均处理时间
- **正则匹配**: 匹配成功率、尝试次数、成功次数
- **缓存统计**: 缓存大小、清理次数、驱逐数量
- **错误统计**: 错误数量、错误类型分布

## 🐛 故障排除

### 常见问题

1. **数据库连接失败**
   - 检查数据库服务是否启动
   - 验证数据库连接配置是否正确
   - 确认数据库用户权限

2. **文件上传失败**
   - 检查文件格式是否为.log或.txt
   - 确认文件大小不超过100MB
   - 验证网络连接正常

3. **正则匹配失败**
   - 使用模板测试功能验证正则表达式
   - 检查日志格式是否与模板匹配
   - 调整正则表达式以适应实际日志格式

4. **性能监控数据异常**
   - 重启Spring Boot应用
   - 检查性能监控器注入状态
   - 查看应用日志确认监控器正常工作

## 🤝 贡献指南

1. Fork 项目
2. 创建功能分支 (`git checkout -b feature/AmazingFeature`)
3. 提交更改 (`git commit -m 'Add some AmazingFeature'`)
4. 推送到分支 (`git push origin feature/AmazingFeature`)
5. 打开 Pull Request

## 📄 许可证

本项目采用 MIT 许可证 - 查看 [LICENSE](LICENSE) 文件了解详情

## 📞 联系方式

如有问题或建议，请通过以下方式联系：

- 项目Issues: [GitHub Issues](https://github.com/your-repo/issues)
- 邮箱: your-email@example.com

## 🎯 版本历史

### v1.0.0 (2025-07-12)
- ✨ 初始版本发布
- 🚀 支持MyBatis、Spring Boot日志格式
- 📊 集成性能监控系统
- 🎨 现代化前端界面
- 🔧 灵活的模板管理系统
- 📈 高性能日志处理引擎

---