# pump

**Repository Path**: dengmin/pump

## Basic Information

- **Project Name**: pump
- **Description**: 一个轻量级的数据抽取工具，可以在不同的数据库之间数据同步。目前支持MySql、Oracle、postgresql等关系型数据库,同时也支持redis等KV数据库 。
- **Primary Language**: Java
- **License**: Apache-2.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 4
- **Created**: 2020-02-19
- **Last Updated**: 2020-12-18

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# pump

#### 介绍
一个轻量级的数据抽取工具，可以在不同的数据库之间数据同步。目前支持MySql、Oracle、postgresql等关系型数据库,同时也支持redis等KV数据库 。

#### 名词解释
-   作业，是对数据转换的一系列操作，包括一个或多个作业明细，为任务中管理的最小单位。
-  作业项为作业明细 
    -  作业明细为数据抽取中的最小抽取单位。
    -  作业明细目前有三种模式类型Sql模式、bean模式、redis模式。
    -  作业明细执行顺序根据设置的执行顺序号执行。
    -  作业明细在任务执行器中，用的技术是spring batch技术，所以作业明细除公共部分外，也包含三部分，reader、processor，writer
        1. reader，对源数据库的数据进行读取操作（主要是select 语句）
        2. processor 对目标表做delete或TRUNCATE处理、对读取的数据进行补全、验证、过滤等操作
        3. writer 对目标数据库的 writer操作
-  作业参数  是作业明细执行中所用到的参数的配置
    1. 由私有作业参数、公用作业参数组成，执行过程中私有参数优先级更高
    2. 若作业管理中，指定了某个作业参数，则作业明细执行中，只取改作业参数配置的参数信息
-  作业专题 专题为一个或多个作业的集合
-  作业树 分为两级，root为专题，第二级为作业
-  数据源 配置数据库

- 调度任务  通过调度管理控制一系列具有数据处理功能的各种程序按照设定的时间执行。
  1. 任务管理的是作业、作业专题
  2. 可以设置执行顺序

- 任务实例 为任务和作业实例化，为任务执行的载体。
  * 在作业管理、作业明细管理、调度任务管理都可能通过【立即执行】按钮，生成任务实例
  * 通过调度任务管理中配置的cron表达式，定时生成任务实例
- 任务实例明细 一个任务实例有一个或多个任务实例明细组成。调度任务中关联几个作业，会有几个明细。实例明细根据明细创建的时间依次执行。
- 任务执行器 任务执行器会时刻监听任务实例和任务实例明细，若有待执行的实例或实例明细，并该任务实例下没有正在运行的实例明细，则进入执行器排队执行
- 执行日志 具体每个作业明细执行的信息  失败时 可以查看错误日志
- 失败预警方式 任务失败后 通知方式管理
- 监控管理 

#### 软件架构
spring boot、spring batch、quarts、spring schedule vue.js jquery


#### 安装教程

1. xxxx
2. xxxx
3. xxxx

#### 使用说明

1. xxxx
2. xxxx
3. xxxx

#### 参与贡献

1. Fork 本仓库
2. 新建 Feat_xxx 分支
3. 提交代码
4. 新建 Pull Request


#### 码云特技

1. 使用 Readme\_XXX.md 来支持不同的语言，例如 Readme\_en.md, Readme\_zh.md
2. 码云官方博客 [blog.gitee.com](https://blog.gitee.com)
3. 你可以 [https://gitee.com/explore](https://gitee.com/explore) 这个地址来了解码云上的优秀开源项目
4. [GVP](https://gitee.com/gvp) 全称是码云最有价值开源项目，是码云综合评定出的优秀开源项目
5. 码云官方提供的使用手册 [https://gitee.com/help](https://gitee.com/help)
6. 码云封面人物是一档用来展示码云会员风采的栏目 [https://gitee.com/gitee-stars/](https://gitee.com/gitee-stars/)