# binlog

**Repository Path**: cuicui20210817/binlog

## Basic Information

- **Project Name**: binlog
- **Description**: 由于debezium依赖了kafka等相关的复杂技术,小公司人力不足,还是做一个简易版本的数据流解析系统
- **Primary Language**: Unknown
- **License**: Apache-2.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2022-07-21
- **Last Updated**: 2025-10-25

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# 原因

找到了debezium作为cdc工具,发现集成kafka等重量级的工具,查看源码 它也是用的第三方工具集成的,因此自己实现一个miniCDC工具,解决如下问题:

- 数据大屏,频繁查询mysql造成的高IO
- 分发数据到其他存储,解决一些实时性不高的query，减轻mysql压力
- 数据历史版本记录-部分关键数据，由于频繁更新，客户反馈数据异常，导致花费大量时间查询业务日志和binlog(mysqlbinlog工具)[还需要即时查询，有些数据有时效,过期了就无法下载了], 下载和查询了大量的日志，才找到原因，还怀疑到mysql更新数据，没有成功上去了 <._.>

#核心工具包

https://github.com/osheroff/mysql-binlog-connector-java

```xml
<dependency>
    <groupId>com.zendesk</groupId>
    <artifactId>mysql-binlog-connector-java</artifactId>
    <version>0.25.0</version>
</dependency>
```

#mysql官方开发文档
[binlog文档](https://dev.mysql.com/doc/internals/en/binary-log.html)

#源码开发文档
[原版](https://dev.mysql.com/doc/internals/en/)
[翻译稿](./doc/internals/index.md)

#第三方参考

[类似的同步器](https://github.com/zzt93/syncer/blob/master/doc/consistency_CN.md)
他自己做了WAL先写日志保证,数据及时处理，类似于kafka的落盘,要不然数据会丢失的

# 目前的版本还是不太成熟,

可以先用 [嵌入式的Debezium](https://debezium.io/documentation/reference/1.9/development/engine.html)