# FlinkRealtime-DataHouse

**Repository Path**: ZHUMO666/FlinkRealtime-DataHouse

## Basic Information

- **Project Name**: FlinkRealtime-DataHouse
- **Description**: Flink-gmall-realtime
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 3
- **Forks**: 0
- **Created**: 2023-04-11
- **Last Updated**: 2024-12-26

## Categories & Tags

**Categories**: Uncategorized

**Tags**: Java, hadoop, Kafka, flink

## README

# FlinkRealtime-DataHouse

#### 介绍
基于FlinkStreaming和FlinkSQL的电商平台用户行为以及交易数据分析系统
公司有一个正在运营中的电商网站，名称叫做【品优购】。这是一个B2B2C的电商平台，类似京东。
现在我们想了解一下该电商网站的各种用户行为（访问行为、购物行为、点击行为等），统计出PV、UV等数据。
针对这样的大数据分析项目，我们可以采用MapReduce、Spark或者Flink来进行开发。
由于本项目会对实时数据和静态数据进行分析，所以我们采用性能更加优越的Flink来开发。


 基于对电商用户行为数据的基本分类 ，我们可以发现主要有以下三个分析方向：

热门统计 利用用户的点击浏览行为，进行流量统计、近期热门商品统计等。

偏好统计 利用用户的偏好行为，比如收藏、喜欢、评分等，进行用户画像分析，给出个 性化的商品推荐列表。

风险控制 利用用户的常规业务行为，比如登录、下单、支付等，分析数据，对异常情况 进行报警提示。 本项目限于数据，我们只实现热门统计和风险控制中的部分内容，将包括以下 五大模块：
1)实时热门商品统计
2)实时流量统计
3)市场营销商业指标统计
4)恶意登录
5)监控和订单支付失效监控


#### 软件架构
软件架构说明
Hadoop Hbase Zookeeper MySql Maxwell Flume Kafka Flink FlinkCDC ClickHouse Redis SpringBoot MybatisPlus Sugar

 **数仓分层**  ：
1、ODS层：将业务数据和日志文件数据分别存储在Kafka统一Topic 
2、DIM层：提取维度表数据写入 Hbase
3、DWD层: 将经过FlinkApp处理的数据写入Kakfa明细数据层Topic
4、DWS层: 将经过FlinkApp处理的数据写入ClickHouse进行持久化存储
5、ADS层：使用SugarBI对数据接口的聚合指标进行可视化大屏展示