# Data_Collection

**Repository Path**: danan_12345/Data_Collection

## Basic Information

- **Project Name**: Data_Collection
- **Description**: 基于电商平台的数据采集项目
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 1
- **Forks**: 0
- **Created**: 2023-01-15
- **Last Updated**: 2024-01-02

## Categories & Tags

**Categories**: Uncategorized

**Tags**: flume, Kafka, shell, maxwell, datax

## README

# 数据采集项目

## 1 项目简介

​	电商业务场景下，采集用户行为日志数据以及业务数据。

## 2 项目架构

![1.数据采集项目架构.drawio](数据采集项目架构.png)

## 3 集群资源规划

| 服务名称               | 子服务            | 服务器hadoop102 | 服务器hadoop103 | 服务器hadoop104 |
| ---------------------- | ----------------- | --------------- | --------------- | --------------- |
| HDFS                   | NameNode          | √               |                 |                 |
|                        | DataNode          | √               | √               | √               |
|                        | SecondaryNameNode |                 |                 | √               |
| YARN                   | NodeManager       | √               | √               | √               |
|                        | ResourceManager   |                 | √               |                 |
| ZooKeeper              | ZooKeeperServer   | √               | √               | √               |
| Flume（采集日志）      | Flume             | √               | √               |                 |
| Kafka                  | Kafka             | √               | √               | √               |
| Flume（消费Kafka日志） | Flume             |                 |                 | √               |
| Flume（消费Kafka业务） | Flume             |                 |                 | √               |
| Hive                   | Hive              | √               |                 |                 |
| MySQL                  | MySQL             | √               |                 |                 |
| DataX                  | DataX             | √               |                 |                 |
| Maxwell                | Maxwell           | √               |                 |                 |