# InformationCollectionProcessSystem

**Repository Path**: fcourage/InformationCollectionProcessSystem

## Basic Information

- **Project Name**: InformationCollectionProcessSystem
- **Description**: No description available
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2020-05-15
- **Last Updated**: 2021-12-02

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# 信息流收集分析系统
#### 根据老男孩教育培训课程学习编写的信息收集分析系统，还在不断完善中
##### 主要由三部分组成，信息流收集端、信息流转发端、信息流分析处理端
### 信息收集端：
#### LogAgent：部署在每个终端，用于收集产生的日志，放入kafka中，是Kafka消息生产方，主要组件：
- etcd 作为配置中心
- tailf 逐行读取日志
- logs 日志库
- kafka 消息生产功能

#### Web_Admin：用于在web界面动态修改etcd里的配置信息，利用beego框架完成

### 信息流转发端：
#### Kafka：作为中间件，接受消息，存储日志消息，供各种第三方消费消息

### 信息流分析处理端：
#### Elasticsearch: 作为Kafka消息消费方，对收集的日志进行搜索和分析，主要组件：
#### Logs_Transferto_ES：从Kafka消费端取出数据转发给Elasticsearch
#### Kibana: 是ES的一个配套工具，让用户在网页中可以直接与ES进行交互，可对数据可视化搜索、分析


![](https://tva1.sinaimg.cn/large/0082zybpgy1gbup5fht1nj30d30agdgn.jpg)

###### 新增功能：如果程序异常退出，立即微信通知运维人员，感谢方糖老师的Server酱 http://sc.ftqq.com/3.version