# springboot + storm + kafka + python

**Repository Path**: 158cosmos/springbootstormkafkapython

## Basic Information

- **Project Name**: springboot + storm + kafka + python
- **Description**: springboot + storm + kafka + python(小波分解、神经网络) + hbase + redis + socket实现流式计算
- **Primary Language**: Java
- **License**: Not specified
- **Default Branch**: 阿啄debugIT
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 2
- **Forks**: 0
- **Created**: 2020-05-26
- **Last Updated**: 2022-12-20

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# springboot + storm + kafka + python(小波分解、神经网络) + hbase + redis + socket实现流式计算
------

## 业务流程

1、storm消费kafka中的数据，通过sensorType这个字段进行fieldGroupping，确保同一类型的数据在一个bolt task中处理。

2、同一类型的数据累积一定数量后，调用python进程(wavelet和tensorflow)去计算结果。

3、拿到小波分析计算得到的数据列表后，会写入到hbase数据库中，然后让项目启动时创建的socket client把数据发送给socket server(参考springboot-socket这个项目)，socket server会把计算结果实时发送给浏览器客户端。

4、tensorflow计算得到结果后，或写入到redis缓存中，供其他服务查询。