智数通2.0是新一代完全自主研发的数据治理平台，现拥有数据建设平台、数据治理平台、数据服务平台、任务调度平台等四大基础数据治理平台， 实现了数据集成、元数据管理、数据标准管理、数据质量管理、数据服务管理、数据建模管理、数据血缘查看、数据资产管理、任务调度管理等功能模块， 打通了数据治理各个环节，快速满足政府、企业各类不同的数据治理场景。
智数通提供了元数据管理、数据标准管理、数据质量管理、主数据管理、数据集市管理、可视化图表看板、流程管理等微服务，是为数字化建设而生的企业级一站式数据治理平台。
【同步更新】小红书、抖音、快手、B站、微博等常见网站视频、评论爬虫（原项目地址：https://github.com/NanmiCoder/MediaCrawler ）
实战多种网站、电商数据爬虫。包含：淘宝商品、微信公众号、大众点评、招聘网站、闲鱼、阿里任务、scrapy博客园、微博、百度贴吧、豆瓣电影、包图网、全景网、豆瓣音乐、某省药监局、搜狐新闻、机器学习文本采集、fofa资产采集、汽车之家、国家统计局、百度关键词收录数、蜘蛛泛目录、今日头条、豆瓣影评️️️。微信爬虫展示项目:
实战多种网站、电商数据爬虫。包含：淘宝商品、微信公众号、大众点评、招聘网站、闲鱼、阿里任务、scrapy博客园、微博、百度贴吧、豆瓣电影、包图网、全景网、豆瓣音乐、某省药监局、搜狐新闻、机器学习文本采集、fofa资产采集、汽车之家、国家统计局、百度关键词收录数、蜘蛛泛目录、今日头条、豆瓣影评️️️。微信爬虫展示项目:
隐语 secretflow 是由蚂蚁发起的隐私计算通用框架，本仓库mirror自github对应仓库，更新时效可能有延时。
OmniParse 是一个平台，可提取和解析任何非结构化数据，将其转换为针对 GenAI (LLM) 应用程序优化的结构化、可操作数据。无论是处理文档、表格、图像、视频、音频文件还是网页，OmniParse 都会将您的数据准备为干净、结构化的数据，并准备好用于 AI 应用程序（例如 RAG、微调等）。
商用产品开源，包括用户埋点数据采集、用户标签分群和画像、智慧运营、营销等。项目采用Nginx+Flume+kafka实现日志收集，Flink进行实时流处理，ClickHouse作为实时数仓，HDFS作为数据备份。 项目帮用户快速搭建CDP客户数据平台，实现对移动端数据分析、用户行为分析、用户标签画像和在线营销。完美兼容神策埋点SDK、友盟埋点SDK和其他终端埋点包。快速对接、快速应用。
【2024最新版】 大数据 数据分析 电商系统 实时数仓 离线数仓 数据湖 建设方案及实战代码，涉及组件 flink、paimon、doris、seatunnel、dolphinscheduler、datart、dinky、hudi、iceberg。
智数通提供了元数据管理、数据标准管理、数据质量管理、主数据管理、数据集市管理、可视化图表看板、流程管理等微服务，是为数字化建设而生的企业级一站式数据治理平台。
LarkMidTable 是一站式开源的数据中台，实现中台的基础建设，数据治理，数据开发，监控告警，数据服务，数据的可视化，实现高效赋能数据前台并提供数据服务的产品。
🔥基于Vue+ElementUI+G2Plot+Echarts的仪表盘设计器，使用简单，完全免费，代码开源。
🔥基于Vue的大屏可视化设计器，前后端一体化解决方案，几十种炫酷图表，支持多种数据来源接入，适用于大屏、低代码、BI场景，使用简单，代码完全开源。
