# HTSpider

**Repository Path**: quantification_7_1/HTSpider

## Basic Information

- **Project Name**: HTSpider
- **Description**: 构建简单的多线程网络爬虫框架
- **Primary Language**: C#
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 3
- **Created**: 2024-10-13
- **Last Updated**: 2024-10-13

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# HTSpider

#### 介绍
构建简单的多线程网络爬虫框架

# 版本记录

## v0.0.3

- [x] 新增 MathHT，用于数学计算（均值、方差、标准差、正态分布概率密度积分）

## v0.0.2

- [x] 重构 SpiderMgr，增加 SpiderBase，封装内部逻辑
- [x] 增加 HtmlParse 用于字符串解析
- [x] 增加 StockSpider，测试爬取 ”东方财富“ 的股票数据

## v0.0.1

- [x] 初步搭建HTSpider框架
- [x] 新增Logger组件，本地保存Log信息，以供调试
- [x] 新增对象池
- [x] 新增框架核心类：**EngineMgr**  **DownloadMgr**  **SpiderMgr**  **ScheduleMgr**  **ItemPipelineMgr**
- [x] 框架与 Unity 通过 **Root** 连接
- [x] 实现简单的多线程网络爬虫
- [x] 提供爬取测试例子