# crawler-util

**Repository Path**: bobozhangyx/crawler-util

## Basic Information

- **Project Name**: crawler-util
- **Description**: 对httpclient、selenium、数据库、redis等爬虫常用的工具进行了简单的封装。实现了一个多线程的爬虫框架
- **Primary Language**: Java
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 2
- **Forks**: 3
- **Created**: 2017-09-24
- **Last Updated**: 2020-12-19

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# crawler-util
> 对httpclient、selenium、数据库、redis等爬虫常用的工具进行了简单的封装。实现了一个多线程的爬虫框架

### 如何安装？
- clone该项目，然后使用maven install命令即可安装到本地仓库中


### v1.1
#### 内容
1. 对httpclient进行封装
2. 实现下载和处理分离的多线程框架
3. 访问的url由seedManager来进行管理
4. 使用redis来缓存url与去重
5. 简单的对selenium进行封装
#### 说明
- 需要在config.properties中配置
    * redis.host
    * redis.port
    * druid.url #数据库连接url
    * druid.username #数据库用户名
    * druid.password #数据库密码
    
### v1.2
1. 伪造X-Forwarded-For