# easy-spider

**Repository Path**: wben107/easy-spider

## Basic Information

- **Project Name**: easy-spider
- **Description**: 这是个基于request和async模块的简单爬虫
- **Primary Language**: NodeJS
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 2
- **Forks**: 0
- **Created**: 2019-07-01
- **Last Updated**: 2020-12-19

## Categories & Tags

**Categories**: spider

**Tags**: None

## README

# easy-node-spider

#### 介绍
这是个基于request和async模块的简单爬虫，参数和request参数相同

#### 软件架构
软件架构说明


#### 安装教程

1. npm install 


#### 使用说明

1. var Spider = require('easy-node-spider')
2. var esp = new Spider(paramList,limit,timer);
3. esp.run(dealcallback,callback);

#### 参数说明
>>> paramList是一个request的请求参数的数组

|  参数  |  是否必须  |   示例 |  备注  |
| -- | -- | -- | -- |
| paramList   | 是   |  ['http://www.baidu.com']  |  请求参数的数组或url数组  |
| limit   |  否  |  1  |  设置最大线程默认是1   |
| timer   |  否  |  1000  |  设置每个请求间隔的时间默认是0  |
| dealcallback   |  是  |  dealcallback(err,body,data,callback)  | 单个数据的处理函数  |
| callback   |  是  |  callback(result)  | 处理最后的结果数组  |