一个整合了selenium和requests_html的模块,封装了常用页面操作,可实现两种模式的无缝切换。兼顾selenium的易用性和requests的高性能,也可直接用于PO模式。
Last updated: 5 years ago使用scrapy框架爬取数据,数据库选用MongoDB和Redis,先爬取知乎上回答过同一类问题的用户群体(代号A)及其粉丝群体(代号B),从B中根据关注A的数量筛选出最佳粉丝群体(代号B+),再从A中根据其在B+中的粉丝数量筛选出最佳用户(代号A+).
Last updated: 5 years ago