Choerodon猪齿鱼开源多云集成平台,基于开源技术Kubernetes,Istio,knative,Gitlab和Spring Cloud来实现本地和云端环境的集成,实现企业多云/混合云应用环境的一致性。平台通过提供精益敏捷、持续交付、容器环境、微服务、DevOps等能力来帮助组织团队来完成软件的生命周期管理,从而更快、更频繁地交付更稳定的软件。
飞趣社区做了快两年了,最近也想不到什么新功能去做了,于是想起了开源的事情,我一个人开发终究不能让这个社区走向前方,于是我下定决心开源,开源之前我也蛮纠结的,就像是把自己辛辛苦苦做的东西送给别人了,但是转念一想,也许这会为我的社区向前发展提供助力,不同人的思想或许会激发灵感,所以我就决定开源了。社区网站地址:www.flyfun.site qq讨论群:632118669接下来几天 我会把项目慢慢迁移到开源版本上面,当然,除了一些私人的信息不回上传,有什么问题可以在下面提问,或者加群讨论。
开源中国openapi 应用demo,应用为从csdn ,cnblogs, 51cto, iteye个人博客列表下载所有博文,导入到该用户的oschina博客。应用以webmagic爬虫获取csdn博客,感谢@黄亿华 。
phoenixframework是一个支持对webUI,接口,web性能,mobile app或mobile browser进行自动化测试和监控的平台
一个基于Spring+SpringMVC+Mybatis+webmagic+extjs开发的段子图片抓取平台
博客猎手,基于webMagic的博客爬取工具,支持慕课、csdn、iteye、cnblogs、掘金和V2EX等各大主流博客平台。博客千万篇,版权第一条。狩猎不规范,亲人两行泪。
项目分两个部分: 一个是基于webmagic爬虫框架开发的定向爬虫,用于爬天猫的数据。rails4写的website用于查询天猫商品统计后的数据。以后会增加数据分析模块。
nlp项目基础框架:爬虫,针对动态网页(JS)的专有爬虫
基于SpringBoot+Mybatis+WebMagic Java开源租房系统
WebMagic实现的爬虫,使用selenium自动登录小木虫论坛,并破解简单的计算验证,可使用mysql存储爬取到的用户个人信息。不用代理一天可以爬取该网站1万个用户,使用代理可以一天爬取800万个用户信息。
CasperMagic是基于PlantomJS&CasperJS和WebMagic的一个整合。CasperJS可以很方便对动态网页进行测试,但Javascript不太容易执行数据持久化和数据分析,而一般的爬虫很难抓取动态网页的内容或对页面进行操作并爬取。