神箭手云爬虫是一个帮助开发者快速开发爬虫系统的云框架。神箭手提供上手简单,灵活开放的爬虫云开发环境,让开发者只需要在线写几行js代码就可以实现一个爬虫。并且爬虫将自动运行在云服务器上,爬取速度更...<
DribbbleCrawler 是一款小而美的爬虫工具。 Windows平台应用程序 点击获取 使用 PATH:存储图片的地址 PAGE_NUMBER:抓取图片的网页页数 POOL_NUMBER...<
zerg 基于docker的分布式爬虫服务 特性 多机多 IP,充分利用 IP 资源 服务自动发现和注册(基于 etcd 和 registrator) 负载均衡 服务端客户端通信基于 gRPC,...<
Crawler 基于 Java 开发的一款跨平台爬虫,可以使用Shell脚本和DOS命令进行任务式处理。 比如CR命令 使用一个Email正则就可以从贴吧中提取所有邮箱 使用Ci命令 爬取所有新...<
介绍 p2pspider 是一个 DHT 爬虫 + BT 客户端的结合体, 从全球 DHT 网络里 嗅探 人们正在下载的资源, 并把资源的metadata(种子的主要信息)从远程 BT 客户端下...<
QueryList是一套简洁、优雅的PHP采集工具(爬虫),基于phpQuery。 特性: 拥有与jQuery完全相同的CSS3 DOM选择器 拥有与jQuery完全相同的DOM操作API 拥有...<
Gecco是什么 Gecco是一款用java语言开发的轻量化的易用的网络爬虫。Gecco整合了jsoup、httpclient、fastjson、spring、htmlunit、redissio...<
SeimiCrawler 是一个敏捷的、独立部署的、支持分布式的 Java 爬虫框架,希望能在最大程度上降低新手开发一个可用性高且性能不差的爬虫系统的门槛,以及提升开发爬虫系统的开发效率。在 S...<
SpiderGirls 是使用java编写的一个开源软件,使用它用户可以轻松地获得某个给定的关键字下的搜索引擎的结果,现在支持bing搜索和sogou搜索。 主页: https://github...<
CrawlerDemon 是垂直应用爬虫,基于akka+okHttp+spring+jsoup ,配置简单,上手容易,支持配置动态参数,动态代理,http自动重试。 特点 基于 akka 高性能...<