scrapy Scrapy：Python的爬虫框架 实例Demo 抓取：汽车之家、瓜子、链家 等数据信息 版本+环境库 Python2.7 + Scrapy1.12 初窥Scrapy Scrap...<
nspider node版的轻量级爬虫框架 特性: 在服务端进行dom处理，默认使用的jquery语法 请求控制 优先请求队列 兼容node4.x或更高版本 快速开始 如何安装 $ npm in...<
项目代号：土拨鼠 万维网网络机器人,又称蜘蛛,爬虫,原理主要是通过构造符合HTTP协议的网络数据包,向指定主机请求资源,获取返回的数据.万维网有大量的公开信息,人力采集数据费时费力,故激发了爬虫...<
CatGate 是一个基于浏览器插件的数据抓取工具。做成浏览器插件无需模拟登入，能最真实的模仿用户行为和特征。 演示视频 http://weibo.com/1088413295/F9P1izhY...<
一个简约灵活强大的Java爬虫框架。 Features: 1、代码简单易懂，可定制性强 2、简单且易于使用的api 3、支持文件下载、分块抓取 4、请求和相应支持的内容和选项比较丰富、每个请求可...<
简介 Beanbun 是一个简单可扩展的爬虫框架，支持分布式，支持守护进程模式与普通模式，守护进程模式基于 Workerman，下载器基于 Guzzle。 特点 支持守护进程与普通两种模式（守护...<
php实现的dht (BT种子)分布式爬虫 24小时采集 bt种子磁力链接信息 区别于传统爬虫 不会被封ip 采集效率 vultr 1核1G机器 每日大概8~10w条记录 github地址:ht...<
爬取开源中国中的项目信息并保存到数据库(sqlite)，方便按收藏、评论、评分查找。 环境要求： python2 sqlite3 pysqlite<
wyps 是一个采用Java编写的一个在线采集系统，通过jsoup解析html网页，，只要会写jQuery语法就可以轻松采集任意网页的内容。并且使用selenium自动化测试工具解析动态网站或者...<
Python-goose项目是用Python重写的Goose，Goose原来是用Java写的文章提取工具。Python-goose的目标是给定任意资讯文章或者任意文章类的网页，不仅提取出文章的主...<
