一个基于gevent的爬虫框架，最初的版本在一定程度上模仿了scrapy。<
作为一个入门级的程序员，用ruby写的一个小脚本，可以采集某人才网的人才数据，写的不好。头一次发布，希望大大们批评指正。 采集某网站的人才数据，保存到csv文件中，同时导入数据库<
Spiderman 是一个基于微内核+插件式架构的网络蜘蛛，它的目标是通过简单的方法就能将复杂的目标网页信息抓取并解析为自己所需要的业务数据。 最新提示：欢迎来体验最新版本Spiderman2，...<
美容新闻淘客免维护全自动采集 1.采集瑞丽女性美容频道文章,免维护全自动采集 2.可自定义网站标题,关键字,描述等 3.可选择是否应用新浪SAE平台 支持 新浪SAE环境 与普通环境自由切换 4...<
用JAVA编写的web 搜索和爬虫，包括全文和分类垂直搜索，以及分词系统<
NCrawler 是一个Web Crawler 工具，它可以让开发人员很轻松的发展出具有Web Crawler 能力的应用程式，并且具有可以延展的能力，让开发人员可以扩充它的功能，以支援其他类型...<
spidernet是一个以递归树为模型的多线程web爬虫程序, 支持text/html资源的获取. 可以设定爬行深度, 最大下载字节数限制, 支持gzip解码, 支持以gbk(gb2312)和u...<
Crowbar: 基于Mozilla浏览器的 ajax 爬虫，还可作为远程浏览器使用，比较有意思。<
OWASP AJAX Crawling Tool (FuzzOps-NG) OWASP出品的ajax爬虫，java编写，开放源代码。<
Crawljax: java编写，开放源代码。 Crawljax 是一个 Java 的工具用于自动化的爬取和测试现在的 Ajax Web 应用。<
