Harvestman 是一个非常简单、轻量级的 Web 爬虫，使用 Ruby 编写，示例代码： require harvestman Harvestman.crawl http:...<
Nutch Htmlunit Plugin 重要说明： 当前项目基于Nutch 1.X系列已停止更新维护，转向Nutch 2.x系列版本的新项目：http://www.oschina.net/p...<
Upton 是一个用于简化web抓取与一个有用的调试模式的框架，可单独为目标网站编写内容解析。<
goodcrawler(GC) 网络爬虫 GC是一个垂直领域的爬虫，同时也是一个拆箱即用的搜索引擎。 GC基于httpclient、htmlunit、jsoup、elasticsearch。 G...<
webmagic的是一个无须配置、便于二次开发的爬虫框架，它提供简单灵活的API，只需少量代码即可实现一个爬虫。 以下是爬取oschina博客的一段代码： Spider.create(new...<
heyDr是一款基于java的轻量级开源多线程垂直检索爬虫框架，遵循GNU GPL V3协议。 用户可以通过heyDr构建自己的垂直资源爬虫，用于搭建垂直搜索引擎前期的数据准备。<
此服务器是使用mongoose web服务器改写的并发抓取多个页面的服务器, 使用可以查看test.php<
这是一个非常简单易用的抓取工具 怎么使用? 首先你需要创建一个对应站点的规则文件 比如test.json { name : bing searcher , action :...<
ThinkUp 是一个可以采集推特，facebook等社交网络数据的社会媒体视角引擎。通过采集个人的社交网络账号中的数据，对其存档以及处理的交互分析工具，并将数据图形化以便更直观的查看。<
代码更新 2009-11-25： 加入反爬虫功能。直接Web访问服务器将跳转到Google。 使用方法 下载index.zip 解压index.zip得到index.php 将index.php...<
