Xenu Link Sleuth 也许是你所见过的最小但功能最强大的检查网站死链接的软件了。你可以打开一个本地网页文件来检查它的链接，也可以输入任何网址来检查。它可以分别列出网站 的活链接以及死...<
NWebCrawler是一款开源的C#网络爬虫程序<
Smart and Simple Web Crawler是一个Web爬虫框架。集成Lucene支持。该爬虫可以从单个链接或一个链接数组开始，提供两种遍历模式：最大迭代和最大深度。可以设置 过滤器...<
根据批量URL生成一个有书签的pdf文档的解决方案。h2p-file是一个xml文件，该xml文件主要描述url的信息和url的层次结构，h2p-tool根据h2p-file生成有书签的pdf文...<
Soukey 采摘网站数据采集软件是一款基于.Net 平台的开源软件，也是网站数据采集软件类型中唯一一款开源软件。尽管 Soukey 采摘开源，但并不会影响软件功能的提供，甚至要比一些商用软件的...<
BlueLeech是一个开源程序，它从指定的URL开始，搜索所有可用的链接，以及链接之上的链接。它在搜索的同时可以下载遇到的链接所指向的所有的或预定义的范围的内容。<
JobHunter旨在自动地从一些大型站点来获取招聘信息，如chinahr,51job,zhaopin等等。JobHunter 搜索每个工作项目的邮件地址，自动地向这一邮件地址发送申请文本。<
Methanol 是一个模块化的可定制的网页爬虫软件，主要的优点是速度快。<
JSpider 是一个用 Java 实现的 WebSpider，JSpider 的执行格式如下： jspider [URL] [ConfigName] URL 一定要加上协议名称，如：http:...<
Grub Next Generation 是一个分布式的网页爬虫系统，包含客户端和服务器可以用来维护网页的索引。<
