本项目 fork 项目go_spider，github：https://github.com/hu17889/go_spider ，因此项目架构的部分文档可以参考此项目。 同时项目架构、部分思路...<
Egg 简介 Egg 它一个通用高效的爬虫,希望它能够替大家实现一些需求，更希望能为开源做出自己的贡献。目前，还在成长，在我的构想下，它还需要添加很多功能，我会继续完善。有任何疑问以及需求请以与...<
surfer是一款Go语言编写的高并发爬虫下载器，拥有surf与phantom两种下载内核。 支持固定UserAgent自动保存cookie与随机大量UserAgent禁用cookie两种模式，...<
已删除源码<
scrape 是一个简单高级的 Web 爬虫库，使用 Go 语言开发。 示例代码： package main import ( fmt net/http ...<
Scrapple 是一个用来开发 Web 爬虫程序的 Python 框架，使用 key-value 配置文件。提供命令行接口来运行基于 JSON 的配置，同时也提供基于 Web 的接口来输入。<
guozhongCrawler的是一个无须配置、便于二次开发的爬虫开源框架，它提供简单灵活的API，只需少量代码即可实现一个爬虫。模块化设计完全 面向业务提供接口，功能覆盖整个爬虫的生命周期(链...<
Osmosis 是 Node.js 用来解析 HTML/XML 和 Web 内容爬取的扩展。 示例代码： var osmosis = require(osmosis);osmosis....<
Another Simple Crawler 又一个网络爬虫，可以支持代理服务器的翻墙爬取。 1.数据存在mysql当中。 2.使用时，先修改web-inf/config.ini的数据链接相关信...<
spider-utils-for-php: 原则： 简单、易用、灵活、任性任性任性就是任性！ 特色： php 界内最简单易用的 http-utils，自动识别支持 curl、socket、fil...<
