影视资源库（站点+采集）。采用 python 语言，基于 tornado 框架、MySql 数据库（peewee 模块操作 mysql），自带网络爬虫程序。 基于layui的管理后台<
爬冠状病毒新型肺炎疫情实时数据+数据持久化+邮件通知。 数据源来自“丁香园” ：https://3g.dxy.cn/newh5/view/pneumonia_peopleapp?from=tim...<
wind-bell 风铃虫是一款轻量级的爬虫工具，似风铃一样灵敏，如蜘蛛一般敏捷，能感知任何细小的风吹草动，轻松抓取互联网上的内容。它是一款对目标服务器相对友好的蜘蛛程序，内置了二十余种常见或不...<
________ _________________ ___ __ \___________ /_____ /____________ __ / / / __ __...<
GNE-JS 是基于论文《基于文本及符号密度的网页正文提取方法》实现的新闻网页正文通用抽取器。 在论文中描述的正文提取基础上，还增加了标题、发布时间和文章作者的自动化探测与提取功能。 该项目启发...<
GNE 是基于论文《基于文本及符号密度的网页正文提取方法》实现的新闻网页正文通用抽取器。 在论文中描述的正文提取基础上，还增加了标题、发布时间和文章作者的自动化探测与提取功能。 最后的输出效果如...<
spider-flow，新一代爬虫平台，以图形化方式定义爬虫流程，不写代码即可完成爬虫。 特性 支持Xpath/JsonPath/css选择器/正则提取/混搭提取 支持JSON/XML/二进制格...<
Crawlab 是一个使用 Golang 开发的分布式爬虫管理平台，支持Python、NodeJS、Go、Java、PHP等多种编程语言以及多种爬虫框架。 安装 三种方式: Docker（推荐）...<
Blog-Hunter（博客猎手），基于 webMagic 的博客爬取工具，支持慕课、csdn、iteye、cnblogs、掘金和 V2EX 等各大主流博客平台。 主要功能 多个平台：该项目内置...<
去年，做了几个JFinal项目，大量使用了Java爬虫去全网抓取数据，清洗筛选后入库，成为本地结构化数据。 Java中JSOUP做HTML解析是最好的工具，没有之一。 之前听过一句话，大体意思就...<
