GitHub上有哪些优秀的Java爬虫项目？
首先声明一点，业界一般都是用pyhon去做爬虫。当然用java语言开发的很有很多
一、nutch
大名鼎鼎的Doug Cutting发起的爬虫项目，Apache下顶级的项目，是一个开源的网络爬虫，采用Ma
首先声明一点，业界一般都是用pyhon去做爬虫。当然用java语言开发的很有很多
一、nutch
大名鼎鼎的Doug Cutting发起的爬虫项目，Apache下顶级的项目，是一个开源的网络爬虫，采用MapReduce分布式爬取和解析网页信息。
github地址：https://github.com/apache/nutch，上面附有官方地址。官方：
二、Heritrix
java开发的开源Web爬虫系统，用来获取完整的、精确的站点内容的深度复制，扩展性强，功能齐全，文档完整。
github地址：https://github.com/internetarchive/heritrix3，里面包含了文档等信息。
三、Gecco
轻量、易用的网络爬虫框架，整合了 jsoup、httpclient、fastjson、spring、htmlunit、redission 等优秀框架。有优秀的可扩展性，框架基于开闭原则进行设计，对修改关闭、对扩展开放。
github地址：https://github.com/xtuhcy/gecco，内含官网地址。
四、crawler4j
是一个开源的Java类库提供一个用于抓取Web页面的简单接口。简单易于使用，支持多线程、支持代理、过滤重复URL等功能。可以在几分钟内设置一个多线程的网络爬虫。
github地址：https://github.com/yasserg/crawler4j，内含使用文档。
还有很多其他的java优秀爬虫项目，就不一一说来了，如WebCollector、WebMagic、Spiderman、SeimiCrawler一大堆的。另外实用就好，没必要全部去了解。
