具体什么是“爬虫“？零基础成为一个“爬虫”难度大吗？

爬虫的本质是模拟人访问浏览器的行为，获取信息与数据的手段，是一种将人的行为自动化的过程。
这个过程的核心其实就是向网站服务器发送请求,接受网站服务器返回的响应,提取返

爬虫是伴随互联网的兴起而来的，以前很早的互联网，比如曾经的雅虎，你能想象给别人看的网页都是人工后台一个个给弄上去的吗。就跟今天的一些内容网站，比如问答一样，用户给一个个补录上去，让大家看的。

但是搜索引擎不行，互联网的内容简直太多了，软件是摩尔定律级别，网页就更不说了。如果靠人工，根本不可能搞定这么多东西。就产生了很多算法，比如深度优先，广度优先等，尽量的去抓取别人的网页和内容。这其中也有很多的规则，并不是什么内容都允许抓取的。比如百度的爬虫，一般叫百度蜘蛛spider。爬取规则，你偶尔会看到自己项目中也会有类似robots.txt这样文件，就是爬虫规则。你可以写明不允许爬取，正常的蜘蛛是不应该再来抓取你的内容的。

一般我们能看到的，被爬取的内容都是明网，还有子网，暗网，你可以自己搜索了解一下。据说暗网的内容更多，更让人惊心动魄，被我们定义为非法的，“说是为了保护我们”，哎，就算是吧。

学爬虫，我们不需要搞到搜索引擎的级别，这个是谷歌，百度这种强搜索倾向的公司去搞的。一般来说，Python的这个框架Scrapy，就可以递归爬取内容，可以从它开始去学习如何爬取。零基础难度也不算大，但还是需要你花一些精力去研究的。我自己没去从事过爬取的岗位。现在厉害的人多了，你可以去从简单的实例开始，比如随便搜搜，‘我用爬虫一天时间“偷了”知乎一百万用户，只为证明PHP是世界上最好的语言’，爬取网易云音乐，用Python解决租房问题等例子，都非常有趣，这些都是学习的好例子。