爬虫在筛选有效IP地址时,如果一个IP地址现在是无效的,那它以后有可能恢复成有效的吗?为什么?

第一,让我们了解下什么是有效的IP地址。
为了解决IP地址的数量不足,分为两大类,公有地址,也就是可以互联网互通的;私有地址,提供内部网络使用,比如家庭路由器下的地址,分配到终端上,

本文最后更新时间:  2023-02-24 16:39:26

第一,让我们了解下什么是有效的IP地址。

为了解决IP地址的数量不足,分为两大类,公有地址,也就是可以互联网互通的;私有地址,提供内部网络使用,比如家庭路由器下的地址,分配到终端上,公网出口才是公有IP。

第二,让我们简单了解爬虫的访问。

比如网站对外提供服务,爬虫就是模拟你的浏览行为获取数据。对于同一个IP地址的访问量激增,这是不符合人为使用逻辑的,网站会将爬虫地址拒绝访问,这样爬虫只能从地址池中再选择其他IP。

第三,地址的无效原因是什么?

1、上文说的你访问太频繁,被服务器给拒绝了。

2、这个IP地址分配给你之前使用到不该有的服务或应用上,比如赌博,传销。

3、这个IP曾经被攻击过,比如DDOS,还未被放行。

4、你所用的IP地址在国外,不被GWF放行。

第四,我们说说该怎么办。

地址无效的原因不同,两个字总结下来就是“拉黑”。做为数量有限的IP地址,各方服务者肯定会让其流转起来。

如果是被服务器拒绝的IP,这是特定的应用封锁,爬取其他服务有可能正常。一般会封闭一段时间后解封。

如果是被攻击过或者非法运营过而被拉黑的,那需要找你对应的机房或云运营商去申请解封。

如果是境外地址那是被规则过滤的,就放弃吧。

 1/2    1 2 下一页 尾页
温馨提示:内容均由网友自行发布提供,仅用于学习交流,如有版权问题,请联系我们。