网络爬虫是从互联网获取大数据的主流方式，但在获取信息时，IP地址总是遭到方针站点的约束。很多情况下，IP地址是网站反爬取机制的基础。
当咱们拜访网站时，咱们的ip地址会被记录下来，假如抓取频率高于方针网站的约束阈值，服务器会把你当作爬虫，约束你的拜访，频频的抓取会使现有的IP地址无法运用。
在了解解决办法之前咱们要知道为什么即使运用海外HTTP署理了IP地址还是会被封的原因。
1、这是目前的服务器IP封闭最常见的原因，DDoS进犯会突然将很多无效或缓慢的阅读恳求输入/导出到你的服务器，导致服务器流量需求激增，带宽超限，服务器堵塞，悉数IP下一个网站无法拜访。
DDoS进犯不仅会使方针服务器瘫痪，还会影响室内网络的正常运转，机房的防火墙检测到种情况，直接封闭服务器IP。
2、服务器流量超载
假如服务器流入/流出的数据太多，远远超越订阅的服务器带宽资源，服务供货商有权封闭服务器IP。
动态IP署理IP署理HTTPS署理服务器长效署理长效署理长效署理长效署理IP增加带宽，处理相关问题后再打开，这种情况在独自运用服务器时比较罕见，在独自运用服务器时也比较罕见。VPS和云服务器比较常见。
3、违背机房办理规定。
租用服务器时，用户应遵守与服务供货商的协议，防止内容（如色情、暴力、赌博、废物短信等）违背机房规定和区域法规。
正规运营商一般会不定期检查用户的网站，发现这类不合法网站，直接封闭IP，责令整改。
下面是解决办法
1、找出你的IP被阻挠的原因
你应该能够在“关于咱们”页面的页脚中的某处找到或许会给你答案的网站政策，假如你尝试运用错误信息登录太屡次，你或许需求等候24小时才干重试。
2、查清你的IP是否在任何公共黑名单上
许多网站和服务所有者运用公共网站IP黑名单以防止他们的服务被滥用。
假如你需求查找IP地址，能够检查怎么查找IP地址。
3、确保你的网络和邮件服务器配备正确
任何不合适的数字或字母都能够在黑名单上标记网络IP地址，你能够了解怎么摆脱黑名单的后续过程，这些过程或许包括正反向更正，DNS记录以及SMTP条幅。
爬虫IP地址被封
爬虫开发者通常用以下办法解决这个问题，供大家参考。
1、减慢捕获速度
尽量模拟实际用户的行为，方针站点的压力相对削减，但数据抓取效率相应降低。
2、设置署理IP
爬虫需求多个安稳的署理IP，每次他们运用署理IP更改IP地址，方针站点都被认为是新用户，因此不存在黑客进犯的风险。
最后Smartproxy是海外HTTP署理服务器提供商，IP能够精准定位城市级，每个月都会更新IP池，一手IP，服务于大数据采集范畴协助企业/个人快速高效获取数据源，真的十分便宜实惠，罢了速度快又很安稳。
