新闻  |   论坛  |   博客  |   在线研讨会
HTTP代理无法使用解决方案
laical | 2021-01-11 17:11:40    阅读:326   发布文章

网络爬虫想代理商购买HTTP代理后。通过API提取了代理IP后,会遇到无法使用代理IP这种情况。有可能是以下几点原因造成的。

1、白名单授权

购买的亿牛云优质代理IP,使用和提取的机器IP必须在白名单内,否则无法使用。使用的机器也必须在白名单内IP,否则提取出来也无法使用,会出现超时等情况。

2、网站反爬

由于网站的反爬机制,提取和使用的机器如果都在白名单内,去访问网站还是无法使用,说明网站限制了爬虫或者封IP了。这时候就要注意HTTP的状态码。建议可以使用测试代理的网站进行测试代理。

3、IP有效时间过期

取和使用的机器如果都在白名单内,如果提取出来不及使用,导致IP有效时间到期了,还是会出现IP无法使用,IP超时等问题。

4、代理提取失败或提取之后大量代理访问失败

由于私密家庭代理提取和使用都需要绑定IP白名单,因此必须确保提取和使用代理的服务器,其IP白名单都添加到后台;同时由于移动、手机热点、铁通、鹏博士、长宽是互联网多出口动态分配特性,导致出口IP随机变化,也会出现代理提取失败或访问失败,需要具备电信、联通、各类云服务器或固定IP等网络。

5、代理IP请求失败

首先统计下HTTP状态码,如果大量429,需控制每个代理IP的请求数(使用线程)。每条线路是多个用户共享的,每条线路运营商都有上限,自动运维系统会做IP失效检测,发现IP阻塞就会返回429避免IP失效。 


*博客内容为网友个人发布,仅代表博主个人观点,如有侵权请联系工作人员删除。

参与讨论
登录后参与讨论
推荐文章
最近访客