"); //-->
网络爬虫想代理商购买HTTP代理后。通过API提取了代理IP后,会遇到无法使用代理IP这种情况。有可能是以下几点原因造成的。
1、白名单授权
购买的亿牛云优质代理IP,使用和提取的机器IP必须在白名单内,否则无法使用。使用的机器也必须在白名单内IP,否则提取出来也无法使用,会出现超时等情况。
2、网站反爬
由于网站的反爬机制,提取和使用的机器如果都在白名单内,去访问网站还是无法使用,说明网站限制了爬虫或者封IP了。这时候就要注意HTTP的状态码。建议可以使用测试代理的网站进行测试代理。
3、IP有效时间过期
取和使用的机器如果都在白名单内,如果提取出来不及使用,导致IP有效时间到期了,还是会出现IP无法使用,IP超时等问题。
4、代理提取失败或提取之后大量代理访问失败
由于私密家庭代理提取和使用都需要绑定IP白名单,因此必须确保提取和使用代理的服务器,其IP白名单都添加到后台;同时由于移动、手机热点、铁通、鹏博士、长宽是互联网多出口动态分配特性,导致出口IP随机变化,也会出现代理提取失败或访问失败,需要具备电信、联通、各类云服务器或固定IP等网络。
5、代理IP请求失败
首先统计下HTTP状态码,如果大量429,需控制每个代理IP的请求数(使用线程)。每条线路是多个用户共享的,每条线路运营商都有上限,自动运维系统会做IP失效检测,发现IP阻塞就会返回429避免IP失效。
*博客内容为网友个人发布,仅代表博主个人观点,如有侵权请联系工作人员删除。