新闻  |   论坛  |   博客  |   在线研讨会
API优质代理IP知识要点
laical | 2021-01-14 17:17:30    阅读:225   发布文章

API代理:

传统API提取式代理,通过URL定时获取代理IP信息,需验证IP的可用性、更换代理设置,同时需要设计多线程异步IO,实现代理IP并发处理

API提取间隔:

在代理提取时间内只能访问一次API链接,超出的访问网站会返回中文提示访问频繁,程序需要暂停等待,直到下一次代理提取时间到期再访问,否则程序大量快速访问,网站可能会判断为攻击,直接黑名单禁止访问,停止该行为一段时间后会自动恢复访问许可。

API代理提取和使用失败:由于私密家庭代理提取和使用都需要绑定IP白名单,因此必须确保提取和使用代理的服务器,其IP白名单都添加到后台;同时由于移动、手机热点、铁通、鹏博士、长宽是互联网多出口动态分配特性,导致出口IP随机变化,也会出现代理提取失败或访问失败,需要具备电信、联通、各类云服务器或固定IP等网络。

API代理提取失败:

一条代理API链接只能按照指定时间间隔进行访问,注意程序是不是有多个线程访问或一个服务器下有多个软件运行,超出了代理链接提取速度,请用浏览器访问代理API链接,看看中文提示错误描述。

如果服务器每秒请求超过一次,会被判断为DDOS攻击行为,直接黑名单处理,停止该行为一段时间后会自动恢复访问许可。

API代理请求出错:如果大量429,需控制每个代理IP的请求数(使用线程)。每条线路是多个用户共享的,每条线路运营商都有上限,自动运维系统会做IP失效检测,发现IP阻塞就会返回429避免IP失效。

API优质代理的分发模式:

为了给服务器集群或多线程软件提供更快的API响应速度,平台提供分发模式。在代理API链接后面加上&dist=[数量],可以实现每秒快速多次请求,每次获取相应数量的代理IP。例如:API&dist=1,表示每次提取1个IP。需要注意的问题是:

(1) 分发模式并不能增加单位时间内的代理IP提取总量,例如动态短效代理,标准产品是每分钟提取50个代理IP,分发模式快速提取超出每分钟50个代理IP的总量,会导致访问返回429,客户可以增加该订单的代理IP提取量避免上述情况。

(2)分发模式是基于服务器缓存机制,代理IP有效时间会相应缩短,因此代理IP要尽快提取使用,否则可能出现ip失效的情况。

1610355792(1).jpg


*博客内容为网友个人发布,仅代表博主个人观点,如有侵权请联系工作人员删除。

参与讨论
登录后参与讨论
推荐文章
最近访客