新闻  |   论坛  |   博客  |   在线研讨会
代理IP最新的使用方式
laical | 2021-01-21 17:25:41    阅读:200   发布文章

现在的网络环境中,需要使用IP的用户也越来越多,像IP被限制,账号被封,隐藏本地IP等等都是需要用到IP代理的。所以有在我们的网络工作中越来越离不开IP代理。我们可以看看哪种代理IP才是自己需要的。

代理IP有独享IP,自然也有共享IP。共享ip,大概意思就是多台设备或终端共用一个ip。而独享ip,就是这个ip只有一个设备或终端使用,其他设备终端无法使用。

那使用代理IP的方式有几种呢?

API提取的优质代理:

API就是url链接,用户的程序需要支持API的读取,定期从url中获取代理IP的相关信息,可以自建IP池管理维护

隧道转发的爬虫代理:

亿牛云爬虫代理IP”通过固定云代理服务地址,建立专线网络链接,代理平台自动实现毫秒级代理IP切换

API的优质代理和隧道转发爬虫代理区别:

传统API提取式代理,通过URL定时获取代理IP信息,需验证IP的可用性、更换代理设置,同时需要设计多线程异步IO,实现代理IP并发处理,不仅繁琐,而且影响效率。

亿牛云爬虫代理IP”通过固定云代理服务地址,建立专线网络链接,代理平台自动实现毫秒级代理IP切换,保证了网络稳定性和速度,避免爬虫客户在代理IP策略优化上投入精力。

以上都属于动态IP池,网络爬虫可以根据的自己的需求选择适合的产品。以上两种使用IP的方式,是目前为止非常常见的两种方式,为网络爬虫使用代理IP提供了便利。

    #! -*- encoding:utf-8 -*-
    import requests
    import random
    import requests.adapters

    # 要访问的目标页面
    targetUrlList = [
        "https://httpbin.org/ip",
        "https://httpbin.org/headers",
        "https://httpbin.org/user-agent",
    ]

    # 代理服务器(产品官网 www.16yun.cn)
    proxyHost = "t.16yun.cn"
    proxyPort = "31111"

    # 代理验证信息
    proxyUser = "username"
    proxyPass = "password"

    proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
        "host": proxyHost,
        "port": proxyPort,
        "user": proxyUser,
        "pass": proxyPass,
    }

    # 设置 http和https访问都是用HTTP代理
    proxies = {
        "http": proxyMeta,
        "https": proxyMeta,
    }

    # 访问三次网站,使用相同的Session(keep-alive),均能够保持相同的外网IP
    s = requests.session()

    # 设置cookie
    # cookie_dict = {"JSESSION":"123456789"}
    # cookies = requests.utils.cookiejar_from_dict(cookie_dict, cookiejar=None, overwrite=True)
    # s.cookies = cookies

    for i in range(3):
        for url in targetUrlList:
            r = s.get(url, proxies=proxies)
            print r.text


*博客内容为网友个人发布,仅代表博主个人观点,如有侵权请联系工作人员删除。

参与讨论
登录后参与讨论
推荐文章
最近访客