"); //-->
指定打开需要采集的目标网站,解析目标网站URL链接。如果在分析过程中发现其他不相干的数据,我们可以通过HTML进行网页的源码分析,采集对应的数据信息。有的电商网站做了反爬虫的处理,可以添加UA或者爬虫代理IP模拟浏览器去进行采集。
如果网站的反爬无法解决,我们其实可以采用python语言的selenium框架去进行数据采集,selenium是一个强大的数据采集工具,虽然采集的很慢,但是不容易被网站限制反爬。它是直接运行在浏览器上的框架,直接模拟真实用户去访问的目标网站从而获取数据。
Selenium和request的区别:
selenium虽然慢,但是就是因为它是模拟浏览器工作的,所以不会被反爬,当然需要的爬虫代理IP需要稳定的,但是不需要固定IP去采集,几分钟的短效IP都可以使用,request一样可以访问电商网站的,但是对技术和请求头的参数要求比较高,电商网站的页面很多都需要登录,所以一般需要做相关的库,毕竟程序访问和正常用户访问是有很大区别的,具体也可以参考selenium框架的代码:
from selenium import webdriver import string import zipfile # 代理服务器(产品官网 www.16yun.cn) proxyHost = "t.16yun.cn" proxyPort = "31111" # 代理验证信息 proxyUser = "username" proxyPass = "password" def create_proxy_auth_extension(proxy_host, proxy_port, proxy_username, proxy_password, scheme='http', plugin_path=None): if plugin_path is None: plugin_path = r'D:/{}_{}@t.16yun.zip'.format(proxy_username, proxy_password) manifest_json = """ { "version": "1.0.0", "manifest_version": 2, "name": "16YUN Proxy", "permissions": [ "proxy", "tabs", "unlimitedStorage", "storage", "", "webRequest", "webRequestBlocking" ], "background": { "scripts": ["background.js"] }, "minimum_chrome_version":"22.0.0" } """ background_js = string.Template( """ var config = { mode: "fixed_servers", rules: { singleProxy: { scheme: "${scheme}", host: "${host}", port: parseInt(${port}) }, bypassList: ["foobar.com"] } }; chrome.proxy.settings.set({value: config, scope: "regular"}, function() {}); function callbackFn(details) { return { authCredentials: { username: "${username}", password: "${password}" } }; } chrome.webRequest.onAuthRequired.addListener( callbackFn, {urls: [""]}, ['blocking'] ); """ ).substitute( host=proxy_host, port=proxy_port, username=proxy_username, password=proxy_password, scheme=scheme, ) with zipfile.ZipFile(plugin_path, 'w') as zp: zp.writestr("manifest.json", manifest_json) zp.writestr("background.js", background_js) return plugin_path proxy_auth_plugin_path = create_proxy_auth_extension( proxy_host=proxyHost, proxy_port=proxyPort, proxy_username=proxyUser, proxy_password=proxyPass) option = webdriver.ChromeOptions() option.add_argument("--start-maximized") # 如报错 chrome-extensions # option.add_argument("--disable-extensions") option.add_extension(proxy_auth_plugin_path) # 关闭webdriver的一些标志 # option.add_experimental_option('excludeSwitches', ['enable-automation']) driver = webdriver.Chrome(chrome_options=option) # 修改webdriver get属性 # script = ''' # Object.defineProperty(navigator, 'webdriver', { # get: () => undefined # }) # ''' # driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {"source": script}) driver.get("http://httpbin.org/ip")
*博客内容为网友个人发布,仅代表博主个人观点,如有侵权请联系工作人员删除。