水电大省四川因“成都限电”上热搜 原创

近期，四川各地持续高温，四川的电力供需形势已由7月份的高峰时期电力“紧缺”，转变为全天电力电量“双缺”局面。当前电力供需紧张形势进一步加剧，8月17日，成都限电的消息冲上热搜，成都部分写字楼因高温限电，中央空调停止供冷。

全社会用电量数值表示某个阶段用电需求，也是体现了经济发展趋势的指标之一，四川7、8月的持续高温导致用电严重超标，这也是小编长这么大第一次遇到限电的事情发生，可想而知今年夏天是有多热。所以今天我们的爬虫项目就是利用python获取过去几年同季节社会的电量使用情况。数据来源于由国家公布的数据，实现过程，获取整个网页信息，找出想要的数据在哪里：

#! -*- encoding:utf-8 -*-

    import requests
    import random

    # 要访问的目标页面
    targetUrl = "http://httpbin.org/ip"

    # 要访问的目标HTTPS页面
    # targetUrl = "https://httpbin.org/ip"

    # 代理服务器(产品官网 www.16yun.cn)
    proxyHost = "t.16yun.cn"
    proxyPort = "31111"

    # 代理验证信息
    proxyUser = "username"
    proxyPass = "password"

    proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
        "host" : proxyHost,
        "port" : proxyPort,
        "user" : proxyUser,
        "pass" : proxyPass,
    }

    # 设置 http和https访问都是用HTTP代理
    proxies = {
        "http"  : proxyMeta,
        "https" : proxyMeta,
    }


    #  设置IP切换头
    tunnel = random.randint(1,10000)
    headers = {"Proxy-Tunnel": str(tunnel)}



    resp = requests.get(targetUrl, proxies=proxies, headers=headers)

    print resp.status_code
    print resp.text

做爬虫的都知道，这种类型网站反爬机制不是一般的严，想要获取到一定的数据，需要我们的爬虫程序做的足够好，应对网站的反爬机制足够好。其中最重要的就是代理IP的使用，此类网站对IP的要求是很严的，必须使用高质量的代理，之前测试了很多家代理，效果都不是很理想，不是延迟低就是速度慢，朋友推荐了亿牛云代理，经过测试后发现是一家宝藏代理商，对这种高要求的网站抗揍能力很强，有需要的小伙伴可以去官网详细了解下。