盘点使用Python实现东方财富网分时数据抓取方法 原创

最近几天在Python交流群里大家在交流东方财富网分时数据的抓取方法,早在之前就给大家分享了东方财富网其他交易数据的抓取方法，过程比较简单，很适合新手实践。

今天我们要实现的是时分数据的获取，这里给大家提供一个实现方法，希望对大家有所参考。首先是关于目标网站url的寻找，确实花费了一番心思，因为藏的比较深，之后复制这个链接，在浏览器中打开的话，可以看到密密麻麻的，有点烧脑。通过简单的分析，发现网站的爬虫机制不是很严，但是基本的IP在爬虫程序里面是需要加上的，封IP是最常见的反爬机制。代理的选择没有那么复杂，直接推荐做爬虫的使用亿牛云代理，IP靠谱，服务靠谱，主要的是还提供了参考示例，对很多不会使用代理IP的新手来说是再友好不过的。接下来就是东方财富网实时数据抓取实现过程：

#! -*- encoding:utf-8 -*-

    import requests

    import random

    # 要访问的目标页面

    targetUrl = "http://httpbin.org/ip"

    # 要访问的目标HTTPS页面

    # targetUrl = "https://httpbin.org/ip"

    # 代理服务器(产品官网 www.16yun.cn)

    proxyHost = "t.16yun.cn"

    proxyPort = "31111"

    # 代理验证信息

    proxyUser = "username"

    proxyPass = "password"

    proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {

        "host" : proxyHost,

        "port" : proxyPort,

        "user" : proxyUser,

        "pass" : proxyPass,

    }

    # 设置 http和https访问都是用HTTP代理

    proxies = {

        "http"  : proxyMeta,

        "https" : proxyMeta,

    }

    #  设置IP切换头

    tunnel = random.randint(1,10000)

    headers = {"Proxy-Tunnel": str(tunnel)}

    resp = requests.get(targetUrl, proxies=proxies, headers=headers)

    print resp.status_code

    print resp.text

这个代码可以反复的去请求这个网页，只要有数据更新，都可以获取到，不停抓更新出来的数据，太强了！总的来说，这个方法要简单一些，还有一种方法更加底层，实现起来门槛高一些，下次可以跟大家分享下。