使用python爬虫需要注意的事项 原创

最近看的很多身边的小伙伴都在学习python，特别在大数据背景下，数据成为必须品，那python爬虫技术就变成了很有前景的行业，因此成为大家首选的行业也是正常的。爬虫这门技术本身是没有什么问题的，但是在我们使用这个技术去进行获取数据的时候应该注意，比如以下一些注意事项：

1、爬取的数据中不能包含用户的个人信息、隐私或者他人的商业秘密，不能侵犯作者的著作权等其他受法律法规保护的内容。

2、如何爬取得来的数据，获取的数据应该在规避反爬虫措施的同时,避免干扰被访问网站的正常运行下获取。

3，爬取之后如何使用获取的数据，在如今的大数据时代，得数据者得天下的说法是毫不夸张的，现在的社会中，无处不充斥着数据的身影，各行各业中，数据都占据着及其重要的地位，这也就意味着，我们能爬取到的数据只能是人家允许我们看到的，人家禁止访问的数据不能为了显示自己的能耐而去攻击人家，这是违法的。

以上这些基本的我们都牢记于心后就可以开始快乐的学习爬虫了，我们可以简单的实践下么有什么难度的网站，比如百度，简单的爬虫代码如下：

#! -*- encoding:utf-8 -*-

    import requests
    import random

    # 要访问的目标页面
    targetUrl = "http://httpbin.org/ip"

    # 要访问的目标HTTPS页面
    # targetUrl = "https://httpbin.org/ip"

    # 代理服务器(产品官网 www.16yun.cn)
    proxyHost = "t.16yun.cn"
    proxyPort = "31111"

    # 代理验证信息
    proxyUser = "username"
    proxyPass = "password"

    proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
        "host" : proxyHost,
        "port" : proxyPort,
        "user" : proxyUser,
        "pass" : proxyPass,
    }

    # 设置 http和https访问都是用HTTP代理
    proxies = {
        "http"  : proxyMeta,
        "https" : proxyMeta,
    }


    #  设置IP切换头
    tunnel = random.randint(1,10000)
    headers = {"Proxy-Tunnel": str(tunnel)}



    resp = requests.get(targetUrl, proxies=proxies, headers=headers)

    print resp.status_code
    print resp.text

在实践过程中还有很多需要掌握的知识，比如代码里面使用到的代理IP，什么情况下我们访问网站需要使用到代理IP，我们下次重点跟大家分享关于目标网站的一些反爬机制应对策略。