应对目标网站反爬方法总结 原创

之前有跟大家分享过很多爬虫技术方面的文章，也会在文章中分享一些网站的反爬策略，比如断断续续的讲过header、地址ip等一些的方法。具体的爬取方法相信大家已经掌握住，本篇小编主要是给大家进行应对反爬虫方法的一个梳理，在进行方法回顾的同时查漏补缺，建立系统的反爬知识框架。

首先在获取一个网站的数据前需要分析要爬的网站，出于对安全的考虑，有些网站会做一些反爬的措施，例如之前讲到的需要判断user-angent和cookies，或者判断请求的ip是否在短时间内多次访问，频繁访问会提示ip行为不正常。

那常见的绕过反爬虫的措施可以从以下方面入手：

1、构造消息头：如上所说的user-angent和cookies都包含在消息头当中。

2、延长请求间隔：如果快速频繁的发送请求，会大量抢占服务器资源，一般这种情况下很容易被网站的安全措施检测出来并且封掉ip。所以可以适当的延长请求间隔。

3、使用代理ip，解决ip检测问题。这里推荐亿牛云代理，应对反爬类型的网站效果非常好，尤其是爬虫隧道代理，这里简单的示例下：

#! -*- encoding:utf-8 -*-

    import requests

    import random

    # 要访问的目标页面

    targetUrl = "http://httpbin.org/ip"

    # 要访问的目标HTTPS页面

    # targetUrl = "https://httpbin.org/ip"

    # 代理服务器(产品官网 www.16yun.cn)

    proxyHost = "t.16yun.cn"

    proxyPort = "31111"

    # 代理验证信息

    proxyUser = "username"

    proxyPass = "password"

    proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {

        "host" : proxyHost,

        "port" : proxyPort,

        "user" : proxyUser,

        "pass" : proxyPass,

    }

    # 设置 http和https访问都是用HTTP代理

    proxies = {

        "http"  : proxyMeta,

        "https" : proxyMeta,

    }

    #  设置IP切换头

    tunnel = random.randint(1,10000)

    headers = {"Proxy-Tunnel": str(tunnel)}

    resp = requests.get(targetUrl, proxies=proxies, headers=headers)

    print resp.status_code

    print resp.text

当然常见的反爬虫方法也不止以上的这些，这里只罗列出这常用的三种方法，有更好的可以绕过反爬虫方法的可以留言大家交流学习下。