爬虫知识体系框架学习 原创

  对于爬虫初学者来说，摸索清楚爬虫领域的知识体系往往比单纯学习某个技术要重要得多，因为技术总会跟随时代发生快速变化，而知识体系往往变化较小，今天我们以自学的角度来了解一下Python爬虫的知识体系吧。

一、我们要了解python爬虫提取信息的基本步骤：1，获取数据 2，解析数据  3，提取数据   4，保存数据。

二、就是关于python爬虫学习框架，比如requests库 ，主要功能是模拟浏览器发送请求，获取网页数据。beautifulsoup库，主要功能是解析网页与信息提取。

三、异步加载数据的提取， 比如网易云音乐、QQ音乐等。这里要分两种情况，一种是异步加载，一种是算法加密。

四、cookies与session(处理登录与评论，有些网站的数据是非公开的，比如淘宝，携程等，需要登录，这时候就需要使用python去模拟登录，当然也可以模拟发送评论信息。

在学会爬虫后采集数据的过程中还有很问题会遇到，最常见的就是网站反爬机制，有些网站比较好采集，有些网站就很难采集。像电商网这样比较有价值的网站反爬机制就相当的严，在访问过程中会遇到封IP行为，这时我们就需要有高质量代理IP去应对，这里推荐亿牛云代理，海量IP池，电信专线，代理使用速度快，延迟低，稳定性好，是很多爬虫公司的首选。