很久没有学习了，浑浑噩噩，未来很是担忧。感觉还是从脚下开始的好。故而还是继续学习爬虫。
引例先来一个案例来复习一下前面学习的爬虫：（当然，还是需要先安装抓包工具Fiddler，下载）
2019-07-24
seo-7 | 用Item数据封装
学习了xpath和css，我们就可以很容易的从下载的网页中提取出我们想要的数据内容了。数据较多的时候，自然而然就想到了使用字典、列表来封装数据。
Scrapy中提供了Item类，来封装爬取到的数据。当然，可以直接使用字典、列表等，虽然能完成
2019-06-09
scrapy-7 | Response内置CSS选择器
和xpath类似，CSS在Response中也集成了。CSS选择器的语法更加简单，但是功能不如xpath强大。
CSS即层叠样式表。
语法
表达式描述例子*选中所有元素css('*')Element选中Element元素css('img')
2019-06-09
scrapy-6 | Response内置XPath选择器
和Selector类似，为了方便用户编码操作，XPath在Response中也集成了。Xpath（XML Path Language）XML路径语言，是一种用来确定xml文档中某元素位置的语言。提示： HTML属于xml在第四讲案例中我们已
2019-06-07
scrapy-5 | Response内置Selector
前面大致介绍了Selector，但是在实际开发中，我们基本上都是不需要手动创建Selector对象的。
Response对象的selector属性被第一次访问时，Response对象内部就会自动创建一个Selector对象，并且将该Sele
2019-06-06
scrapy-4 | Selector提取数据
数据处理
Python中常用的处理HTTP解析库：
BeautifulSoup很流行的HTTP解析库，API简洁易用，但是解析速度比较慢。
lxml由C语言编写的xml解析库，API相对复杂，解析速度快。
Scrapy的Selector
2019-06-06
scrapy-3 | Spider开发流程
感觉还差点东西，觉得流程这个东西需要搞出来。说Spider开发的流程，这里就不得不提一下爬虫的执行流程和Scrapy框架的工作原理。如下：
爬虫的执行流程1. 下载页面在爬取内容之前，首先需要根据网页URL，下载网页。
2. 提取页面数据当
2019-06-05
scrapy-2 | 第一个爬虫程序
安装完成了，接下来，我们开始写程序。
#1 查看帮助
scrapy -h
scrapy -h
#2 有两种命令：其中Project-only必须切到项目文件夹下才能执行，而Global的命令则不需要
Global
2019-06-05
scrapy-1 | 安装scrapy
决定系统化的学习爬虫，使用Python实现。以下内容来自博客园、CSDN等。非原创。
1、安装wheel（安装后，便支持通过wheel文件安装软件）pip3 install wheel
2、安装lxml、pyopenssllxml：解析XM
2019-06-04
scrapy-0 | Python爬虫基础 一
感觉学习Scrapy之前，应该是爬虫的基础类库。毕竟Scrapy是框架，学习框架之前应该弄熟练基础的类库的使用。
1. 数据来源：
大型互联网公司
百度指数
阿里指数
新浪指数
政府机构
中华人民共和国国家统计局 （http://d
2019-06-04