可怜虫-可怜之人必有可恨之处 总是不知悔改，总是自以为是，到头来除了证明别人是对你+自己是错的，还能证明什么？ 各个方面都是太差劲了，后悔的事情很多，而且总有重复的。死不悔改的特性，很恼火

1. 不要渲染帖子如果您不希望处理您的帖子，可以layout: false在前面设置。 我测试了一下，很好用，也就是页面所有的CSS、js都需要自己定义。也就是自己写一个页面内容+渲染效果。下面一起看看，在每一个md文件的开头的YAML都有

学习了xpath和css，我们就可以很容易的从下载的网页中提取出我们想要的数据内容了。数据较多的时候，自然而然就想到了使用字典、列表来封装数据。 Scrapy中提供了Item类，来封装爬取到的数据。当然，可以直接使用字典、列表等，虽然能完成

和xpath类似，CSS在Response中也集成了。CSS选择器的语法更加简单，但是功能不如xpath强大。 CSS即层叠样式表。 语法 表达式描述例子*选中所有元素css('*')Element选中Element元素css('img')

和Selector类似，为了方便用户编码操作，XPath在Response中也集成了。Xpath（XML Path Language）XML路径语言，是一种用来确定xml文档中某元素位置的语言。提示： HTML属于xml在第四讲案例中我们已

前面大致介绍了Selector，但是在实际开发中，我们基本上都是不需要手动创建Selector对象的。 Response对象的selector属性被第一次访问时，Response对象内部就会自动创建一个Selector对象，并且将该Sele

数据处理 Python中常用的处理HTTP解析库： BeautifulSoup很流行的HTTP解析库，API简洁易用，但是解析速度比较慢。 lxml由C语言编写的xml解析库，API相对复杂，解析速度快。 Scrapy的Selector

感觉还差点东西，觉得流程这个东西需要搞出来。说Spider开发的流程，这里就不得不提一下爬虫的执行流程和Scrapy框架的工作原理。如下： 爬虫的执行流程1. 下载页面在爬取内容之前，首先需要根据网页URL，下载网页。 2. 提取页面数据当

安装完成了，接下来，我们开始写程序。 #1 查看帮助 scrapy -h scrapy -h #2 有两种命令：其中Project-only必须切到项目文件夹下才能执行，而Global的命令则不需要 Global

感觉学习Scrapy之前，应该是爬虫的基础类库。毕竟Scrapy是框架，学习框架之前应该弄熟练基础的类库的使用。 1. 数据来源： 大型互联网公司 百度指数 阿里指数 新浪指数 政府机构 中华人民共和国国家统计局 （http://d

决定系统化的学习爬虫，使用Python实现。以下内容来自博客园、CSDN等。非原创。 1、安装wheel（安装后，便支持通过wheel文件安装软件）pip3 install wheel 2、安装lxml、pyopenssllxml：解析XM

922. 按奇偶排序数组 II给定一个非负整数数组 A， A 中一半整数是奇数，一半整数是偶数。 对数组进行排序，以便当 A[i] 为奇数时，i 也是奇数；当 A[i] 为偶数时， i 也是偶数。 你可以返回任何满足上述条件的数组作为答案。