Python版本：3.6.4

相关模块：

scrapy模块；

pyecharts模块；

以及一些Python自带的模块。

环境搭建

安装Python并添加到环境变量，pip安装需要的相关模块即可。

关注后私信小编 PDF领取十套电子文档书籍

原理简介

爬虫高级：Scrapy 框架

章节内容

1. scrapy概述

2. scrapy安装

3. quick start 入门程序

4. 核心API

5. scrapy shell

6. 深度爬虫

7. 请求和响应

8. 中间件——下载中间件

实际上，关于「如何抓取汽车之家的车型库」，我已经在「使用 Mitmproxy 分析接口」一文中给出了方法，不过那篇文章里讲的是利用 API 接口来抓取数据，一般来说，因为接口不会频繁改动，相对 WEB 页面而言更稳定，所以通常这是数据抓取的最佳选择，不过利用 API 接口来抓取数据有一些缺点，比如有的数据没有 API 接口，亦可能虽然有 API 接口，但是数据使用了加密格式，此时只能通过 WEB 页面来抓取数据。

既然要通过 WEB 页面来抓取数据，那么就不得不提到 Scrapy，它可以说是爬虫之王，我曾经听说有人用 Scrapy，以有限的硬件资源在几天的时间里把淘宝商品数据从头到尾撸了一遍，如此看来，本文用 Scrapy 来抓取汽车之家的车型库应该是绰绰有余的了。

前言

头条很多朋友想学技术，但是又不知道如何入手。很多人更加不知道自己的能力是否能满足就业的要求，能拿多少工资。如果身边没有特别懂行情的朋友，第一选择应该就是：招聘网站。今天就先选择了爬取互联网招聘的一个网站：拉勾网（其实很想说基本也是用户量最多的，什么智联，前程无忧都是什么鬼）。

目标网站的反爬机制的了解

进入网站，打开开发者工具（按F12），在搜索框内输入：python爬虫，翻翻页就可以看到内容是通过ajax异步加载的。传出的参数对比如下：

本章工作任务

• 任务1：为什么要使用Item？

• 任务2：如何使用Item？

• 任务3：Item的扩展

本章技能目标及重难点

欢迎点击右上角关注小编，除了分享技术文章之外还有很多福利，私信学习资料可以领取包括不限于Python实战演练、PDF电子文档、面试集锦、学习资料等。

1.创建项目：cmd打开scrapy所在位置，输入命令

scrapy startproject tutorial

2.定义item：编辑item.py,对您想要采集的数据类型进行定义。例如：

3.编写爬虫：在spiders的文件下新建一个domz_spider.py文件，代码如下：

文章来源：成都科多大数据

初级的爬虫我们利用urllib和urllib2库以及正则表达式就可以完成了，不过还有更加强大的工具，爬虫框架Scrapy，这安装过程也是煞费苦心哪，在此整理如下。

Windows 平台：

我的系统是 Win7，首先，你要有Python，我用的是2.7.7版本，Python3相仿，只是一些源文件不同。

环境搭建上参看官方说明文档:http://scrapy-chs.readthedocs.io/zh_CN/1.0/intro/install.html

环境搭建:

windows环境下:

• 从 https://www.python.org/download/ 上安装Python 2.7.

• 您需要修改 PATH 环境变量，将Python的可执行程序及额外的脚本添加到系统路径中。将以下路径添加到

这些python资料私信小编“01”即可免费获取！

一、选取节点

常用的路劲表达式：

二、谓语

欢迎点击右上角关注小编，除了分享技术文章之外还有很多福利，私信学习资料可以领取包括不限于Python实战演练、PDF电子文档、面试集锦、学习资料等。

在cmd 或者 在 Window PowerShell 中输入命令:

pip install scrapy

过程中可能会问你是否安装其他扩展包选 按y 回车就好了

安装完成后在看看是否安装成功

输入以下命令: