实际上，关于「如何抓取汽车之家的车型库」，我已经在「使用 Mitmproxy 分析接口」一文中给出了方法，不过那篇文章里讲的是利用 API 接口来抓取数据，一般来说，因为接口不会频繁改动，相对 WEB 页面而言更稳定，所以通常这是数据抓取的最佳选择，不过利用 API 接口来抓取数据有一些缺点，比如有的数据没有 API 接口，亦可能虽然有 API 接口，但是数据使用了加密格式，此时只能通过 WEB 页面来抓取数据。

既然要通过 WEB 页面来抓取数据，那么就不得不提到 Scrapy，它可以说是爬虫之王，我曾经听说有人用 Scrapy，以有限的硬件资源在几天的时间里把淘宝商品数据从头到尾撸了一遍，如此看来，本文用 Scrapy 来抓取汽车之家的车型库应该是绰绰有余的了。

前言

头条很多朋友想学技术，但是又不知道如何入手。很多人更加不知道自己的能力是否能满足就业的要求，能拿多少工资。如果身边没有特别懂行情的朋友，第一选择应该就是：招聘网站。今天就先选择了爬取互联网招聘的一个网站：拉勾网（其实很想说基本也是用户量最多的，什么智联，前程无忧都是什么鬼）。

目标网站的反爬机制的了解

进入网站，打开开发者工具（按F12），在搜索框内输入：python爬虫，翻翻页就可以看到内容是通过ajax异步加载的。传出的参数对比如下：

本章工作任务

• 任务1：为什么要使用Item？

• 任务2：如何使用Item？

• 任务3：Item的扩展

本章技能目标及重难点

欢迎点击右上角关注小编，除了分享技术文章之外还有很多福利，私信学习资料可以领取包括不限于Python实战演练、PDF电子文档、面试集锦、学习资料等。

1.创建项目：cmd打开scrapy所在位置，输入命令

scrapy startproject tutorial

2.定义item：编辑item.py,对您想要采集的数据类型进行定义。例如：

3.编写爬虫：在spiders的文件下新建一个domz_spider.py文件，代码如下：

文章来源：成都科多大数据

初级的爬虫我们利用urllib和urllib2库以及正则表达式就可以完成了，不过还有更加强大的工具，爬虫框架Scrapy，这安装过程也是煞费苦心哪，在此整理如下。

Windows 平台：

我的系统是 Win7，首先，你要有Python，我用的是2.7.7版本，Python3相仿，只是一些源文件不同。

环境搭建上参看官方说明文档:http://scrapy-chs.readthedocs.io/zh_CN/1.0/intro/install.html

环境搭建:

windows环境下:

• 从 https://www.python.org/download/ 上安装Python 2.7.

• 您需要修改 PATH 环境变量，将Python的可执行程序及额外的脚本添加到系统路径中。将以下路径添加到

这些python资料私信小编“01”即可免费获取！

一、选取节点

常用的路劲表达式：

二、谓语

欢迎点击右上角关注小编，除了分享技术文章之外还有很多福利，私信学习资料可以领取包括不限于Python实战演练、PDF电子文档、面试集锦、学习资料等。

在cmd 或者 在 Window PowerShell 中输入命令:

pip install scrapy

过程中可能会问你是否安装其他扩展包选 按y 回车就好了

安装完成后在看看是否安装成功

输入以下命令:

Scrapy Shell

Scrapy终端是一个交互终端，我们可以在未启动spider的情况下尝试及调试代码，也可以用来测试XPath或CSS表达式，查看他们的工作方式，方便我们爬取的网页中提取的数据。

如果安装了 IPython ，Scrapy终端将使用 IPython (替代标准Python终端)。 IPython 终端与其他相比更为强大，提供智能的自动补全，高亮输出，及其他特性。（推荐安装IPython）

十个爬虫九个python写，九个python爬虫全部由scrapy写。社会上在招聘爬虫工程师时，百分之百会需要掌握scrapy爬虫框架。但是scrapy十个什么东西你知道吗？

什么是scrapy

我们先看百科词条

Scrapy是我们熟知的爬虫框架，我们用scrapy框架来获取互联网上的各种信息，然后再对这些信息数据清洗、归一化。这样的数据我们后面才能用来进行数据分析、数据挖掘、人工智能等操作。所以说，Scrapy是学习大数据的入门技能。