本文将介绍我是如何在python爬虫里面一步一步踩坑，然后慢慢走出来的，期间碰到的所有问题我都会详细说明，让大家以后碰到这些问题时能够快速确定问题的来源，后面的代码只是贴出了核心代码，更详细的代码暂时没有贴出来。

流程一览

首先我是想爬某个网站上面的所有文章内容，但是由于之前没有做过爬虫（也不知道到底那个语言最方便），所以这里想到了是用python来做一个爬虫（毕竟人家的名字都带有爬虫的含义），我这边是打算先将所有从网站上爬下来的数据放到ElasticSearch里面, 选择ElasticSearch的原因是速度快，里面分词插件，倒排索引，需要数据的时候查询效率会非常好（毕竟爬的东西比较多），然后我会将所有的数据在ElasticSearch的老婆kibana里面将数据进行可视化出来，并且分析这些文章内容，可以先看一下预期可视化的效果（上图了），这个效果图是kibana6.4系统给予的帮助效果图（就是说你可以弄成这样,我也想弄成这样）。后面我会发一个dockerfile上来（现在还没弄）。

前几篇文章中，分别介绍了scrapy的基本知识、安装方法以及框架结构，对本篇文章感兴趣的同学可以关注下我的头条号，到我的主页去查看，这样，对本篇文章的学习可能会更好些。本文使用的依然是python2+pycharm的组合。

言归正传，昨天，在CMD中我使用scrapy startproject scrapy_meizi 命令行创建了一个scrapy项目，这个项目是利用scrapy的特性来爬取妹子图网站上的所有图片。

上代码前，首先简单介绍下导入模块的顺序：1、系统模块（空行）2、第三方模块；（空行）3、自己编写的模块。之后才是定义各种变量的代码。

欢迎点击右上角关注小编，除了分享技术文章之外还有很多福利，私信学习资料可以领取包括不限于Python实战演练、PDF电子文档、面试集锦、学习资料等。

1:创建项目

2：创建爬虫

3：编写start.py文件用于运行爬虫程序

4：设置settings.py文件的相关设置

Python版本：3.6.4

相关模块：

scrapy模块；

pyecharts模块；

以及一些Python自带的模块。

环境搭建

安装Python并添加到环境变量，pip安装需要的相关模块即可。

关注后私信小编 PDF领取十套电子文档书籍

原理简介

爬虫高级：Scrapy 框架

章节内容

1. scrapy概述

2. scrapy安装

3. quick start 入门程序

4. 核心API

5. scrapy shell

6. 深度爬虫

7. 请求和响应

8. 中间件——下载中间件

实际上，关于「如何抓取汽车之家的车型库」，我已经在「使用 Mitmproxy 分析接口」一文中给出了方法，不过那篇文章里讲的是利用 API 接口来抓取数据，一般来说，因为接口不会频繁改动，相对 WEB 页面而言更稳定，所以通常这是数据抓取的最佳选择，不过利用 API 接口来抓取数据有一些缺点，比如有的数据没有 API 接口，亦可能虽然有 API 接口，但是数据使用了加密格式，此时只能通过 WEB 页面来抓取数据。

既然要通过 WEB 页面来抓取数据，那么就不得不提到 Scrapy，它可以说是爬虫之王，我曾经听说有人用 Scrapy，以有限的硬件资源在几天的时间里把淘宝商品数据从头到尾撸了一遍，如此看来，本文用 Scrapy 来抓取汽车之家的车型库应该是绰绰有余的了。

前言

头条很多朋友想学技术，但是又不知道如何入手。很多人更加不知道自己的能力是否能满足就业的要求，能拿多少工资。如果身边没有特别懂行情的朋友，第一选择应该就是：招聘网站。今天就先选择了爬取互联网招聘的一个网站：拉勾网（其实很想说基本也是用户量最多的，什么智联，前程无忧都是什么鬼）。

目标网站的反爬机制的了解

进入网站，打开开发者工具（按F12），在搜索框内输入：python爬虫，翻翻页就可以看到内容是通过ajax异步加载的。传出的参数对比如下：

本章工作任务

• 任务1：为什么要使用Item？

• 任务2：如何使用Item？

• 任务3：Item的扩展

本章技能目标及重难点

欢迎点击右上角关注小编，除了分享技术文章之外还有很多福利，私信学习资料可以领取包括不限于Python实战演练、PDF电子文档、面试集锦、学习资料等。

1.创建项目：cmd打开scrapy所在位置，输入命令

scrapy startproject tutorial

2.定义item：编辑item.py,对您想要采集的数据类型进行定义。例如：

3.编写爬虫：在spiders的文件下新建一个domz_spider.py文件，代码如下：