来源：早起Python

作者：饮马长江

大家好，我是早起。

之前分享了很多 requests 、selenium 的 Python 爬虫文章，本文将从原理到实战带领大家入门另一个强大的框架 Scrapy。如果对Scrapy感兴趣的话，不妨跟随本文动手做一遍！

作者：Qiu Hu

原文：http://whatbeg.com/2016/05/19/learnscrapy.html

全文约 14862 字，读完可能需要 22 分钟。

Scrapy是什么？

Scrapy是一款网络爬虫框架，官方文档的描述如下：

Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。

Scrapy-Splash是一个Scrapy中支持JavaScript渲染的工具，本节来介绍它的安装方式。

Scrapy-Splash的安装分为两部分。一个是Splash服务的安装，具体是通过Docker，安装之后，会启动一个Splash服务，我们可以通过它的接口来实现JavaScript页面的加载。另外一个是Scrapy-Splash的Python库的安装，安装之后即可在Scrapy中使用Splash服务。

Scrapy 简介

Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。

Scrapy 使用了 Twisted 异步网络框架来处理网络通讯，结构清晰明了，并且包含了各种中间件接口，可以灵活的完成各种需求。

安装

Scrapy 是使用Python开发，属于Python的第三方包。它的安装和其他三方包没什么区别。当前Scrapy 最新版本为1.5，支持python2.7 和python3.4+版本的python。

Scrapy是一个开源的并且支持高度可扩展的Python爬虫框架，主要被用来实现从网站提取数据。出现之初就是为网页抓取而设计，但是现在它也可以被用于从 APIs 中抓取数据或通用的Web抓取任务。Scrapy提供了一个简洁的方式来定义和控制网络抓取的整个过程，包括从URL生成请求、处理页面响应到解析内容和存储数据。

下面我们就来通过一个入门的示例代码来看看如何使用Scrapy实现数据爬虫操作。

Xpath 是 Scrapy 框架中默认的网页解析器，只有掌握了 Xpath 选择器，我们才能快速从网页元素中提取我们想要的数据。

1. xpath 选择器介绍

【0基础学爬虫】爬虫基础之scrapy的使用

大数据时代，各行各业对数据采集的需求日益增多，网络爬虫的运用也更为广泛，越来越多的人开始学习网络爬虫这项技术，K哥爬虫此前已经推出不少爬虫进阶、逆向相关文章，为实现从易到难全方位覆盖，特设【0基础学爬虫】专栏，帮助小白快速入门爬虫，本期为自动化工具 Selenium 的使用。

微信搜索关注「水滴与银弹」公众号，第一时间获取优质技术干货。7年资深后端研发，用简单的方式把技术讲清楚。

在爬虫开发领域，使用最多的主流语言主要是 Java 和 Python 这两种，如果你经常使用 Python 开发爬虫，那么肯定听说过 Scrapy 这个开源框架，它正是由Python编写的。

实现爬虫技术的编程环境有很多种，Java、Python、C++等都可以用来爬虫。但很多人选择Python来写爬虫，为什么呢？因为Python确实很适合做爬虫，丰富的第三方库十分强大，简单几行代码便可实现你想要的功能。更重要的，Python也是数据挖掘和分析的好能手。那么，Python爬虫一般用什么框架比较好？