什么是Python爬虫框架?

简单来说，Python的爬虫框架就是一些爬虫项目的半成品。比如我们可以将一些常见爬虫功能的实现代码写好，然后留下一些接口，在做不同的爬虫项目时，我们只需要根据实际情况，手写少量需要变动的代码部分，并按照需要调用这些接口，即可以实现一个爬虫项目。

Scrapy是一个用Python编写的强大的网络爬虫框架，可以快速、方便地从网站中抓取数据。Scrapy框架的设计使得它非常适合用于数据挖掘、信息处理等领域的爬虫程序开发。

大多数现代网站都使用客户端 JavaScript 框架，例如 React、Vue 或 Angular。在没有服务器端渲染的情况下从动态网站抓取数据通常需要执行 JavaScript 代码。

我已经抓取了数百个网站，而且我总是使用 Scrapy。Scrapy 是一个流行的 Python 网页抓取框架。与其他 Python 抓取库（例如 Beautiful Soup）相比，Scrapy 帮助您根据一些最佳实践来构建代码。Scrapy 负责并发、收集统计数据、缓存、处理重试逻辑和许多其他问题。

前言

在写系列教程的时候，很多时候我会以为自己写了一些东西，最后回头去看才发现完全没写到，就只能像这样赶紧补上一节。总的来说这都是因为我写东西不拉大纲（也许以后老板让我拉大纲我就会拉了），还有一点是写教程的时候我也在学习，如果我中间断了一会或者写的时间太长了，确实会发生最后回看教程发现少写东西的情况。这还不是最丢人的，看上去总有一天我会在结束一个教程，说完“我就讲到这里为止”之后再发现自己少写了东西，那会子才是丢人丢大发。

今天我们来聊一聊 Scrapy 框架中的中间件使用，包括 Spider 中间件、下载中间件等。它属于 Scrapy 框架的一个重要部分，是我们定制化 Scrapy 框架时的重要基础。

1. Spider 中间件

scrapy是一款开源的框架，用来爬取互联网上的数据，它非常流行。但是看了官方文档的入门示例后，我在开始动手编写自己的爬虫时仍然遇到不少困惑的问题，这里整理如下。

如何使用多级request并传递参数？

官方文档的入门实例只需要一个request就爬到了所需的数据，但是实际情况往往更加复杂，就像要爬取下面这样的数据，往往需要多次请求才能做到，而且需要把上一级爬取的信息（如设备类型）传递到下一级最终才能得到想要爬取的完整数据。

事情的背景是这样的：

两天后：

excel 内容预览如下：

全部代码参考Github：coursera/Projects/clinical_exp/clinical_exp at master · oscarzhao/coursera