利用Python3.x环境进行编写。
给大家分享一个爬虫的小例子。免费爬去百万本小说，自动爬取和下载，小说网站的爬虫，我也是初学者，写的不是很好，请大神勿喷，谢谢！
首先这是要导入的资源包！缺少的包可以采用 命令行控制台输入：pip install 包名进行安装。
首先，这是对网站小说进行分析，并获得小说的分类。
该网站大概有700多万条数据，可以进行爬取下载。
这是文件下载模块，自动爬取网站的小说章节内容，并下载保存到本地文件中。
这是获取章节URL模块，利用正则表达式分析，并取得章节的URL，以便进行内容爬取。
这是小说概要信息获取模块，通过对网站中小说的分析，利用正则表达式，分析取得每本小说的概要信息。
这是小说URL获取模块，对每一类小说进行分析，并获得解析地址，对URL进行遍历，循环获得小说的地址。
这是函数调用模块，根据小说的分类，分别调用函数，执行小说的爬取下载。
谢谢收藏和关注！
以上是全部代码，只是善于分享，不足之处请包涵！
没有把多线程写出来，留给参考者一个学习的机会。但是就算这样，Python和电脑本身也会创建几个线程。当觉得爬取的数据足够的时候，可以暂停。