欢迎点击右上角关注小编,除了分享技术文章之外还有很多福利,私信学习资料可以领取包括不限于Python实战演练、PDF电子文档、面试集锦、学习资料等。
1:创建项目
2:创建爬虫
3:编写start.py文件用于运行爬虫程序
4:设置settings.py文件的相关设置
爬取详情页数据
编写items.py文件
编写js.py
设计数据库和表
数据库jianshu
表article
id设置为自动增长
将爬取到的数据存储到mysql数据库中
运行start.py效果如下
2024年10月20日
欢迎点击右上角关注小编,除了分享技术文章之外还有很多福利,私信学习资料可以领取包括不限于Python实战演练、PDF电子文档、面试集锦、学习资料等。
1:创建项目
2:创建爬虫
3:编写start.py文件用于运行爬虫程序
4:设置settings.py文件的相关设置
爬取详情页数据
编写items.py文件
编写js.py
设计数据库和表
数据库jianshu
表article
id设置为自动增长
将爬取到的数据存储到mysql数据库中
运行start.py效果如下