四时宝库

程序员的知识宝库

Python丨scrapy实战简书网站保存数据到mysql

欢迎点击右上角关注小编,除了分享技术文章之外还有很多福利,私信学习资料可以领取包括不限于Python实战演练、PDF电子文档、面试集锦、学习资料等。

1:创建项目

2:创建爬虫

3:编写start.py文件用于运行爬虫程序

4:设置settings.py文件的相关设置



爬取详情页数据


编写items.py文件


编写js.py

设计数据库和表

数据库jianshu

表article

id设置为自动增长

将爬取到的数据存储到mysql数据库中

运行start.py效果如下


发表评论:

控制面板
您好,欢迎到访网站!
  查看权限
网站分类
最新留言
    友情链接