四时宝库

程序员的知识宝库

Python爬虫框架scrapy简单学习(爬虫基本框架)

欢迎点击右上角关注小编,除了分享技术文章之外还有很多福利,私信学习资料可以领取包括不限于Python实战演练、PDF电子文档、面试集锦、学习资料等。

1.创建项目:cmd打开scrapy所在位置,输入命令

scrapy startproject tutorial

2.定义item:编辑item.py,对您想要采集的数据类型进行定义。例如:

3.编写爬虫:在spiders的文件下新建一个domz_spider.py文件,代码如下:

4.启动爬虫:在cmd的命令行转至spiders的根目录下,输入命令

scrapy crawl dmoz

5.保存数据:

scrapy crawl dmoz -o items.json

或者

scrapy crawl dmoz -o items.csv

发表评论:

控制面板
您好,欢迎到访网站!
  查看权限
网站分类
最新留言
    友情链接