先前在工作中也有涉及到Scrapy，只是当时有其他人负责网络爬虫工作，并未深入去学习该框架。现在想从某网站上面“爬”点数据，于是利用闲时正在学习Scrapy，在这主要是记录一下本人的学习笔记，希望对其他人也有帮助。
【注】本文所学的是Scrapy官网最新版，即scrapy1.2，官网：https://scrapy.org/
Scrapy
Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。
2024年10月20日
先前在工作中也有涉及到Scrapy，只是当时有其他人负责网络爬虫工作，并未深入去学习该框架。现在想从某网站上面“爬”点数据，于是利用闲时正在学习Scrapy，在这主要是记录一下本人的学习笔记，希望对其他人也有帮助。
【注】本文所学的是Scrapy官网最新版，即scrapy1.2，官网：https://scrapy.org/
Scrapy
Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。
2024年10月20日
"写爬虫的时候遇到过反爬虫措施中的验证码吗，最终是怎样解决的",面试官经常这么问.
什么是验证码?
验证码（CAPTCHA）是“Completely Automated Public Turing test to tell Computers and Humans Apart”（全自动区分计算机和人类的图灵测试）的缩写，是一种区分用户是计算机还是人的公共全自动程序。可以防止：恶意破解密码、刷票、论坛灌水，有效防止某个黑客对某一个特定注册用户用特定程序暴力破解方式进行不断的登陆尝试，实际上用验证码是现在很多网站通行的方式，我们利用比较简易的方式实现了这个功能。这个问题可以由计算机生成并评判，但是必须只有人类才能解答。由于 计算机无法解答CAPTCHA的问题，所以回答出问题的用户就可以被认为是人类。
2024年10月20日
小型爬虫需求，requests库+bs4库就能解决；大型爬虫数据，尤其涉及异步抓取、内容管理及后续扩展等功能时，就需要用到爬虫框架了。
下面介绍了10个爬虫框架，大家可以学习使用！
2024年10月20日
爬虫是什么
爬虫就是一段能够从互联网上高效获取数据的程序。
我们每天都在从互联网上获取数据。当打开浏览器访问百度的时候，我们就从百度的服务器获取数据，当拿起手机在线听歌的时候，我们就从某个app的服务器上获取数据。简单的归纳，这些过程都可以描述为：我们提交一个Request请求，服务器会返回一个Response数据，应用根据Response来渲染页面，给我们展示数据结果。
2024年10月20日
Scrapy的安装相对来说比较简单，不过它会完全依赖于你从哪里起步。为了能够支持尽可能多的用户，运行和安装Scrapy以及所有示例的“官方”方式是通过Vagrant，该软件能够让你在不考虑宿主操作系统的情况下，运行一个标准的Linux系统，在该系统中我们已经安装好所有需要用到的工具。
我们将会在接下来的几小节中给出Vagrant的使用说明以及一些常用操作系统中的指引。
为了更加方便地阅读本书，请按照后面给出的Vagrant使用说明操作。如果你想直接在MacOS系统中安装Scrapy，其实也很简单。只需要输入下面的命令即可。
2024年10月20日
scrapy 的文档请移驾到 http://scrapy-chs.readthedocs.io/zh_CN/0.24/intro/install.html
1、准备工作
安装python 、Spyder 、scrapy 如果想要数据直接入mysql 还需要安装python的 MySQLdb 依赖包
本人mac操作系统 安装MySQLdb的时候出现了些小问题 最后是重装了openssl 才通过的
Spyder 是编写python的ide
2024年10月20日
Scrapy是一个十分强大的爬虫框架，依赖的库比较多，至少需要依赖的库有Twisted 14.0、lxml 3.4和pyOpenSSL 0.14。在不同的平台环境下，它所依赖的库也各不相同，所以在安装之前，最好确保把一些基本库安装好。本节就来介绍Scrapy在不同平台的安装方法。
※官方网站：https://scrapy.org
※官方文档：https://docs.scrapy.org
2024年10月20日
大家好，今天小编又和大家见面了，我是团队中的python高级研发工程师，日常工作是开发python代码；偶尔还要来平台写写文章；最近老板又给我安排一个活：帮助粉丝解决各种技术问题。
是的，朋友们如果在做项目或者写代码的过程中遇到了问题，欢迎私信小编，小编每天都会抽出一定的时间来帮忙解决粉丝朋友们的问题。此外，朋友们还可以私信来索取精美简历模板哦。
?