这节课我们来谈谈 Scrapy
说到Python爬虫，大牛们都会不约而同地提起Scrapy。因为Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。
Scrapy最初是为了页面抓取（更确切来说, 网络抓取）所设计的，也可以应用在获取API所返回的数据（例如Amazon Associates Web Services）或者通用的网络爬虫。
这节课主要讲解如何安装 Scrapy
- 使用的电脑系统：Windows 10 64位
- 使用的Python的版本：python 3.5.2
step1：安装Python 3.5.2
直接下载安装包安装即可，在安装时，必须勾选 Add Python 3.5 to PATH，这是将 python 添加到 PATH 环境变量。
如果在安装时没有勾选，也没关系，打开"运行"，输入cmd。执行以下命令，设置环境变量：
C:\Python35\python.exe C:\Python35\tools\Scripts\win_add2path.py
step2 ：确认Python 安装正确
重新打开cmd，输入命令"python --version"
--如果有显示Python2.7.9则说明成功；
--如果没有，请服用Windows特效药：重启系统尝试一下。
step3：安装pywin32（32位版本）
这里有两种办法安装：
法1：进入网页http://sourceforge.net/projects/pywin32/，下载pywin32，双击安装。
法2：打开cmd，输入命令 pip install pywin32，等待安装成功即可。
如果不能成功的话，可能就是没有安装 pip（如果你是使用Python2.9 以前的版本，是需要自己另外安装pip的，步骤如下:）
下面的内容针对 没有 pip 的用户，其他的人可以直接看step4。
•安装pip，地址：
b)进入cmd，执行：python get-pip.py
c)检查Python27\Scripts中是否有pip.exe并设置Python27\Scripts到环境变量中
d)重启cmd，输入命令"pip --version"
•如果有显示版本号则说明成功；
•如果没有，请继续服用Windows特效药：重启系统尝试一下。
step4：安装 lxml
这里也可以使用两种办法安装：
法1：进入网页Installing lxml，下载 lxml，双击安装。
法2：打开cmd，输入命令 pip install lxml，等待安装成功即可。
step5：安装OpenSSL
法1：pypi.python.org/pypi/pyOpenSSL
法2：pip install pyOpenSSL
step6：安装Scrapy
pip install Scrapy
这样就安装 OK了，我们班来验证一下：
重新打开cmd，输入命令 Scrapy
C:\Users\XiangyangDai>Scrapy
:0: UserWarning: You do not have a working installation of the service_identity module: 'cannot import name 'opentype''. Please install it from <https://pypi.python.org/pypi/service_identity\> and make sure all of its dependencies are satisfied. Without the service_identity module, Twisted can perform only rudimentary TLS client hostname verification. Many valid certificate/hostname mappings may be rejected.
Scrapy 1.5.1 - no active project
Usage:
scrapy <command> options args
Available commands:
bench Run quick benchmark test
fetch Fetch a URL using the Scrapy downloader
genspider Generate new spider using pre-defined templates
runspider Run a self-contained spider (without creating a project)
settings Get settings values
shell Interactive scraping console
startproject Create new project
version Print Scrapy version
view Open URL in browser, as seen by Scrapy
more More commands available when run from project directory
Use "scrapy <command> -h" to see more info about a command
没问题了，但是这里出现了一个 warning，说的是 service_identity 模块里的 opentype 用不了，这就尴尬了，我们尝试重新安装 service_identity 试一下：
先卸载 service_identity
输入：pip uninstall service_identity
等待卸载完成，再安装 service_identity
输入：pip install service_identity
再来验证一下：输入 Scrapy
完美了。