Python Scrapy安装

安装 Scrapy 与安装其他 Python 包没有区别,也用以下命令安装:
pipinstallscrapy
如果命令在命令行窗口中运行,程序将不会立即下载和安装 Scrapy,而是不断下载大量的第三方包。
如果在命令行窗口找不到pip命令,也可以通过python命令操作pip模块安装scrapy, 比如python-mpipinstallscrapy。
这是因为Scrapy需要依赖和大量的第三方包。典型来说,Scrapy需要依赖以下第三方包: pyOpenSSL:Python用于支持SSL(SecuritySocketLayer)的包。 cryptography:用于加密的Python库。 CFFI:Python用于调用C接口库。 zope.interface:为Python缺乏接口提供扩展库。 lxml:XML的处理、与Python内置的xml模块相比,HTML文档的库更容易使用。 cssselect:Python用于处理CSS选择器的扩展包。 Twisted:基于事件驱动的网络引擎包为Python提供。 ...
如果在 Python 如果环境中没有这些第三方包,那么 Python 它们将根据依赖性自动下载和安装。这个过程没什么好说的,pip 整个过程通常会自动完成,我们只需要等待。但是 pip 自动下载和安装 Twisted 提示以下错误:
error:MicrosoftVisualC++14.0isrequired.Getitwith"MicrosoftVisual C++BuildTools":http://landinghub.visualstudio.com/visual-cpp-build-tools
根据上述错误提示,我们需要先下载和安装 Microsoft Visual C++ Build Tools 安装前可以安装工具 Twisted。安装一个小的 Twisted 包,你需要安装一个巨大的包吗? Microsoft Visual C++ Build Tools?
答案是否定的,提示上述错误只是因为 pip 自动下载的 Twisted 安装包有一些缺陷,可以自己下载 Twisted 安装包。登录 www.lfd.uci.edu/~gohlke/pythonlibs/ 网站,在页面中间搜索“Twisted“项目,如图所示 1 下载链接显示。

从图 1 可以看到所示的链接,目前 Twisted 的最新版是 18.9.0,Twisted 为 2.7、3.5、3.6、3.7 等待不同版本 Python 提供相应的安装包。因为本教程的内容主要是基于 Python 3.6 主要,所以要下载 Twisted 的 Python 3.6 文件名带的版本 win32 的是 32 位版,带 win_amd64 的则是 64 这里还需要根据操作系统的位数选择相应的版本。
下载合适的内容 Twisted 安装包后,你会得到一个 Twisted-18.9.0-cp36-cp36m-win_amd64.whl 文件(针对 64 位系统),这个文件就是这个文件 Twisted 安装包。
安装操作如下命令 Twisted 包。
pipinstallTwisted-18.9.0-cp36-cp36m-win_amd64.whl
安装过程中自动检查,必要时自动下载安装 Twisted 所依赖的第三方包,如 zope.interface、Automat、incremental 等待。安装完成后,将提示以下安装成功信息:
SuccessfullyinstalledTwisted-18.9.0
