mac安装scrapy并创建项目的实例讲解

 更新时间:2018年06月13日 09:10:43   作者:蜡笔小心丶  
今天小编就为大家分享一篇mac安装scrapy并创建项目的实例讲解,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧

最近刚好在学习python+scrapy的爬虫技术,因为mac是自带python2.7的,所以安装3.5版本有两种方法,一种是升级,一种是额外安装3.5版本。

升级就不用说了,讲讲额外安装的版本吧~~~

因为python是有自带版本的,最开始安装的时候都会有一种“ 会不会冲突 ”的感觉。

其实安装3.5版本也就是在官网上直接下载之后安装,和普通的mac软件安装方式是一样的~~

https://www.python.org/downloads/release/python-353/

安装完成之后,不会覆盖原来的python,会在 /Library/Frameworks/Python.framework/Versions/3.5/lib/python3.5文件中

在终端直接输入 python 会执行python2.7版本

python 
 
Python 2.7.12 (default, Jun 29 2016, 14:05:02) 
[GCC 4.2.1 Compatible Apple LLVM 7.3.0 (clang-703.0.31)] on darwin 
Type "help", "copyright", "credits" or "license" for more information. 
>>> 

在终端直接输入 python3 则会执行python3.5版本

python3 
 
Python 3.5.3 (v3.5.3:1880cb95a742, Jan 16 2017, 08:49:46) 
[GCC 4.2.1 (Apple Inc. build 5666) (dot 3)] on darwin 
Type "help", "copyright", "credits" or "license" for more information. 
>>> 

接下来就可以开始安装scrapy了

python3.5中会自带 pip,所以不需要额外安装了,可以直接在终端输入 pip3 --version查看版本和路径

pip3 --version 
 
pip 9.0.1 from /Library/Frameworks/Python.framework/Versions/3.5/lib/python3.5/site-packages (python 3.5) 

使用 pip3 安装scrapy

pip3 install Scrapy 

这里的Scrapy一定要首字母大写,不然会在安装的过程中报错~~

Collecting scrapy
 Retrying (Retry(total=4, connect=None, read=None, redirect=None)) after connection broken by 'NewConnectionError('<pip._vendor.requests.packages.urllib3.connection.VerifiedHTTPSConnection object at 0x103aa2c88>: Failed to establish a new connection: [Errno 61] Connection refused',)': /simple/scrapy/
 Retrying (Retry(total=3, connect=None, read=None, redirect=None)) after connection broken by 'NewConnectionError('<pip._vendor.requests.packages.urllib3.connection.VerifiedHTTPSConnection object at 0x103aa29e8>: Failed to establish a new connection: [Errno 61] Connection refused',)': /simple/scrapy/
 Retrying (Retry(total=2, connect=None, read=None, redirect=None)) after connection broken by 'NewConnectionError('<pip._vendor.requests.packages.urllib3.connection.VerifiedHTTPSConnection object at 0x103aa2630>: Failed to establish a new connection: [Errno 61] Connection refused',)': /simple/scrapy/
 Retrying (Retry(total=1, connect=None, read=None, redirect=None)) after connection broken by 'NewConnectionError('<pip._vendor.requests.packages.urllib3.connection.VerifiedHTTPSConnection object at 0x103aa2f28>: Failed to establish a new connection: [Errno 61] Connection refused',)': /simple/scrapy/
 Retrying (Retry(total=0, connect=None, read=None, redirect=None)) after connection broken by 'NewConnectionError('<pip._vendor.requests.packages.urllib3.connection.VerifiedHTTPSConnection object at 0x103aa2be0>: Failed to establish a new connection: [Errno 61] Connection refused',)': /simple/scrapy/
 Could not find a version that satisfies the requirement scrapy (from versions: )
No matching distribution found for scrapy

安装成功之后,可以直接在终端上输入 scrapy 查看版本号及使用

Scrapy 1.4.0 - no active project
Usage:
 scrapy <command> [options] [args]
Available commands:
 bench   Run quick benchmark test
 fetch   Fetch a URL using the Scrapy downloader
 genspider  Generate new spider using pre-defined templates
 runspider  Run a self-contained spider (without creating a project)
 settings  Get settings values
 shell   Interactive scraping console
 startproject Create new project
 version  Print Scrapy version
 view   Open URL in browser, as seen by Scrapy
 [ more ]  More commands available when run from project directory
Use "scrapy <command> -h" to see more info about a command

在pycharm中是没有直接创建scrapy项目的,可以使用 scrapy 命令手动新建项目

scrapy startproject ArticleSpider(ArticleSpider为项目名称) 

以上这篇mac安装scrapy并创建项目的实例讲解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • Python 代码调试技巧示例代码

    Python 代码调试技巧示例代码

    这篇文章主要介绍了Python 代码调试技巧,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2020-08-08
  • Python利用字典破解WIFI密码的方法

    Python利用字典破解WIFI密码的方法

    今天小编就为大家分享一篇关于Python利用字典破解WIFI密码的方法,小编觉得内容挺不错的,现在分享给大家,具有很好的参考价值,需要的朋友一起跟随小编来看看吧
    2019-02-02
  • 解决python3捕获cx_oracle抛出的异常错误问题

    解决python3捕获cx_oracle抛出的异常错误问题

    今天小编就为大家分享一篇解决python3捕获cx_oracle抛出的异常错误问题,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-10-10
  • Python Struct库之pack和unpack举例详解

    Python Struct库之pack和unpack举例详解

    这篇文章主要给大家介绍了关于Python Struct库之pack和unpack的相关资料,pack和unpack在处理二进制流中比较常用的封包、解包格式,文中通过代码介绍的非常详细,需要的朋友可以参考下
    2024-02-02
  • Python3中编码与解码之Unicode与bytes的讲解

    Python3中编码与解码之Unicode与bytes的讲解

    今天小编就为大家分享一篇关于Python3中编码与解码之Unicode与bytes的讲解,小编觉得内容挺不错的,现在分享给大家,具有很好的参考价值,需要的朋友一起跟随小编来看看吧
    2019-02-02
  • 探索Python random模块随机性神奇世界

    探索Python random模块随机性神奇世界

    Python中的random模块提供了丰富的工具和函数,帮助我们生成随机数、操作随机序列,以及模拟随机性事件,在本文中,我们将分享random模块,了解它的基本用法、功能和应用领域,并提供示例代码来帮助你更好地理解随机性的神奇世界
    2023-11-11
  • Python文件路径os.path函数深入剖析

    Python文件路径os.path函数深入剖析

    这篇文章主要为大家介绍了Python文件路径os.path函数深入剖析,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2023-08-08
  • Python结合wxauto实现智能微信聊天机器人

    Python结合wxauto实现智能微信聊天机器人

    wxauto 是我在2020年开发的一个基于 UIAutomation 的开源 Python 微信自动化库,这篇文章主要介绍了Python结合wxauto实现智能微信聊天机器人,需要的朋友可以参考下
    2024-07-07
  • python openpyxl提取Excel图片实现原理技巧

    python openpyxl提取Excel图片实现原理技巧

    在这篇文章中,将介绍如何使用openpyxl来提取Excel中的图片,以及它的原理和技巧,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2024-01-01
  • python opencv读mp4视频的实例

    python opencv读mp4视频的实例

    今天小编就为大家分享一篇python opencv读mp4视频的实例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-12-12

最新评论