Python使用urllib模块的urlopen超时问题解决方法

 更新时间:2014年11月08日 12:18:56   投稿:junjie  
这篇文章主要介绍了Python使用urllib模块的urlopen超时问题解决方法,本文使用socket模块中的setdefaulttimeout函数解决了超时问题,需要的朋友可以参考下

在新的公司开始上班,今天工作的主题内容是市场部门需要抓取一些论坛用户的邮箱,以便发送营销邮件。

于是用了一个python脚本来执行,前面抓了几个都没有什么问题,后来碰到一个论坛,在执行urlopen的地方总是提示超时,百度了一下,因为我使用的是urllib不是urllib2,所以无法直接在urlopen里面加timeout参数,只能是设置全局脚本的超时时间

首先:

复制代码 代码如下:

import socket

然后:

复制代码 代码如下:

socket.setdefaulttimeout(60)

设置全局的超时时间为60s。

之后再执行脚本的时候就没有什么大问题了。

相关文章

  • pytorch中的广播语义

    pytorch中的广播语义

    这篇文章主要介绍了pytorch中的广播语义,pytorch的广播语义即broadcasting semantics,和numpy的很像,下面文章介绍更多相关内容的介绍,需要的小伙伴可以参考一下
    2022-03-03
  • python flask框架详解

    python flask框架详解

    这篇文章主要介绍了python flask框架详解,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2021-03-03
  • Mac中安装anaconda并配置虚拟环境的详细过程

    Mac中安装anaconda并配置虚拟环境的详细过程

    这篇文章主要给大家介绍了关于Mac中安装anaconda并配置虚拟环境的详细过程,anaconda是包管理器和环境管理器,使用它可以方便地创作,文中通过图文介绍的非常详细,需要的朋友可以参考下
    2023-10-10
  • Python playwright学习之自动录制生成脚本

    Python playwright学习之自动录制生成脚本

    playwright 可以支持自动录制生成脚本,也就是说只需要在页面上点点点,就可以自动生成对应的脚本了。本文就来和大家详细聊聊实现方法吧
    2023-02-02
  • Cython处理C字符串的示例详解

    Cython处理C字符串的示例详解

    如果你在使用 Cython 加速 Python 时遇到了瓶颈,但还希望更进一步,那么可以考虑将数据的类型替换成 C 的类型,所以本文为大家介绍了Cython处理C字符串的方法,希望对大家有所帮助
    2023-01-01
  • 详解Python 数据库的Connection、Cursor两大对象

    详解Python 数据库的Connection、Cursor两大对象

    这篇文章主要介绍了Python 数据库的Connection、Cursor两大对象,文中通过python 数据库图解给大家介绍的非常详细,需要的朋友参考下吧
    2018-06-06
  • python检查指定文件是否存在的方法

    python检查指定文件是否存在的方法

    这篇文章主要介绍了python检查指定文件是否存在的方法,涉及Python基于os模块判定文件的相关技巧,非常简单实用,需要的朋友可以参考下
    2015-07-07
  • Python入门教程(一)Python简单介绍

    Python入门教程(一)Python简单介绍

    这篇文章主要介绍了Python入门教程(一)Python简单介绍,Python是一门非常强大好用的语言,也有着易上手的特性,本文为入门教程,需要的朋友可以参考下
    2023-04-04
  • Python Django2.0集成Celery4.1教程

    Python Django2.0集成Celery4.1教程

    今天小编就为大家分享一篇Python Django2.0集成Celery4.1教程,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-11-11
  • 聊聊Python代码中if __name__ == ‘__main__‘的作用是什么

    聊聊Python代码中if __name__ == ‘__main__‘的作用是什么

    一个python文件通常有两种使用方法,第一是作为脚本直接执行,第二是 import 到其他的python脚本中被调用执行,这篇文章主要给大家介绍了关于Python代码中if __name__ == ‘__main__‘的作用是什么的相关资料,需要的朋友可以参考下
    2022-03-03

最新评论