Python读取网页内容的方法

更新时间：2015年07月30日 16:57:50 作者：写代码没钱途

这篇文章主要介绍了Python读取网页内容的方法,实例分析了Python基于URL读取网页内容的相关技巧,具有一定参考借鉴价值,需要的朋友可以参考下

本文实例讲述了Python读取网页内容的方法。分享给大家供大家参考。具体如下：

import urllib2
#encoding = utf-8
class Crawler:
  def main(self):
    #req = urllib2.Request('http://www.baidu.com/')
    #req.add_header('User-Agent', 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:5.0)')
    #urllib2.socket.setdefaulttimeout(10) # 超时10秒
    #page = urllib2.urlopen(req)
    page = urllib2.urlopen('http://www.google.com', timeout=10)
    data = page.read()
    print data
    print len(data) #计算字节长度
if __name__ == '__main__':
  me=Crawler()
  me.main()

希望本文所述对大家的Python程序设计有所帮助。

您可能感兴趣的文章:

Python全栈之字符串和列表相关操作
这篇文章主要为大家介绍了Python字符串和列表相关操作，具有一定的参考价值，感兴趣的小伙伴们可以参考一下，希望能够给你带来帮助
2021-12-12
Django ORM 查询管理器源码解析
这篇文章主要介绍了Django ORM 查询管理器源码解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
2019-08-08
python安装以及IDE的配置教程
Python在Linux、windows、Mac os等操作系统下都有相应的版本，不管在什么操作系统下，它都能够正常工作。除非使用平台相关功能，或特定平台的程序库，否则可以跨平台使用。今天我们主要来探讨下windows系统下的安装与配置
2015-04-04
如何利用python正确地为图像添加高斯噪声
这篇文章主要给大家介绍了关于如何利用python正确地为图像添加高斯噪声的相关资料,需要的朋友可以参考下
2022-03-03
python根据字典的键来删除元素的方法
在本篇文章里小编给大家整理的是一篇关于python根据字典的键来删除元素的方法，有兴趣的朋友们可以参考下。
2020-08-08
Python中自然语言处理和文本挖掘的常规操作详解
自然语言处理和文本挖掘是数据科学中的重要领域,涉及对文本数据的分析和处理,这篇文章为大家介绍了一些常见的任务和实现方法,需要的可以了解下
2025-02-02
Python中实现一行拆多行和多行并一行的示例代码
这篇文章主要介绍了Python中实现一行拆多行和多行并一行的示例代码，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2020-09-09
拿来就用！Python批量合并PDF的示例代码
这篇文章主要介绍了Python批量合并PDF的示例代码，帮助大家更好的理解和学习Python，感兴趣的朋友可以了解下
2020-08-08
Django 中的Timezone 处理操作
这篇文章主要介绍了Django 中的Timezone 处理操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2021-04-04
python 中的 return 解析
这篇文章主要介绍了python 中的 return 解析，return 语句用于退出函数，向调用方返回一个表达式。执行到 return 语句时，会退出函数，return 之后的语句不再执，下文下边就利用举例给大家讲解该内容得相关资料，需要的小伙伴可以参考一下
2022-02-02

Python读取网页内容的方法

相关文章

最新评论

大家感兴趣的内容

最近更新的内容

常用在线小工具