python抓取网页内容示例分享
更新时间：2014年02月24日 15:09:50 作者：
这篇文章主要介绍了python抓取网页内容示例,在抓取的时候对于gbk编码网页还需要转化一下，具体看下面的示例吧
复制代码 代码如下:
import socket
def open_tcp_socket(remotehost,servicename):
s=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
portnumber=socket.getservbyname(servicename,'tcp')
s.connect((remotehost,portnumber))
return s
mysocket=open_tcp_socket('www.taobao.com','http')
mysocket.send('hello')
while(1):
data=mysocket.recv(1024)
if(data):
print data.decode('gbk').encode('utf-8')#对于gbk编码网页必须这样转化一下
else:
break
mysocket.close()
相关文章
这篇文章主要介绍了Python中requests库的概念及使用详解，urllib库使用繁琐，比如处理网页验证和Cookies时，需要编写Opener和Handler来处理。为了更加方便的实现这些操作，就有了更为强大的requests库,需要的朋友可以参考下2023-05-05
在本篇内容里小编给大家整理的是关于简单的命令查看安装的python版本号的文章，需要的朋友们可以参考下。2020-08-08
python Elasticsearch索引建立和数据的上传详解
在本篇文章里小编给大家整理的是关于基于python的Elasticsearch索引的建立和数据的上传的知识点内容，需要的朋友们参考下。2019-08-08
本文主要介绍了如何使用 Python 的 requests 模块进行网络请求操作,涵盖了从文件下载、Cookie 处理到重定向与历史请求等多个方面,通过详细的示例代码,展示了如何高效地实现各种网络操作,帮助开发者更轻松地进行 HTTP 请求的处理和数据管理2025-02-02
在学习python字典操作方法时，感觉setdefault()方法，比字典的其它基本操作方法更难理解的同学比较多，所以想着总结以下，下面这篇文章主要给大家介绍了Python中字典的setdefault()方法，需要的朋友可以参考借鉴，下面来一起看看吧。2017-02-02
数据类型是一种值的集合以及定义在这种值上的一组操作。这篇文章主要介绍了python内置数据类型之列表的相关知识，非常不错，具有一定的参考借鉴价值,需要的朋友可以参考下2018-11-11
AJAX除了异步的特点外，还有一个就是：浏览器页面局部刷新,下面这篇文章主要给大家介绍了关于django学习之ajax post传参的2种格式的相关资料，需要的朋友可以参考下2021-05-05
这篇文章主要介绍了Python numpy逻辑运算方法的相关资料,NumPy中提供了一系列逻辑运算方法,用于执行逐元素的逻辑和比较操作,文中通过代码介绍的非常详细,需要的朋友可以参考下2024-10-10
这篇文章主要介绍了Python数据结构列表,本文重点内容主要是对列表数据结构的使用,在Python中，序列是一组按顺序排列的值。Python 有 3 种内置的序列类型：字符串、 元组和列表,下面一起进入文章了解更详细内容吧，需要的小伙伴可以参考一下</P><P>2021-12-12
这篇文章主要为大家详细介绍了python如何借用第三方库Spire.PDF for Python,从而实现将PDF转为图片的功能,感兴趣的小伙伴可以跟随小编一起学习一下2023-10-10
最新评论