Python中使用socket发送HTTP请求数据接收不完整问题解决方法
更新时间：2015年02月04日 09:38:26 投稿：junjie
这篇文章主要介绍了Python中使用socket发送HTTP请求数据接收不完整问题解决方法,本文使用一个循环解决了数据不完整问题,需要的朋友可以参考下
由于工作的需求，需要用python做一个类似网络爬虫的采集器。虽然Python的urllib模块提供更加方便简洁操作，但是涉及到一些底层的需求，如手动设定User-Agent,Referer等，所以选择了直接用socket进行设计。当然，这样的话，需要对HTTP协议比较熟悉，HTTP协议这里就不做讲解了。整个python的代码如下:
#!/usr/bin env python
import socket
host="www.baidu.com"
se=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
se.connect((host,80))
se.send("GET / HTTP/1.1\n")
se.send("Accept:text/html,application/xhtml+xml,*/*;q=0.8\n")
#se.send("Accept-Encoding:gzip,deflate,sdch\n")
se.send("Accept-Language:zh-CN,zh;q=0.8,en;q=0.6\n")
se.send("Cache-Control:max-age=0\n")
se.send("Connection:keep-alive\n")
se.send("Host:"+host+"\r\n")
se.send("Referer:http://www.baidu.com/\n")
se.send("user-agent: Googlebot\n\n")
print se.recv(1024)
代码运行正常，但是发现一个比较重要的问题,运行结果只返回了HTTP的头部信息，网页的内容则没有被返回。网上查找了很多资料，一无所获,经过一夜的思考，突然想到了一个问题，有可能我请求的资源非常大，一个网络的IP包的大小，它是受很多因素制约的，最典型的便是MTU（最大传输单元），那么会不会我请求的数据被分割了，HTTP的头部信息只是一部分，其它数据还在传输或者缓冲区呢？于是做了这样一个遍历:
while True:
buf = se.recv(1024)
if not len(buf):
break
print buf
这样发现所有请求的数据均被返回了，看来要想做好网络编程，深入理解TCP/IP协议是非常必要的。
相关文章
本文是Flask框架的学习指南系列文章的第一篇，主要给大家讲述的是开发环境的搭建工作，有需要的小伙伴可以参考下2016-11-11
这篇文章主要介绍了python图的深度优先和广度优先算法,结合实例形式分析了图的深度优先算法与广度优先算法相关概念、原理、实现技巧与操作注意事项,需要的朋友可以参考下2019-10-10
本文给大家分享的是PyCharm开发工具的快捷键大全整理,非常详细,适合使用PyCharm作为开发工具的开发人员参考使用,能够帮助提高开发效率和速度2020-02-02
这篇文章主要介绍了Python模拟键盘输入自动登录TGP的示例代码，帮助大家更好的理解和学习python，感兴趣的朋友可以了解下2020-11-11
这篇文章主要介绍了Python变量名详细规则详细变量值，Python需要使用标识符给变量命名，其实标识符就是用于给程序中变量、类、方法命名的符号（简单来说，标识符就是合法的名称，下面葛小编一起进入文章里哦阿姐更多详细内容吧2022-01-01
python实现串口通信是一件简单的事情,只要通过pyserial模块就可以实现,本文主要介绍了python实现串口通信的示例代码,感兴趣的可以了解一下2023-10-10
这篇文章主要为大家详细介绍了python如何通过设置WordCloud参数实现定制词云,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下2023-11-11
今天小编就为大家分享一篇Python删除n行后的其他行方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-01-01
这篇文章主要介绍了Python实现合并同一个文件夹下所有PDF文件的方法,涉及Python针对pdf文件的读取、判断、解密、写入合并等相关操作技巧,需要的朋友可以参考下2018-04-04
今天小编就为大家分享一篇python flask中动态URL规则详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-11-11
最新评论