详谈python http长连接客户端
更新时间：2017年06月12日 08:30:39 投稿：jingxian
下面小编就为大家带来一篇详谈python http长连接客户端。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧
背景：
线上机器，需要过滤access日志，发送给另外一个api
期初是单进程，效率太低，改为多进程发送后，查看日志中偶尔会出现异常错误（忘记截图了。。。）
总之就是端口不够用了报错
原因：
每一条日志都是一次请求发送给api，短连接产生大量time_wait状态，占用了大量端口
这种高并发导致的大量time_wait状态内核调优基本是没用的，后来改为长连接解决问题
第一版短连接版本关键代码如下
因涉及具体业务信息，只贴出了关键部分代码
import pycurl where True: url=myqueue.get() send_msg=pycurl.Curl() send_msg.setopt(pycurl.URL,url) send_msg.perform() print send_msg.getinfo(send_msg.HTTP_CODE)
修改后长连接版本如下：
采用requests库
import requests
client=requests.session()
headers = {'Content-Type': 'application/json', 'Connection': 'keep-alive'}
where True:
url=myqueue.get()
r=client.get(url,headers=headers)
print r.status_code
以上这篇详谈python http长连接客户端就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
您可能感兴趣的文章:
相关文章
这篇文章主要介绍了Scrapy实现模拟登录的示例代码，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2021-02-02
这篇文章主要为大家介绍了TensorFlow卷积神经网络AlexNet实现示例详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步2021-11-11
这篇文章主要介绍了Python使用穷举法求两个数的最大公约数问题，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2022-12-12
Python pexpect模块及shell脚本except原理解析
这篇文章主要介绍了Python pexpect模块及shell脚本except原理解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-08-08
HMAC 算法可用于验证在应用程序之间传递或存储在潜在易受攻击位置的信息的完整性，因此本文为大家整理了一些Python中HMAC加密算法的应用，希望对大家有所帮助2023-05-05
今天小编就为大家分享一篇django1.11.1 models 数据库同步方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-05-05
Python文件遍历os.walk()与os.listdir()使用及说明
这篇文章主要介绍了Python文件遍历os.walk()与os.listdir()使用及说明，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2022-11-11
这篇文章主要介绍了浅谈Python使用Bottle来提供一个简单的web服务，具有一定借鉴价值,需要的朋友可以参考下2017-12-12
这篇文章主要介绍了python 五子棋如何获得鼠标点击坐标,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-11-11
这篇文章主要介绍了Python对文件操作知识汇总的相关资料,非常具有参考借鉴价值，需要的朋友可以参考下2016-05-05
最新评论