详谈python http长连接客户端
更新时间：2017年06月12日 08:30:39 投稿：jingxian
下面小编就为大家带来一篇详谈python http长连接客户端。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧
背景：
线上机器，需要过滤access日志，发送给另外一个api
期初是单进程，效率太低，改为多进程发送后，查看日志中偶尔会出现异常错误（忘记截图了。。。）
总之就是端口不够用了报错
原因：
每一条日志都是一次请求发送给api，短连接产生大量time_wait状态，占用了大量端口
这种高并发导致的大量time_wait状态内核调优基本是没用的，后来改为长连接解决问题
第一版短连接版本关键代码如下
因涉及具体业务信息，只贴出了关键部分代码
import pycurl where True: url=myqueue.get() send_msg=pycurl.Curl() send_msg.setopt(pycurl.URL,url) send_msg.perform() print send_msg.getinfo(send_msg.HTTP_CODE)
修改后长连接版本如下：
采用requests库
import requests
client=requests.session()
headers = {'Content-Type': 'application/json', 'Connection': 'keep-alive'}
where True:
url=myqueue.get()
r=client.get(url,headers=headers)
print r.status_code
以上这篇详谈python http长连接客户端就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
您可能感兴趣的文章:
相关文章
这篇文章主要为大家介绍了python神经网络AlexNet分类模型训练猫狗数据集，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2022-05-05
今天小编就为大家分享一篇Pytorch: 自定义网络层实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-01-01
这篇文章主要给大家介绍了关于Python中property属性的相关资料,需简单地说就是一个类里面的方法一旦被@property装饰,就可以像调用属性一样地去调用这个方法,它能够简化调用者获取数据的流程,而且不用担心将属性暴露出来,有人对其进行赋值操作,下面要的朋友可以参考下2022-04-04
python使用for...else跳出双层嵌套循环的方法实例
这篇文章主要给大家介绍了关于python使用for...else跳出双层嵌套循环的相关资料，文中通过示例代码介绍的非常详细，对大家学习或者使用python具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧2020-05-05
这篇文章主要介绍了Python networkx中获取图的邻接矩阵方式，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2022-12-12
下面小编就为大家带来一篇python中print的不换行即时输出的快速解决方法。小编觉得挺不错的，现在就分享给大家，也给大家做个参考2016-07-07
在编程过程中，经常遇到这样的场景：登录校验，权限校验，日志记录等，这些功能代码在各个环节都可能需要，但又十分雷同，通过装饰器来抽象、剥离这部分代码可以很好解决这类场景，这篇文章主要介绍了Python的装饰器 @decorator，探讨了使用的方式，需要的朋友可以参考下2019-04-04
今天小编就为大家分享一篇python列表list保留顺序去重的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-12-12
这篇文章主要介绍了Python安装Flask环境及简单应用,结合实例形式分析了Flask框架的安装、以及路由、重定向、cookie等相关操作实现方法,需要的朋友可以参考下2019-05-05
这篇文章主要介绍了Django跨域请求无法传递Cookie的解决方案，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2021-04-04
最新评论