对python操作kafka写入json数据的简单demo分享
更新时间：2018年12月27日 10:00:23 作者：Liu-YanLin
今天小编就为大家分享一篇对python操作kafka写入json数据的简单demo，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
如下所示：
安装kafka支持库pip install kafka-python
from kafka import KafkaProducer
import json
'''
生产者demo
向test_lyl2主题中循环写入10条json数据
注意事项：要写入json数据需加上value_serializer参数，如下代码
'''
producer = KafkaProducer(
value_serializer=lambda v: json.dumps(v).encode('utf-8'),
bootstrap_servers=['192.168.12.101:6667','192.168.12.102:6667','192.168.12.103:6667']
)
for i in range(10):
data={
"name":"李四",
"age":23,
"gender":"男",
"id":i
}
producer.send('test_lyl2', data)
producer.close()
from kafka import KafkaConsumer
import json
'''
消费者demo
消费test_lyl2主题中的数据
注意事项：如需以json格式读取数据需加上value_deserializer参数
'''
consumer = KafkaConsumer('test_lyl2',group_id="lyl-gid1",
bootstrap_servers=['192.168.12.101:6667','192.168.12.102:6667','192.168.12.103:6667'],
auto_offset_reset='earliest',value_deserializer=json.loads
)
for message in consumer:
print(message.value)
以上这篇对python操作kafka写入json数据的简单demo分享就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
Python爬虫是获取网页信息的重要工具,但有时网站对爬虫有限制,要求模拟浏览器行为,本文将深入探讨如何使用Python模拟浏览器行为进行网络数据抓取,我们将介绍相关工具和技术,提供详细的示例代码和解释2024-01-01
这篇文章主要介绍了详解python实现小波变换的一个简单例子，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-07-07
python数学建模(SciPy+ Numpy+Pandas)
这篇文章主要介绍了python数学建模(SciPy+ Numpy+Pandas),文章基于python的相关资料紧接上一篇文章内容展开主题详情，需要的小伙伴可以参考一下2022-07-07
本文先简单介绍了Python中的类，然后是主要内容，涉及Metaclass的相关内容，还是不错的，这里分享给大家，供需要的朋友参考。2017-10-10
下面小编就为大家分享一篇Python多线程爬虫实战_爬取糗事百科段子的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2017-12-12
在本篇文章里小编给大家整理了一篇关于python模型集成知识点总结，有需要的朋友们可以学习参考下。2021-08-08
在安装Anaconda之前,有的已经安装过一个Python版本了,但是又不想删除这个Python版本,该怎么办呢??这篇文章主要给大家介绍了关于保留已有python安装Anaconda的几种法推荐,需要的朋友可以参考下2023-12-12
这篇文章主要为大家详细介绍了Python如何不调用三方收费接口，照样实现识别图片为文字的功能。文中的示例代码讲解详细，感兴趣的可以了解一下2022-08-08
这篇文章主要为大家详细介绍了如何利用Python语言绘制好看的数据动态图，文中的示例代码讲解详细，感兴趣的小伙伴可以跟随小编一起动手尝试一下2022-07-07
这篇文章主要介绍了记一次Django响应超慢的解决过程，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-09-09
最新评论