通过pykafka接收Kafka消息队列的方法
更新时间：2018年12月27日 11:29:45 作者：BabyFish13
今天小编就为大家分享一篇通过pykafka接收Kafka消息队列的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
没有Kafka环境，所以也没有进行验证。感觉今后应该能用到，所以借抄在此，备查。
pykafka使用示例，自动消费最新消息，不重复消费：
# -* coding:utf8 *-
from pykafka import KafkaClient
host = '192.168.200.38'
client = KafkaClient(hosts="%s:9092" % host)
print client.topics
# 生产者
# topicdocu = client.topics['task_pull']
# producer = topicdocu.get_producer()
# for i in range(4):
# print i
# producer.produce('test message ' + str(i ** 2))
# producer.stop()
# 消费者
topic = client.topics['task_push']
consumer = topic.get_simple_consumer(consumer_group='test', auto_commit_enable=True, consumer_id='test')
for message in consumer:
if message is not None:
print message.offset, message.value
以上这篇通过pykafka接收Kafka消息队列的方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
这篇文章主要介绍了Python实现冒泡，插入，选择排序简单实例,很适合Python初学者学习参考之用,需要的朋友可以参考下2014-08-08
这篇文章主要介绍了教你用scrapy框架爬取豆瓣读书Top250的书类信息,文中提供了解决思路和部分实现代码,需要的朋友可以参考下2023-03-03
在本篇文章里小编给大家总结的是关于python实例方法的使用注意及代码实例内容，对此有兴趣的朋友们可以参考下。2022-11-11
这篇文章主要介绍了python3 面向对象__类的内置属性与方法的实例代码,非常不错，具有一定的参考借鉴价值，需要的朋友可以参考下2018-11-11
这篇文章主要介绍了Python实现数据可视化案例分析，文章围绕主题展开详细的内容介绍，具有一定的参考价值，需要的小伙伴可以参考一下2022-08-08
这篇文章主要介绍了PyTorch如何使用embedding对特征向量进行嵌入问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2024-02-02
下面小编就为大家分享一篇Python中将dataframe转换为字典的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-04-04
这篇文章主要介绍了pandas如何获取某个数据的行号问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2024-02-02
这篇文章主要介绍了Flask web开发处理POST请求实现（登录案例）,小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧2018-07-07
这篇文章主要介绍了Python删除windows垃圾文件的方法,涉及Python针对系统垃圾文件的查找与清理技巧,具有一定参考借鉴价值,需要的朋友可以参考下2015-07-07
最新评论