kafka-python批量发送数据的实例

更新时间：2018年12月27日 10:12:47 作者：rongyongfeikai2

今天小编就为大家分享一篇kafka-python批量发送数据的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

如下所示：

from kafka import KafkaClient
from kafka.producer import SimpleProducer

def send_data_2_kafka(datas):
  '''
    向kafka解析队列发送数据
  '''
  client = KafkaClient(hosts=KAFKABROKER.split(","), timeout=30)
  producer = SimpleProducer(client, async=False)
 
  curcount = len(datas)/PARTNUM
  for i in range(0, PARTNUM):
    start = i*curcount
    if i != PARTNUM - 1:
      end = (i+1)*curcount
      curdata = datas[start:end]
      producer.send_messages(TOPICNAME, *curdata)
    else:
      curdata = datas[start:]
      producer.send_messages(TOPICNAME, *curdata)
    
  producer.stop()
  client.close()

其中PARTNUM为topic的partition的数目，这样保证批量发送的数据均匀的落在kafka的partition中。

以上这篇kafka-python批量发送数据的实例就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

如何用python识别滑块验证码中的缺口
这篇文章主要介绍了如何用python识别滑块中的缺口，帮助大家更好的理解和学习使用python，感兴趣的朋友可以了解下
2021-04-04
python 泛型函数--singledispatch的使用解读
这篇文章主要介绍了python 泛型函数--singledispatch的使用解读，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
2022-09-09
python实现提取jira bug列表的方法示例
公司要求内部每日整理jira bug发邮件，手动执行了一段时间，想着用自动化的方式实现，所以本文主要介绍了python实现提取jira bug列表，感兴趣的可以了解一下
2021-05-05
用python写asp详细讲解
本文介绍使用python写asp程序代码，大家参考使用吧
2013-12-12
python Selenium等待元素出现的具体方法
在本篇文章里小编给大家分享的是一篇关于python Selenium等待元素出现的具体方法，以后需要的朋友们可以学习参考下。
2021-08-08
Python实现的百度站长自动URL提交小工具
这篇文章主要介绍了Python实现的百度站长自动URL提交小工具,主要难点在验证码识别部分,研究验证码识别的朋友可以参考下
2014-06-06
python使用dlib进行人脸检测和关键点的示例
这篇文章主要介绍了python使用dlib进行人脸检测和关键点的示例，帮助大家更好的理解和使用python，感兴趣的朋友可以了解下
2020-12-12
python中selenium库的基本使用详解
这篇文章主要介绍了python中selenium库的基本使用详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2020-07-07
浅谈Django2.0 加xadmin踩的坑
今天小编就为大家分享一篇浅谈Django2.0 加xadmin踩的坑，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2019-11-11
python实现随机梯度下降法
这篇文章主要为大家详细介绍了python实现随机梯度下降法，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
2018-08-08

kafka-python批量发送数据的实例

相关文章

最新评论

大家感兴趣的内容

最近更新的内容

常用在线小工具