kafka-python批量发送数据的实例

更新时间：2018年12月27日 10:12:47 作者：rongyongfeikai2

今天小编就为大家分享一篇kafka-python批量发送数据的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

如下所示：

from kafka import KafkaClient
from kafka.producer import SimpleProducer

def send_data_2_kafka(datas):
  '''
    向kafka解析队列发送数据
  '''
  client = KafkaClient(hosts=KAFKABROKER.split(","), timeout=30)
  producer = SimpleProducer(client, async=False)
 
  curcount = len(datas)/PARTNUM
  for i in range(0, PARTNUM):
    start = i*curcount
    if i != PARTNUM - 1:
      end = (i+1)*curcount
      curdata = datas[start:end]
      producer.send_messages(TOPICNAME, *curdata)
    else:
      curdata = datas[start:]
      producer.send_messages(TOPICNAME, *curdata)
    
  producer.stop()
  client.close()

其中PARTNUM为topic的partition的数目，这样保证批量发送的数据均匀的落在kafka的partition中。

以上这篇kafka-python批量发送数据的实例就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

python逆序打印各位数字的方法
今天小编就为大家分享一篇python逆序打印各位数字的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2018-06-06
Python编程中的文件读写及相关的文件对象方法讲解
这篇文章主要介绍了Python编程中的文件读写及相关的文件对象方法讲解,其中文件对象方法部分讲到了对文件内容的输入输出操作,需要的朋友可以参考下
2016-01-01
详解Python读取配置文件模块ConfigParser
本篇文章主要介绍了详解Python读取配置文件模块ConfigParser，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
2017-05-05
详解Python中range()与xrange()的区别
range() 和 xrange() 是两个函数，可用于在 Python的 for 循环中迭代一定次数。本文将通过示例详细说说二者的区别与使用，需要的可以参考一下
2022-09-09
Pycharm如何运行.py文件的方法步骤
这篇文章主要介绍了Pycharm如何运行.py文件的方法步骤，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2020-03-03
Python使用Pillow实现图像基本变化
这篇文章主要为大家详细介绍了Python如何使用Pillow实现图像的基本变化处理，文中的示例代码讲解详细，具有一定的学习价值，需要的可以了解一下
2022-10-10
python 搜索大文件的实例代码
今天小编就为大家分享一篇python 搜索大文件的实例代码，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2019-07-07
Python中一些深不见底的“坑”
这篇文章主要给大家介绍了关于Python中一些深不见底的“坑”，文中通过示例代码介绍的非常详细，对大家学习或者使用Python具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧
2019-06-06
基于python实现简单网页服务器代码实例
这篇文章主要介绍了基于python实现简单网页服务器代码实例,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
2020-09-09
用Python实现一个简单的用户系统
大家好，本篇文章主要讲的是用Python实现一个简单的用户系统，感兴趣的同学赶快来看一看吧，对你有帮助的话记得收藏一下
2022-01-01