脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 软件编程 → java → kafka bootstrap-server 数据

关于kafka消费不到远程bootstrap-server 数据的问题

 更新时间：2021年11月26日 14:54:24   作者：jzy3711  
很多朋友遇到kafka消费不到远程bootstrap-server 数据的问题，怎么解决这个问题，很多朋友不知所措，下面小编给大家带来了关于kafka消费不到远程bootstrap-server 数据的问题及解决方法，感兴趣的朋友跟随小编一起看看吧

本文重点给大家介绍kafka消费不到远程bootstrap-server 数据的问题原因分析及解决方法，内容如下所示：

问题

执行 ./bin/kafka-console-consumer.sh --bootstrap-server 10.10.151.12:6667 --topic flink_test
取不到数据没有任何返回，也没有报错

解决

使用./bin/kafka-console-consumer.sh --zookeeper 10.10.151.12:2181 --topic flink_test
终于看到报错信息了

[2020-12-02 10:06:41,087] WARN [console-consumer-73229_localhost.localdomain-1606874800409-65d73e12-leader-finder-thread]: Failed to add leader for partitions flink_test-5,flink_test-16,flink_test-2,flink_test-13,flink_test-21,flink_test-10,flink_test-15,flink_test-4,flink_test-7,flink_test-18,flink_test-1,flink_test-23,flink_test-12,flink_test-20,flink_test-9,flink_test-6,flink_test-17,flink_test-22,flink_test-3,flink_test-14,flink_test-19,flink_test-8,flink_test-0,flink_test-11; will retry (kafka.consumer.ConsumerFetcherManager$LeaderFinderThread)
java.nio.channels.ClosedChannelException
	at kafka.network.BlockingChannel.send(BlockingChannel.scala:112)
	at kafka.consumer.SimpleConsumer.liftedTree1$1(SimpleConsumer.scala:101)
	at kafka.consumer.SimpleConsumer.kafka$consumer$SimpleConsumer$$sendRequest(SimpleConsumer.scala:86)
	at kafka.consumer.SimpleConsumer.getOffsetsBefore(SimpleConsumer.scala:152)
	at kafka.consumer.SimpleConsumer.earliestOrLatestOffset(SimpleConsumer.scala:191)
	at kafka.consumer.ConsumerFetcherThread.handleOffsetOutOfRange(ConsumerFetcherThread.scala:92)
	at kafka.server.AbstractFetcherThread$$anonfun$7.apply(AbstractFetcherThread.scala:243)
	at kafka.server.AbstractFetcherThread$$anonfun$7.apply(AbstractFetcherThread.scala:240)
	at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:234)
	at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:234)
	at scala.collection.immutable.HashMap$HashMap1.foreach(HashMap.scala:221)
	at scala.collection.immutable.HashMap$HashTrieMap.foreach(HashMap.scala:428)
	at scala.collection.TraversableLike$class.map(TraversableLike.scala:234)
	at scala.collection.AbstractTraversable.map(Traversable.scala:104)
	at kafka.server.AbstractFetcherThread.addPartitions(AbstractFetcherThread.scala:240)
	at kafka.server.AbstractFetcherManager$$anonfun$addFetcherForPartitions$2.apply(AbstractFetcherManager.scala:97)
	at kafka.server.AbstractFetcherManager$$anonfun$addFetcherForPartitions$2.apply(AbstractFetcherManager.scala:85)
	at scala.collection.TraversableLike$WithFilter$$anonfun$foreach$1.apply(TraversableLike.scala:733)
	at scala.collection.immutable.Map$Map3.foreach(Map.scala:161)
	at scala.collection.TraversableLike$WithFilter.foreach(TraversableLike.scala:732)
	at kafka.server.AbstractFetcherManager.addFetcherForPartitions(AbstractFetcherManager.scala:85)
	at kafka.consumer.ConsumerFetcherManager$LeaderFinderThread.doWork(ConsumerFetcherManager.scala:96)
	at kafka.utils.ShutdownableThread.run(ShutdownableThread.scala:64)

修改/etc/hosts文件

10.10.151.11 test01
10.10.151.12 test02
10.10.151.13 test03

重新执行./bin/kafka-console-consumer.sh --bootstrap-server 10.10.151.12:6667 --topic flink_test
成功获取数据

原因分析

1.原来kafka消费者和kafka server 在一个集群中hosts文件都一样，所以没有问题。
2.新的kafka消费者是我新加的一个机器，是独立于集群的，但是需要消费集群中部分数据做实验用
3.集群中的kafka配置中使用的的是hostname，所以新加的机器没有配hosts就连接不上
4.kafka版本比较老了是1.0.0，但是我们项目定版了，这个版就要用1.0.0版防止冲突，下个版本我在升级一下吧。

到此这篇关于关于kafka消费不到远程bootstrap-server 数据的问题的文章就介绍到这了,更多相关kafka bootstrap-server 数据内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

相关文章

  • java设计模式之模板方法模式详解

    java设计模式之模板方法模式详解

    这篇文章主要为大家详细介绍了java设计模式之模板方法模式的相关资料，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
    2017-06-06
  • Java字节缓冲流原理与用法详解

    Java字节缓冲流原理与用法详解

    这篇文章主要介绍了Java字节缓冲流原理与用法,结合实例形式总结分析了java字节流与缓冲区相关原理与操作技巧,需要的朋友可以参考下
    2019-09-09
  • StringUtils里的isEmpty方法和isBlank方法的区别详解

    StringUtils里的isEmpty方法和isBlank方法的区别详解

    这篇文章主要介绍了StringUtils里的isEmpty方法和isBlank方法的区别详解，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
    2020-04-04
  • Java微信公众平台之消息管理

    Java微信公众平台之消息管理

    这篇文章主要为大家详细介绍了Java微信公众平台之消息管理的相关资料，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
    2018-05-05
  • linux下idea、pycharm等输入中文拼音时满3个字母后无法继续拼音输入的问题

    linux下idea、pycharm等输入中文拼音时满3个字母后无法继续拼音输入的问题

    这篇文章主要介绍了linux下idea、pycharm等输入中文拼音时满3个字母后无法继续拼音输入的问题,本文通过图文并茂的形式给大家分享解决方法，需要的朋友可以参考下
    2021-04-04
  • SpringBoot获取客户端的IP地址的实现示例

    SpringBoot获取客户端的IP地址的实现示例

    在Web应用程序中,获取客户端的IP地址是一项非常常见的需求,本文主要介绍了SpringBoot获取客户端的IP地址的实现示例,具有一定的参考价值,感兴趣的可以了解一下
    2023-09-09
  • SpringAOP中@Pointcut的用法详解

    SpringAOP中@Pointcut的用法详解

    这篇文章主要介绍了SpringAOP中@Pointcut的用法详解,Pointcut（切点）是面向切面编程中的一个非常重要的概念，此概念由spring框架定义,Pointcut只是一种筛选规则,需要的朋友可以参考下
    2023-08-08
  • SpringBoot集成slf4j+log4j2的示例代码

    SpringBoot集成slf4j+log4j2的示例代码

    这篇文章主要介绍了SpringBoot集成slf4j+log4j2的示例代码,小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
    2018-07-07
  • 基于mybatis中<include>标签的作用说明

    基于mybatis中<include>标签的作用说明

    这篇文章主要介绍了基于mybatis中<include>标签的作用说明，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2021-02-02
  • Java基于JDBC连接数据库及显示数据操作示例

    Java基于JDBC连接数据库及显示数据操作示例

    这篇文章主要介绍了Java基于JDBC连接数据库及显示数据操作,结合实例形式分析了Java使用jdbc进行mysql数据库连接与数据读取、显示等相关操作技巧,需要的朋友可以参考下
    2018-06-06

最新评论