脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 网站技巧 → 服务器 → nginx → Nginx整合Kafka

Nginx整合Kafka的方法示例

 更新时间：2018年10月24日 14:55:12   作者：兴趣e族  
这篇文章主要介绍了Nginx整合Kafka的方法示例，nginx整合kafak后，可以将nginx中的数据，直接保存到kafka中，感兴趣的小伙伴们可以参考一下

背景

nginx-kafka-module是nginx的一个插件，可以将kafka整合到nginx中，便于web项目中前端页面埋点数据的收集，如前端页面设置了埋点，即可将用户的一些访问和请求数据通过http请求直接发送到消息中间件kafka中，后端可以通过程序消费kafka中的消息来进行实时的计算。比如通过SparkStream来实时的消费Kafka中的数据来分析用户PV,UV、用户的一些行为及页面的漏斗模型转化率，来更好的对系统进行优化或者对来访用户进行实时动态的分析。

具体整合步骤

1.安装git

yum install -y git

2.切换到/usr/local/src目录，然后将kafka的c客户端源码clone到本地

cd /usr/local/src
git clone https://github.com/edenhill/librdkafka

3.进入到librdkafka，然后进行编译

cd librdkafka
yum install -y gcc gcc-c++ pcre-devel zlib-devel
./configure
make && make install

4.安装nginx整合kafka的插件，进入到/usr/local/src，clone nginx整合kafka的源码

cd /usr/local/src
git clone https://github.com/brg-liuwei/ngx_kafka_module

5.进入到nginx的源码包目录下 （编译nginx，然后将将插件同时编译）

cd /usr/local/src/nginx-1.12.2
./configure --add-module=/usr/local/src/ngx_kafka_module/
make && make install

6.修改nginx的配置文件：设置一个location和kafaka的topic，详情请查看当前目录的nginx.conf

#添加配置(2处)
kafka;
kafka_broker_list f1:9092 f2:9092 f3:9092;

location = /kafka/access {
kafka_topic access888;
}

如下图：

7.启动zk和kafka集群(创建topic)

zkServer.sh start
kafka-server-start.sh -daemon config/server.properties

8.启动nginx，报错，找不到kafka.so.1的文件

error while loading shared libraries: librdkafka.so.1: cannot open shared object file: No such file or directory

9.加载so库

#开机加载/usr/local/lib下面的库
echo "/usr/local/lib" >> /etc/ld.so.conf
#手动加载
ldconfig

10.测试，向nginx中写入数据，然后观察kafka的消费者能不能消费到数据

curl http://localhost/kafka/access -d "message send to kafka topic"
curl http://localhost/kafka/access -d "小伟666"测试

也可以模拟页面埋点请求接口来发送信息：

后台Kafka消费信息如图：

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

相关文章

  • nginx proxy_cache批量清除缓存的脚本介绍

    nginx proxy_cache批量清除缓存的脚本介绍

    今天小编就为大家分享一篇关于nginx proxy_cache批量清除缓存的脚本介绍，小编觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小编来看看吧
    2019-02-02
  • Nginx单IP地址配置多个SSL证书的方法示例

    Nginx单IP地址配置多个SSL证书的方法示例

    这篇文章主要介绍了Nginx单IP地址配置多个SSL证书的方法示例，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
    2018-11-11
  • SpringBoot前端后端分离之Nginx服务器下载安装过程

    SpringBoot前端后端分离之Nginx服务器下载安装过程

    Nginx是一款轻量级的Web服务器/反向代理服务器及电子邮件(IMAP/POP3)代理服务器，这篇文章主要介绍了SpringBoot前端后端分离之Nginx服务器,需要的朋友可以参考下
    2022-08-08
  • 解决Nginx + PHP（FastCGI）遇到的502 Bad Gateway错误

    解决Nginx + PHP（FastCGI）遇到的502 Bad Gateway错误

    昨日，有朋友问我，他将Web服务器换成Nginx 0.6.31 + PHP 4.4.7（FastCGI）后，有时候访问会出现“502 Bad Gateway”错误，如何解决。
    2009-10-10
  • 使Nginx服务器支持.htaccess的方法

    使Nginx服务器支持.htaccess的方法

    这篇文章主要介绍了使Nginx服务器支持.htaccess的方法,.htaccess配置文件设置是Apache上的好东西,现在我们让Nginx服务器也能使用它,需要的朋友可以参考下
    2015-07-07
  • Nginx配置proxy_pass后返回404的问题及解决

    Nginx配置proxy_pass后返回404的问题及解决

    这篇文章主要介绍了Nginx配置proxy_pass后返回404的问题及解决,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2024-06-06
  • Nginx 中文域名配置详解及实现

    Nginx 中文域名配置详解及实现

    这篇文章主要介绍了Nginx中 文域名配置详解及实现的相关资料,Nginx虚拟主机上绑定一个带中文域名但是不能跳转，这里给大家说下如何实现，需要的朋友可以参考下
    2016-12-12
  • Nginx配置出现访问白屏问题的原因与解决

    Nginx配置出现访问白屏问题的原因与解决

    这篇文章主要为大家详细介绍了Nginx配置出现访问白屏问题的原因以及该如何解决,文中的示例代码简洁易懂,有需要的小伙伴可以参考一下
    2025-02-02
  • Nginx中泛域名配置的实例教程

    Nginx中泛域名配置的实例教程

    泛域名就是我们平常指的二级和三级域名等,这里我们来总结一下Nginx中泛域名解析配置的实例教程,包括正则匹配等细节的讲解,需要的朋友可以参考下
    2016-05-05
  • filebeat收集json格式的tomcat日志详解

    filebeat收集json格式的tomcat日志详解

    这篇文章主要为大家介绍了filebeat收集json格式的tomcat日志详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪
    2022-08-08

最新评论