如何利用MongoDB存储Docker日志详解

 更新时间:2018年09月18日 09:00:54   作者:mydeman   我要评论

这篇文章主要给大家介绍了关于如何利用MongoDB存储Docker日志的相关资料,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友没呢下面随着小编来一起学习学习吧

前言

日志是系统很重要的一个组成部分,通过日志可以及时发现系统中存在的问题,也可以为修复问题提供线索。Docker提供了多种插件方式管理日志,本文就对使用MongoDB存储Docker日志的过程做个记录。

数据流


Docker产生的日期 发送到 FluentD,然后FluentD在转存到MongoDB。

配置Fluentd

前提:操作系统是CentOS7,已安装MongoDB3.4

1. 安装Fluentd

CentOS 7的软件库并没有包含Fluentd的安装包,所以需要手动安装。在CentOS使用的软件td-agent

# curl -L https://toolbelt.treasuredata.com/sh/install-redhat-td-agent3.sh | sh

上面命令会在/etct/yum.repo.d/目录中,创建一个td-agent的安装库 td.repo,然后自动安装td-agent。安装完毕后设为自动启动。

# systemctl start td-agent
# systemctl enable td-agent

如果在启动过程中出现问题,可以查看位于/var/log/td-agent/下日志文件td-agent.log

2. 配置将docker日志转存到MongoDB

转存到MongoDB需要插件支持,但是默认情况下td-agent是没有安装该插件的,需要安装。

# yum -y install td-agent-gemt
# td-agent-gem install fluent-plugin-mongo

编辑/etc/td-agent/td-agent.conf,增加

## match tag=docker.* and dump to mongodb
## 在docker启动容器时,日志的tag要符合docker.*的形式
<match docker.*>
 @type mongo
 # 数据库地址
 host 127.0.0.1
 # 数据库端口
 port 22017
 # 存储日志的数据库和数据集名称
 database docker
 collection log
</match>

重启td-agent。

启动容器

启动容器的命令改为:

$ docker run --mount type=bind,source=/home/demo/app,destination=/app --log-driver=fluentd --log-opt tag="docker.log" python3:latest python3 /app/test.py

运行完毕后,可以到MongoDB中查看日志。

后续

但是在实际的使用过程中,却发现Docker生成的日志并不会立即写入到MongoDB中,有大概1分钟左右的延迟。

查阅Fluentd的文档得知,有一个flush参数可以控制日志的写入频率,默认的是60s。更改flush_interval参数就可以提高写入频率,具体更改如下:

## match tag=docker.* and dump to console <match docker.*> @type mongo host 127.0.0.1 port 22017 database docker collection log <buffer> flush_mode interval flush_interval 1s </buffer> </match>

刚开始对文档理解不太透彻,增加了flush_interval参数后,并没有发挥作用,第一次更改时,并没有将flush_mode和flush_interval放在buffer结构中。也就是:

## match tag=docker.* and dump to console <match docker.*> @type mongo host 127.0.0.1 port 22017 database docker collection log flush_mode interval flush_interval 1s </match>

从日志中也可以看出上面的配置,并没有发挥作用:

2018-01-19 14:33:32 +0800 [warn]: parameter '**flush_mode**' in <match docker.*> @type mongo host "1270.0.0.1" port 22017 database "docker" collection "log" flush_mode interval flush_interval 1s buffer_chunk_limit 8m time_key time <inject> time_key time time_format %Y-%m-%d %H:%M:%S.%L </inject> </match> is not used.

上面说flush_mode并没有起作用。

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,如果有疑问大家可以留言交流,谢谢大家对脚本之家的支持。

参考文档:

相关文章

  • 阿里云CentOS7安装Mongodb教程

    阿里云CentOS7安装Mongodb教程

    本文给大家介绍的教程主要参考资源的官方文档,当然如果你是centos6的,也可以看看其他文章,笔者用的是7,mongodb想用3以上的版本,需要的小伙伴可以参考下
    2016-11-11
  • Mongodb 忘记密码的解决办法

    Mongodb 忘记密码的解决办法

    这篇文章主要介绍了Mongodb数据库忘记密码的解决办法,需要的朋友可以参考下
    2014-03-03
  • MongoDB学习笔记—Linux下搭建MongoDB环境

    MongoDB学习笔记—Linux下搭建MongoDB环境

    本篇文章主要介绍了Linux下搭建MongoDB环境,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2016-11-11
  • mac下安装和配置mongodb的步骤详解

    mac下安装和配置mongodb的步骤详解

    大家都知道MongoDB是一个跨平台的,面向文档的数据库,提供高性能,高可用性和可扩展性方便。那么下面这篇文章就来给大家介绍了关于在mac系统下安装和配置mongodb的方法步骤,需要的朋友可以参考借鉴,下面来一起看看吧。
    2017-07-07
  • mongoDB 实现主从读写分离实现的实例代码

    mongoDB 实现主从读写分离实现的实例代码

    这篇文章主要介绍了 mongoDB 实现主从读写分离实现的实例代码的相关资料,需要的朋友可以参考下
    2017-01-01
  • MongoDB数据库文档操作方法(必看篇)

    MongoDB数据库文档操作方法(必看篇)

    下面小编就为大家带来一篇MongoDB数据库文档操作方法(必看篇)。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2017-07-07
  • mongodb如何对文档内数组进行过滤的方法步骤

    mongodb如何对文档内数组进行过滤的方法步骤

    这篇文章主要介绍了mongodb如何对文档内数组进行过滤的方法步骤,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2018-10-10
  • Linux下MongoDB数据库实现自动备份详解

    Linux下MongoDB数据库实现自动备份详解

    这篇文章主要给大家介绍了在Linux系统下下MongoDB数据库实现自动备份的相关资料,文中通过示例代码介绍的非常详细,对大家具有一定的参考学习价值,需要的朋友们下面跟着小编一起来学习学习吧。
    2017-06-06
  • 基于MongoDB数据库的数据类型和$type操作符详解

    基于MongoDB数据库的数据类型和$type操作符详解

    下面小编就为大家带来一篇基于MongoDB数据库的数据类型和$type操作符详解。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2017-07-07
  • mongodb的写操作

    mongodb的写操作

    今天小编就为大家分享一篇关于mongodb的写操作,小编觉得内容挺不错的,现在分享给大家,具有很好的参考价值,需要的朋友一起跟随小编来看看吧
    2019-01-01

最新评论