Springboot使用influxDB时序数据库的实现

 更新时间:2021年08月04日 09:44:04   作者:从此寂静无声  
项目中需要存放大量设备日志,且需要对其进行简单的数据分析,信息提取工作,所以本文就介绍一下Springboot使用influxDB时序数据库,感兴趣的可以了解一下

项目中需要存放大量设备日志,且需要对其进行简单的数据分析,信息提取工作.

结合众多考量因素,项目决定使用时序数据库中的领头羊InfluxDB.

引入依赖

项目中使用influxdb-java,在pom文件中添加如下依赖(github地址:https://github.com/influxdata/influxdb-java):

    <dependency>
        <groupId>org.influxdb</groupId>
        <artifactId>influxdb-java</artifactId>
        <version>2.15</version>
    </dependency>

application.yaml文件配置如下所示(请按照实际情况填写):

spring:
  influx:
    url: *
    password: admin
    user: 123
    database: log_management

配置

(1) 创建配置类

@Configuration
public class InfluxDbConfig {

    @Value("${spring.influx.url:''}")
    private String influxDBUrl;

    @Value("${spring.influx.user:''}")
    private String userName;

    @Value("${spring.influx.password:''}")
    private String password;

    @Value("${spring.influx.database:''}")
    private String database;

    @Bean
    public InfluxDbUtils influxDbUtils() {
        return new InfluxDbUtils(userName, password, influxDBUrl, database, "");
    }
}
@Data
 public class InfluxDbUtils {
    private String userName;
    private String password;
    private String url;
    public String database;
    private String retentionPolicy;
    // InfluxDB实例
    private InfluxDB influxDB;

    // 数据保存策略
    public static String policyNamePix = "logRetentionPolicy_";

    public InfluxDbUtils(String userName, String password, String url, String database,
                         String retentionPolicy) {
        this.userName = userName;
        this.password = password;
        this.url = url;
        this.database = database;
        this.retentionPolicy = retentionPolicy == null || "".equals(retentionPolicy) ? "autogen" : retentionPolicy;
        this.influxDB = influxDbBuild();
    }

    /**
     * 连接数据库 ,若不存在则创建
     *
     * @return influxDb实例
     */
    private InfluxDB influxDbBuild() {
        if (influxDB == null) {
            influxDB = InfluxDBFactory.connect(url, userName, password);
        }
        try {
            createDB(database);
            influxDB.setDatabase(database);
        } catch (Exception e) {
            log.error("create influx db failed, error: {}", e.getMessage());
        } finally {
            influxDB.setRetentionPolicy(retentionPolicy);
        }
        influxDB.setLogLevel(InfluxDB.LogLevel.BASIC);
        return influxDB;
    }
 }

构建实体类

InfluxDB中,measurement对应于传统关系型数据库中的table(database为配置文件中的log_management).
InfluxDB里存储的数据称为时间序列数据,时序数据有零个或多个数据点.
数据点包括time(一个时间戳),measurement(例如logInfo),零个或多个tag,其对应于level,module,device_id),至少一个field(即日志内容,msg=something error).
InfluxDB会根据tag数值建立时间序列(因此tag数值不能选取诸如UUID作为特征值,易导致时间序列过多,导致InfluxDB崩溃),并建立相应索引,以便优化诸如查询速度.

@Builder
@Data
@Measurement(name = "logInfo")
public class LogInfo {

    // Column中的name为measurement中的列名
    // 此外,需要注意InfluxDB中时间戳均是以UTC时保存,在保存以及提取过程中需要注意时区转换
    @Column(name = "time")
    private String time;
    // 注解中添加tag = true,表示当前字段内容为tag内容
    @Column(name = "module", tag = true)
    private String module;
    @Column(name = "level", tag = true)
    private String level;
    @Column(name = "device_id", tag = true)
    private String deviceId;
    @Column(name = "msg")
    private String msg;
}

保存数据

以下代码为单条日志保存,influxdb-java亦支持批量保存(因为与InfluxDB通讯均是通过http,因此建议批量保存以减少性能损耗).

    LogInfo logInfo = LogInfo.builder()
        .level(jsonObject.getString("level"))
        .module(module)
        .deviceId(deviceId)
        .msg(jsonObject.getString("msg"))
        .build();
    Point point = Point.measurementByPOJO(logInfo.getClass())
        .addFieldsFromPOJO(logInfo)
        .time(jsonObject.getLong("time"), TimeUnit.MILLISECONDS)
        .build();
    // 出于业务考量,设备可以设置不同的保存策略(策略名为固定前缀+设备ID)
    influxDB.write(influxDBUtils.database, InfluxDbUtils.policyNamePix + deviceId, point);

查询数据

因为代码与业务耦合比较厉害,因此此处仅截选做概要示范.

    // InfluxDB支持分页查询,因此可以设置分页查询条件
    String pageQuery = " LIMIT " + request.getPageSize() + " OFFSET " + ((request.getPageNum() - 1) * request.getPageSize());
    // 此处查询所有内容,如果
    String queryCmd = "SELECT * FROM "
        // 查询指定设备下的日志信息
        // 要指定从 RetentionPolicyName(保存策略前缀+设备ID).measurement(logInfo) 中查询指定数据)
        + InfluxDbUtils.policyNamePix + request.getDeviceId() + "." + "logInfo"
        // 添加查询条件(注意查询条件选择tag值,选择field数值会严重拖慢查询速度)
        + queryCondition
        // 查询结果需要按照时间排序
        + " ORDER BY time DESC"
        // 添加分页查询条件
        + pageQuery;

选择时序数据库,不建议使用删除以及更新操作,因此不做介绍.

可以通过创建或者RetentionPolicy,来添加或者更新数据的删除时间.

到此这篇关于Springboot使用influxDB时序数据库的实现的文章就介绍到这了,更多相关Springboot使用influxDB内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • 教你如何轻松学会Java快慢指针法

    教你如何轻松学会Java快慢指针法

    要想把搬砖的效率提高,我们肯定是逃不掉数据结构和算法知识的,这不,可爱的小编今天就和大家一起学习来了,今天给大家分享的是快慢指针,那啥是快慢指针呢,文中有非常详细的解释,需要的朋友可以参考下
    2021-06-06
  • Java 实现使用Comparable按照我们指定的规则排序

    Java 实现使用Comparable按照我们指定的规则排序

    这篇文章主要介绍了Java 如何使用Comparable按照我们指定的规则排序,通过练习创建TreeSet集合使用无参构造方法,并按照年龄从小到大的顺序排序,若年龄相同再按照姓名的字母顺序排序展开内容,需要的朋友可以参考一下
    2022-04-04
  • 浅析Java8的函数式编程

    浅析Java8的函数式编程

    函数式编程,这个词语由两个名词构成,函数,编程。这篇文章主要介绍了Java8的函数式编程 ,需要的朋友可以参考下
    2017-05-05
  • 通过java api实现解压缩zip示例

    通过java api实现解压缩zip示例

    这篇文章主要介绍了通过java api实现解压缩zip示例,需要的朋友可以参考下
    2014-04-04
  • java的引用类型的详细介绍

    java的引用类型的详细介绍

    在java中提供了4个级别的引用:强引用、软引用、弱引用、虚引用。其中强引用FinalReference是default个饰符来修饰,其它3个级别均为public修饰
    2013-10-10
  • EasyCode整合mybatis-plus的配置详解

    EasyCode整合mybatis-plus的配置详解

    本文主要介绍了EasyCode整合mybatis-plus的配置详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2023-09-09
  • Spring Security基本配置方法解析

    Spring Security基本配置方法解析

    这篇文章主要介绍了Spring Security基本配置方法解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2019-09-09
  • Java高效提取PDF文件指定坐标的文本内容实战代码

    Java高效提取PDF文件指定坐标的文本内容实战代码

    在日常工作中,有时可能会需要从庞大的PDF文档中提取其中所包含的文本内容,下面这篇文章主要给大家介绍了关于如何利用Java高效提取PDF文件指定坐标的文本内容,需要的朋友可以参考下
    2024-01-01
  • 如何利用java控制鼠标操作一些重复的事情

    如何利用java控制鼠标操作一些重复的事情

    这篇文章主要给大家介绍了关于如何利用java控制鼠标操作一些重复的事情,主要利用的是Robot类,Robot可以模拟鼠标和键盘的输入,相当于Java版的按键精灵,需要的朋友可以参考下
    2021-12-12
  • 详解Spring batch 入门学习教程(附源码)

    详解Spring batch 入门学习教程(附源码)

    本篇文章主要介绍了Spring batch 入门学习教程(附源码),小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2017-11-11

最新评论