Qt数据库应用之实现通用数据库清理

 更新时间:2022年02月23日 09:15:16   作者:feiyangqingyun  
项目如果需要存储很多日志记录比如运行日志,时间长了记录数量非常多,数据库体积不断增大,对应数据库表的增删改查的效率不断降低,因此需要将早期的数据清理。本文将详细介绍一下通用数据库清理的实现,需要的可以参考一下

一、前言

很多项目如果需要存储很多日志记录比如运行日志,时间长了记录数量非常多,数据库体积不断增大,对应数据库表的增删改查的效率不断降低,为了消除这几个影响,需要有一套机制,不断将早期的数据清理,清理的规则比如可以指定表名、字段名、时间范围等。

日志记录的清理一方面是为了保证查询效率,毕竟数据量大了明显影响查询速度,一方面也是为了节约磁盘存储空间,毕竟存储空间有限,尤其是嵌入式板子,容量一般不会很大,记录无限制的存储下去会不断增加磁盘空间的占用。

除了数据库记录的清理以外,还有个场景是文件的清理,比如视频监控系统存储了很多视频文件,为了保证磁盘空间的大小,需要不断清理不需要的早期的视频文件,以便腾出空间存储新的文件,相当于覆盖写入,这样就最大化的把磁盘空间利用起来,不会因为磁盘空间不够而导致的程序不能正常运行。

  1. 可设置要清理的对应数据库连接名称和表名。
  2. 可设置条件字段。
  3. 可设置排序字段。
  4. 可设置最大保留的记录数。
  5. 可设置执行自动清理的间隔。
  6. 后期支持多个数据库和多个表。
  7. 建议条件字段用数字类型的主键,速度极快。
  8. 增加统计用字段名称设置。
  9. 增加自动清理文件夹,超过大小自动删除文件夹中早期文件。

Qt数据库相关应用开发总结

二、功能特点

同时支持多种数据库比如odbc、sqlite、mysql、postgresql、sqlserver、oracle、人大金仓等。

一个数据库类即可管理本地数据库通信,也支持远程数据库通信等。

数据库线程支持执行各种sql语句,包括单条和批量。

组件中的所有类打印信息、错误信息、执行结果都信号发出去。

集成数据库通用翻页类(负责具体处理逻辑),搭配分页导航控件(负责外观),形成超级牛逼的翻页控件。

集成数据库自动清理类,设定最大记录数后台自动清理早期数据。

集成自定义委托类,支持复选框、文本框、下拉框、日期框、微调框、进度条等。

同时支持Qt4-Qt6,亲测Qt4.6到Qt6.3任意版本,任意系统和编译器。

本组件无故障 360天7乘24小时 运行在至少上万个现场,商业级别品质保证。

每个类都对应完整详细的使用示例,注释详细,非常适合阅读学习。

可以作为独立的程序运行,比如自动清理早期数据,同步数据到云端。

全部线程处理,不卡界面,自动重连数据库。

普通测试情况,sqlite数据库,数据库发生器每秒钟插入1000条记录约0.003秒钟,同时自动清理数据类每秒钟删除1000条记录约0.13秒,不同线程互不干扰。

三、体验地址

体验地址:https://pan.baidu.com/s/15ZKAlptW-rDcNq8zlzdYLg  提取码:uyes 文件名:bin_dbtool.zip

国内站点:https://gitee.com/feiyangqingyun

国际站点:https://github.com/feiyangqingyun

四、效果图

五、相关代码

void frmDbClean::on_btnOpen_clicked()
{
    if (ui->btnOpen->text() == "打开数据库") {
        DbInfo dbInfo;
        dbInfo.connName = this->objectName();
        dbInfo.dbName = AppConfig::DbName3;
        dbInfo.hostName = AppConfig::HostName3;
        dbInfo.hostPort = AppConfig::HostPort3;
        dbInfo.userName = AppConfig::UserName3;
        dbInfo.userPwd = AppConfig::UserPwd3;

        QString dbType = AppConfig::DbType3.toUpper();
        if (dbType == "SQLITE") {
            dbInfo.dbName = DbHelper::getDbDefaultFile();
        }

        dbClean->setConnInfo(DbHelper::getDbType(dbType), dbInfo);
        if (dbClean->openDb()) {
            //dbClean->start();
            ui->btnOpen->setText("关闭数据库");
        } else {
            QString error = dbClean->getDatabase().lastError().text();
            QUIHelper::showMessageBoxError("打开数据库失败!\n" + error, 3);
        }
    } else {
        dbClean->stop();
        dbClean->closeDb();
        ui->btnOpen->setText("打开数据库");
        ui->btnStart->setText("启动服务");
        on_btnClear_clicked();
    }

    QTimer::singleShot(100, this, SLOT(getTables()));
    QTimer::singleShot(1000, this, SLOT(on_btnStart_clicked()));
}

void frmDbClean::on_btnCopy_clicked()
{
    //将数据库设置参数一键粘贴过来
    ui->cboxDbType->setCurrentIndex(ui->cboxDbType->findText(AppConfig::LocalDbType));
    ui->txtDbName->setText(AppConfig::LocalDbName);
    ui->txtHostName->setText(AppConfig::LocalHostName);
    ui->txtHostPort->setText(QString::number(AppConfig::LocalHostPort));
    ui->txtUserName->setText(AppConfig::LocalUserName);
    ui->txtUserPwd->setText(AppConfig::LocalUserPwd);
}

void frmDbClean::getTables()
{
    if (!dbClean->getOk()) {
        return;
    }

    //取出数据库对应的表集合
    QStringList tables = dbClean->getDatabase().tables();
    ui->cboxTables->clear();
    ui->cboxTables->addItems(tables);
    if (tables.contains("LogInfo")) {
        ui->cboxTables->setCurrentIndex(ui->cboxTables->findText("LogInfo"));
    }
}

void frmDbClean::on_btnDo_clicked()
{
    if (!dbClean->getOk()) {
        return;
    }

    QString tableName = ui->cboxTables->currentText();
    QString countName = ui->txtCountName->text();
    QString orderSql = ui->txtOrderSql->text();
    dbClean->setTableName(tableName);
    dbClean->setCountName(countName);
    dbClean->setWhereColumnName(countName);
    dbClean->setOrderSql(orderSql);

    //最大保留记录数量
    dbClean->setMaxCount(AppConfig::Count3 * 10000);
    //清理间隔
    dbClean->setCleanInterval(AppConfig::Interval3);
    dbClean->cleanData();
}

到此这篇关于Qt数据库应用之实现通用数据库清理的文章就介绍到这了,更多相关Qt数据库清理内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • C++按照正态分布来排列整型数组元素

    C++按照正态分布来排列整型数组元素

    这篇文章主要介绍了C++按照正态分布来排列整型数组元素的相关资料,需要的朋友可以参考下
    2016-07-07
  • C语言技巧提升之回调函数的掌握

    C语言技巧提升之回调函数的掌握

    这篇文章主要为大家详细介绍一下C语言中回调函数的用法教程,文中的示例代码讲解详细,对我们学习C语言有一定帮助,需要的可以参考一下
    2022-12-12
  • C++图书管理系统程序源代码

    C++图书管理系统程序源代码

    这篇文章主要为大家详细介绍了C++图书管理系统程序源代码,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2022-03-03
  • C++基础入门教程(八):函数指针

    C++基础入门教程(八):函数指针

    这篇文章主要介绍了C++基础入门教程(八):函数指针,本文讲解了函数原型和函数定义、const限定符与指针、函数的指针参数、为什么要使用指针参数等内容,需要的朋友可以参考下
    2014-11-11
  • C语言扫雷详细代码分步实现流程

    C语言扫雷详细代码分步实现流程

    扫雷是电脑上很经典的游戏,特意去网上玩了一会,几次调试之后,发现这个比三子棋要复杂一些,尤其是空白展开算法上和堵截玩家有的一拼,与实际游戏差别较大,不能使用光标,下面来详解每一步分析
    2022-02-02
  • C语言读取文件流的相关函数用法简介

    C语言读取文件流的相关函数用法简介

    这篇文章主要介绍了C语言读取文件流的相关函数用法简介,包括fread()函数和feof()函数的使用,需要的朋友可以参考下
    2015-08-08
  • C++之预处理功能详解

    C++之预处理功能详解

    预处理器是 C++ 编译器提供的一个工具,允许程序员在编译之前对源代码文件做出修改,本文将给大家通过代码示例详细介绍C++的预处理功能,需要的朋友可以参考下
    2023-05-05
  • 详解在VScode中添加代码块(含C++指令生成代码)

    详解在VScode中添加代码块(含C++指令生成代码)

    这篇文章主要介绍了详解在VScode中添加代码块(含C++指令生成代码),文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2021-04-04
  • 实现Dijkstra算法最短路径问题详解

    实现Dijkstra算法最短路径问题详解

    这篇文章主要介绍了实现Dijkstra算法最短路径问题详解,本篇文章通过简要的案例,讲解了该项技术的了解与使用,以下就是详细内容,需要的朋友可以参考下
    2021-08-08
  • C语言进阶教程之字符串&内存函数

    C语言进阶教程之字符串&内存函数

    对于字符,在计算机内部都是用数字(字符编码)来表示的,而字符串是“字符连续排列”的一种表现,这篇文章主要给大家介绍了关于C语言进阶教程之字符串&内存函数的相关资料,需要的朋友可以参考下
    2021-09-09

最新评论