mysql 如何插入随机字符串数据的实现方法

 更新时间:2016年09月10日 13:39:48   投稿:mdxy-dxy  
这篇文章主要介绍了mysql 如何插入随机字符串数据的实现方法,需要的朋友可以参考下

应用场景:
有时需要测试插入数据库的记录来测试,所以就非常需要用到这些脚本。

创建表:

CREATE TABLE `tables_a` (
  `id` int(10) NOT NULL DEFAULT '0',
  `name` char(50) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

创建产生随机字符串的函数:

set global log_bin_trust_function_creators = 1;
DROP FUNCTION IF EXISTS rand_string;
DELIMITER //
CREATE FUNCTION rand_string(n INT)
RETURNS VARCHAR(255)
BEGIN
        DECLARE chars_str varchar(100) DEFAULT 'abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789';
        DECLARE return_str varchar(255) DEFAULT '';
        DECLARE i INT DEFAULT 0;
        WHILE i < n DO
                SET return_str = concat(return_str,substring(chars_str , FLOOR(1 + RAND()*62 ),1));
                SET i = i +1;
        END WHILE;
        RETURN return_str;
END //
delimiter ; 

创建插入表的procedure,x是从多少开始。y是多少结束,z是产生多少位随机数

delimiter // 
create procedure test(x int(10),y int(10),z int(10))
begin
  DECLARE i INT DEFAULT x;
  while i<y do
 insert into tables_a values(i,rand_string(z));
 set i=i+1;
 end whi

mysql随机数据生成并插入

dblp数据库中引用信息很少,平均一篇论文引用0.2篇。使用dblp做实验数据集的某篇论文提到,可以随机添加引用信息。受此启发,我打算为每一篇论文都添加20篇随机引用,于是就写出了如下的sql语句:

String sql = "insert into citation(pId1,pId2) values( (select pId from papers limit ?,1),(select pId from papers limit ?,1))";

使用preparedstatement,以batch方式提交数据库。

第一个参数是paper的rowid信息,从0~N(N为papers的total row)。第二个参数是Java生成的20个不重复的随机数,范围是0-N。然后嵌套在for循环里,每1w条数据提交给数据库一次。

这段代码巧妙运用limit的特性完成随机选tuple,本来是暗暗得意的。自以为把所有的select都交给数据库去做了,省去了通过jdbc的多次连接,应该是很快就可以运行完成的。哪知,插了不过10w条(10000*10)数据,就耗时22分钟之多。最终的实验需要插入400w条数据,也就是说要花14h左右。

于是开始反思,不断做写类似的程序查找时间瓶颈,最终锁定在select limit,这个操作极耗时间。当初选用limit,原因在于:随机生成的是数字,要把数字映射到tuple,也就是对应到rowid;由于papers表的主键并非递增int,所以默认的rowid不存在。后来一想,可以在papers表上先增加一个auto_increment的temp列,完成citation插入后再删除。这样sql语句就改成了:

String sql = "insert into citation(pId1,pId2) values((select pId from papers where temp=?), (select pId from papers where temp=?))";

再一次插入10w条数据,耗时38s。效率大幅提高,但不知道还可不可以进一步优化。

相关文章

  • MySQL GTID全面总结

    MySQL GTID全面总结

    这篇文章主要介绍了MySQL GTID的相关资料,帮助大家更好的理解和学习使用MySQL数据库,感兴趣的朋友可以了解下
    2021-03-03
  • Linux下mysql异地自动备份的方法

    Linux下mysql异地自动备份的方法

    这篇文章主要介绍了Linux下mysql异地自动备份的方法,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2020-06-06
  • MySQL的字符集操作命令总结

    MySQL的字符集操作命令总结

    这篇文章主要介绍了MySQL的字符集操作命令总结,包括各种查看数据库、数据表等查询命令,需要的朋友可以参考下
    2014-04-04
  • MySQL慢查询分析工具pt-query-digest详解

    MySQL慢查询分析工具pt-query-digest详解

    pt-query-digest是用于分析mysql慢查询的一个工具,它可以分析binlog、General log、slowlog,也可以通过SHOWPROCESSLIST或者通过tcpdump抓取的MySQL协议数据来进行分析,这篇文章主要介绍了MySQL慢查询分析工具pt-query-digest详解,需要的朋友可以参考下
    2023-01-01
  • MySQL学习第一天 第一次接触MySQL

    MySQL学习第一天 第一次接触MySQL

    这篇文章是学习MySQL的第一篇文章,开启了探究MySQL的奇妙旅程,内容主要是对MySQL的基础知识进行学习,了解,感兴趣的小伙伴们可以参考一下
    2016-05-05
  • MySQL8.0+版本1045错误的问题及解决办法

    MySQL8.0+版本1045错误的问题及解决办法

    这篇文章主要介绍了MySQL8.0+版本1045错误解决办法,使用命令行登录MySQL报错1045 Access denied for user ‘root’@‘localhost’ (using password:YES),折腾半天才解决问题,需要的朋友可以参考下
    2022-08-08
  • MySQL 5.7双主同步部分表的实现过程详解

    MySQL 5.7双主同步部分表的实现过程详解

    这篇文章主要给大家介绍了关于MySQL 5.7双主同步部分表实现的相关资料,文中通过示例代码介绍的非常详细,对大家学习或者使用mysql具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧。
    2017-09-09
  • MySQL UPDATE多表关联更新的实现示例

    MySQL UPDATE多表关联更新的实现示例

    MySQL可以基于多表查询更新数据,本文主要介绍了MySQL UPDATE多表关联更新的实现示例,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2023-08-08
  • MySQL教程数据定义语言DDL示例详解

    MySQL教程数据定义语言DDL示例详解

    这篇文章主要为大家介绍了MySQL教程中什么是数据定义语言DDL的示例详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步
    2021-10-10
  • MyEclipse通过JDBC连接MySQL数据库基本介绍

    MyEclipse通过JDBC连接MySQL数据库基本介绍

    MyEclipse使用Java 通过JDBC连接MySQL数据库的基本测试前提是MyEclipse已经能正常开发Java工程
    2012-11-11

最新评论