如何向redis中写入大量的数据

更新时间：2025年08月06日 10:09:48 作者：及时机芯

文章介绍了通过Python脚本生成Redis命令并输出至文件,再用Shell脚本批量执行的流程,强调Pipeline技术可提升批量写入效率,并说明如何验证数据插入成功

1.编写Python脚本，生成redis命令

redis_info.py

#!/usr/bin/python
for i in range(5000000): #循环的数量
        print 'set name'+str(i),'hello'+str(i) #str(i)将int类型转换为str类型，否则不能进行字符串拼接

2.运行python脚本输出到redis_comm.txt文件中

python redis_info.py > redis_comm.txt

生成一个redis_comm.txt文件

head -n 10 redis_comm.txt 
set name0 hello0
set name1 hello1
set name2 hello2
set name3 hello3
set name4 hello4
set name5 hello5
set name6 hello6
set name7 hello7
set name8 hello8
set name9 hello9

3.将redis命令生成Redis Protocol

编写脚本redis_data.sh

#!/bin/bash

while read CMD; do
  # each command begins with *{number arguments in command}

  XS=($CMD); printf "*${#XS[@]}
"
  # for each argument, we append ${length}
{argument}

  for X in $CMD; do printf "$${#X}
$X
"; done
done < redis_comm.txt

4.运行shell脚本

sh redis_data.sh > redis_data.txt
head -n 10 redis_data.txt 
*3
$3
set
$5
name0
$6
hello0
*3
$3
set

5.管道（Pipeline）就是为了改善这个情况的

利用管道技术，客户端可以一次性发送多个请求而不用等待服务器的响应，待所有命令都发送完后再一次性读取服务的响应。

 cat redis_data.txt |redis-cli -h 192.168.102.95 --pipe

直接就可以运行了

6.验证，去查看数据是否插入成功

info查看

总结

以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

redis实现共同好友的思路详解
微信朋友圈大家都玩过吧，那么朋友圈的点赞、评论只能看到自己好友的信息是怎么操作的呢？下面通过本文给大家分享下此功能的实现流程，对redis实现共同好友的方法感兴趣的朋友一起看看吧
2021-05-05
Redis的Zset类型及相关命令详细讲解
这篇文章主要介绍了Redis的Zset类型及相关命令的相关资料,有序集合Zset是一种Redis数据结构,它类似于集合Set,但每个元素都有一个关联的分数score,并且可以根据分数对元素进行排序,需要的朋友可以参考下
2025-01-01
Redis 缓存击穿问题及解决方案
缓存击穿是指在高并发环境下,大量请求同时访问缓存中不存在的数据,导致这些请求穿透到数据库,本文主要介绍了Redis缓存击穿问题及解决方案
2023-12-12
基于Redis实现每日登录失败次数限制
这篇文章主要介绍了通过redis实现每日登录失败次数限制的问题,通过redis记录登录失败的次数,以用户的username为key，本文给出了实例代码，需要的朋友可以参考下
2019-08-08
Redis用GEO实现附近的人功能
GEO就是Geolocation的简写形式,代表地理坐标,这篇文章主要介绍了Redis用GEO实现附近的人功能,需要的朋友可以参考下
2024-08-08
通过docker和docker-compose安装redis两种方式详解
这篇文章主要介绍了通过docker和docker-compose安装redis的两种方式,Docker安装方式包括拉取镜像、查看本地镜像、运行容器和测试连接,Docker Compose安装方式包括目录结构、配置文件、启动和关闭容器、检查启动情况以及查看CPU和内存使用状态,需要的朋友可以参考下
2024-12-12
浅析Redis如何保证数据不丢失
Redis是一种Nosql类型的数据存储,全称Remote Dictionary Server,也就是远程字典服务器,本文主要来和大家讨论一下Redis如何保证数据不丢失,需要的可以参考下
2024-02-02
浅析Redis分布式锁
本篇文章通过实例给大家讲解了Redis分布式锁工作原理以及用法分享，有需要的朋友参考学习下吧。
2017-12-12
Redis数据迁移RedisShake的实现方法
本文主要介绍了Redis数据迁移RedisShake的实现方法,文中通过示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
2022-04-04
Redis分布式限流组件设计与使用实例
本文主要讲解基于自定义注解+Aop+反射+Redis+Lua表达式实现的限流设计方案。实现的限流设计与实际使用。具有一定的参考价值，感兴趣的小伙伴们可以参考一下
2021-08-08