利用Python编写一个简单的缓存系统

更新时间：2023年04月19日 09:54:19 作者：真的不能告诉你我的名字

今天来做一个最简单的例子，利用写一个最简单的缓存系统，以key``value的方式保持数据，并且需要将内容中的数据落地到文件，以便下次启动的时候，将文件的内容加载进内存中来，感兴趣的可以了解一下

项目展示

该demo将分为2个部分展示，第一个部分我们会写入一些key和value进入到缓存系统中，而后关闭程序。

第二部分则会去获取第一个部分写入的key的名称。

第一部分main方法如下:

def main() -> None:
    c = dbCache("db.cache")
    c.cacheSetting(queueMaxKeys=3,ageSec=3)
    c.set("name","pdudo")
    c.set("site","juejin")
    c.set("hello","word")
    c.set("hello","pdudo")

其中,dbCache是我们定义的类，而set是写入方法，cacheSetting设置一些基础环境变量，例如:

queueMaxKeys: 需要制定增删改缓存队列，类型为int，如果满了，则立即落地到磁盘中。
ageSec: 间隔时间，参数为秒数，若操作第一个key和操作第二个key时间大于该设置，则落地到磁盘。

set则是写入方法，参数为key和value。

运行后，代码效果如下:

由于我们只有set，所以不会输出任何信息，上述open file error 是正常的警告信息，不用管它。

第一部分操作完毕了，我们可以修改第二部分，使用get去获取第一次存储的数据。

修改main如下：

def main() -> None:
    c = dbCache("db.cache")
    c.cacheSetting(queueMaxKeys=3,ageSec=3)
    print(c.get("name"))
    print(c.get("hello"))
    print(c.get("site"))

运行后，效果如下：

由此可以验证，从磁盘读取文件并且加载进内存，没什么问题。

除此之外，该库还支持其他操作，例如：

# 定义一个缓存对象
c = dbCache("db.cache")
# 配置环境变量
c.cacheSetting(queueMaxKeys=3,ageSec=3)
# 写
c.set("name","pdudo")
# 读
print(c.get("name"))
# 修改
c.update("name", "juejin")
# 删除
c.delete("name")

接下来，我们就来看下，如何一步一步完成这个最简单的缓存系统。

不用落地的缓存系统系统应该如何实现

在python中，给我们提供了很多基础的数据类型，例如列表、字典等。所以说，就没必要自己在定义一套属于自己的数据类型了，可以直接使用现有的数据类型，例如本篇文章所使用的就是字典，这里简单的铺垫一下字典的增删改查。

铺垫python字典基本操作

定义一个空的字典a，可以使用如下代码:

a = {}

写入key可以直接使用a[key] = value即可，例如:

a["name"] = "pdudo"

修改也是和上述一样的

关于查询，我们直接使用a[key]即可。

若没有这个key会抛错: KeyError: 'key'。

print(a["name"])

检查是否存在key，可以使用key in dict来判断，例如: 想判断name是否是字典a中的key，可以写为:

print("name" in a)

若存在于a中，会返回True，否则会返回False。

定义一个不用落地的缓存系统

有了上述关于字典的基本操作，我们可以将其封装一下，定义为自己的操作方法，例如:

class cacheDB():
    def __init__(self):
        #定义空的字典
        self.cache = {}
        
    #增
    def set(self,key,value):
        self.cache[key] = value
        
    #查
    def get(self,key):
        return self.cache[key]
        
    #修
    def update(self,key,value):
        self.cache[key] = value
        
   #删除
   def delete(self,key):
       del self.cache[key]
       
def main():
    c = cacheDB()
    c. set("name","pdudo")
    print(c.get("name"))
    c.update("name","juejin")
    print(c.get("name"))
    c.delete("name")
    
if __name__ == '__main__':
    main()

我们可以将上述方法，封装在一个class中，从而实现调用。

例如，运行之后结果为:

数据如何落地

上述，我们已经写了一个最简单的缓存系统，如果此时进程挂掉了，重新启动后，内存中的数据就都没了，所以为了避免重启后数据丢失，可以将数据定时落地到磁盘中，本篇文章所介绍的内置库为: pickle，该可可以将python对象存储到文件中，从而保存到磁盘，这个对象可以是字典、也可以是列表，我们来看下，具体方法：

将对象保存到磁盘

使用pickle的dump方法，可以将对象保持到文件中，这里举一个很简单的例子：

import pickle

list1 = ["name","juejin","hello"]

with open("test.txt","wb") as f:
    pickle.dump(list1,f)

上述代码，先引入了pickle库，而后定义了列表list1，最后打开文件，使用pickle.dump将列表对象保持到文件中，这里保存的是二进制，所以是wb模式。使用with...open方法，它可以主动在最后帮我们关闭文件句柄。

此时如我们执行脚本后，想查看一下文件，会发现是二进制格式的，例如：

将对象从磁盘中导入到内存中

上述，我们已经将对象保持到磁盘中，接下来，我们使用pickle的load方法，将磁盘数据导入到内存中来，这里同样举一个很简答的例子:

import pickle

with open("test.txt","rb") as f:
    list2 = pickle.load(f)

print(list2)

上述代码，还是先引入pickle库，而后在以二进制的模式读取文件，最后通过pickle.load方法，将数据从磁盘中导入到list2下，接着输出list2的值。

运行后，可以发现，该值就是我们上述落地到磁盘的对象:

将数据落地和缓存系统结合起来

我们已经将数据落地测试完毕了，如何和缓存系统结合起来呢？很简单，我们仅需要在程序启动时，检测一下是否有该文件，若有，则直接读取数据再并入到对象中，否则创建一个新的字典就好。

而后每次有增删改操作，都将数据落地即可，这里用新增数据函数举个例子：

class cacheDB():
    def __init__(self):
        try:
            with open("db.cache","rb") as f:
                self.cache = pickle.load(f)
        except Exception as e:
            self.cache = {}

    def set(self,key,value):
        self.cache[key] = value
        with open("db.cache","wb") as f:
            pickle.dump(self.cache,f)

上述在cacheDB的__init__ 函数中，就尝试读取本地文件db.cache，若存在，就load到内存中，若不存在，就创建一个新的字典。

这样的话，存储的数据就不会因为程序重启而丢失了。

如何保证并发安全

作为一个服务对开提供访问时，需要注意一下并发安全，当多个函数对一个变量进行操作的时候，很容易引起数据混乱，所以还是有必要加一下锁的，我们可以引入threading库来完成加锁解锁操作，其加锁和解锁代码如下：

import threading

lock = threading.Lock # 定义lock
lock.acquire() # 加锁
lock.release() # 释放锁

我们可以将次引入到代码中，例如:

import pickle
import threading

lock = threading.lock
class cacheDB():
    def __init__(self):
        try:
            with open("db.cache","rb") as f:
                self.cache = pickle.load(f)
        except Exception as e:
            self.cache={}
            
    def set(self,key,value):
        lock.acquire()
        self.cache[key] = value
        with open("db.cache","wb") as f:
            pickle.dump(self.cache,f)
        lock.release()
        
def main():
    db = cacheDB()
    
if __name__ == '__main__':
    main()

这里就不做演示了。

总结

本篇文章，介绍如何写一个最简单的缓存系统，其核心点是定义了一个字典类型来保存key/value数据，并且根据相应的逻辑，使用pickle的load方法保持到本地磁盘中，而后需要加载的时候再从本地文件加载到内容中即可，最后作为一个服务，应当考虑到并发安全的问题，给增删改方法加一个锁，从而避免并发问题。最后的最后，再将功能重复代码给踢出来，稍微润色一下，就差不多可以了。

到此这篇关于利用Python编写一个简单的缓存系统的文章就介绍到这了,更多相关Python缓存系统内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

pycharm 无法加载文件activate.ps1的原因分析及解决方法
这篇文章主要介绍了pycharm报错提示：无法加载文件\venv\Scripts\activate.ps1，因为在此系统上禁止运行脚本,解决方法终端输入get-executionpolicy，回车返回Restricted即可，需要的朋友可以参考下
2022-11-11
Python 安装setuptools和pip工具操作方法(必看)
下面小编就为大家带来一篇Python 安装setuptools和pip工具操作方法。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧
2017-05-05
Django rest framework工具包简单用法示例
这篇文章主要介绍了Django rest framework工具包简单用法,结合匿名访问控制的具体实例分析了Django rest framework工具包的注册、路由设置、视图、权限控制、配置等相关操作技巧,需要的朋友可以参考下
2018-07-07
Python接口自动化浅析登录接口测试实战
本文主要接好了python接口自动化的接口概念、接口用例设计及登录，跟随本文章来进行一个接口用例设计及登录接口测试实战，有需要的朋友可以参考下
2021-08-08
python文件的读取、写入与删除
文件是无处不在的，,无论我们使用哪种编程语言,处理文件对于每个程序员都是必不可少的,下面这篇文章主要给大家介绍了关于python文件的读取、写入与删除的相关资料,文中通过实例代码和图文介绍的非常详细,需要的朋友可以参考下
2023-06-06
python socket 聊天室实例代码详解
在本篇文章里小编给大家整理了关于python socket 聊天室的相关知识点，需要的朋友们参考下。
2019-11-11
深入浅析python中的多进程、多线程、协程
这篇文章主要介绍了深入浅析python中的多进程、多线程、协程的相关资料,非常不错，具有参考借鉴价值，需要的朋友可以参考下
2016-06-06
Python数据结构与算法中的栈详解(3)
这篇文章主要为大家详细介绍了Python中的栈，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下，希望能够给你带来帮助
2022-03-03
JupyterNotebook 输出窗口的显示效果调整方法
这篇文章主要介绍了JupyterNotebook 输出窗口的显示效果调整方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2020-04-04
Python应用开发之实现串口通信
在嵌入式开发中我们经常会用到串口，串口通信简单，使用起来方便，且适用场景多。本文为大家准备了Python实现串口通信的示例代码，需要的可以参考一下
2022-11-11