go实现限流功能示例
引言
在我们日常维护中，经常有爬虫进行爬取网页，少则1秒钟请求数十次，多则达百次，严重消耗了服务器带宽，且影响正常使用者，好在nginx可以配合lua可以完成类似的需求，本次我们将使用go来完成本需求。
需求背景
在我们日常维护中，可能需要这样一种工具，来对某些路由，对特定IP或者用户ID,在特定时间内，限制最大访问次数，这样有效的避免服务器带宽资源的浪费的同时也能接入更多用户请求，本次使用go来做一个类似的。
web demo搭建
我们先来使用SampleHttp编写一个最简单的web服务器，定义路由queryAll，收到后，假设将返回客户端1w字节的数据信息。
在启动web服务器后，我们使用curl进行测试
命令：
curl 127.0.0.1:8083/queryAll
限制访问次数编写
在上述整体需求的情况下，我们需要编写在规定时间限制访问次数的需求，这里我们为了方便，使用ip来作为限制条件，其核心功能分类大致分为：
- 从未访问过
web服务器 - 访问过
web服务器，在规定时间内没有超出限制 - 访问过
web服务器，在在规定时间内超出了限制 - 访问过
web服务器，时间间隔超过了规定时间
如上分类，除了第三种需要限流外，其他则视为正常访问即可。
核心存储，我们可以选择go map，其中key为ip，value为结构体，该结构体包含访问次数和创建间戳。
其定义如下
我们来根据如上定义的核心功能来编写程序
从未访问过服务器
我们根据map中是否存在这个key来判断，如
_, ok := visitHashMap[ip]; if !ok {
// 如果没有该ip的访问次数,则新增记录
}
访问过服务器，在规定时间超过了限制
if time.Now().Unix()-visit.createUnixTime >= interval*60 {
// 在规定时间超过了限制，需要重新计算阈值
}
超过最大允许访问数
if visitHashMap[ip].number >= maxNum {
// 超过允许最大访问次数
}
整理为其核心函数如下
功能测试
我们在定义路由地方，将来访者IP传入，就可以根据其返回的bool值来判断是否需要限制访问了。
其main函数定义如下:
func main() {
SampleHttp.Route("get","/queryAll", func(info *SampleHttp.HttpInfo) {
ip := strings.Split(info.RemoteIP,":")[0]
if ! limits(ip) {
info.Write([]byte(fmt.Sprintf("%s 已经被限制访问，在%d分钟内，访问达到%d次",time.Now(),interval,visitHashMap[ip].number)))
return
}
info.Write([]byte(fmt.Sprintf("%s 收到queryAll请求,开始查询,返回1W字节数据信息...,统计信息: 在%d分钟内，访问达到%d次",time.Now(),interval,visitHashMap[ip].number)))
})
visitHashMap = make(map[string]visitInfo,0)
SampleHttp.StartServer("0.0.0.0:8083")
}
我们将开启服务器来测试一下
通过上述执行结果图，可以看到，当1分钟内访问次数超过10次后，就被限制访问了，而从第一次访问时间到目前访问时间间隔达到1分钟以上后，限制就被解除了，可见功能已经完成了。
总结
如上只是实现了这种方法而已，在实际项目中，还需要详细的打磨才行，不然执行效率肯定堪忧，怎么样，限制这个看着好玩吧，快来试试吧，相关代码已经放置到了gitee上。
以上就是go实现限流功能示例的详细内容，更多关于go限流功能的资料请关注脚本之家其它相关文章！
相关文章
缓存的大小是有限的,当添加数据发现剩余缓存不够时,需要淘汰缓存中的部分数据,本文主要介绍了Go语言实现lru淘汰策略和超时过期,感兴趣的可以了解一下2024-02-02
这篇文章主要介绍了Go 验证字符串中是否包含中文,本文通过实例代码给大家介绍的非常详细，具有一定的参考借鉴价值，需要的朋友可以参考下2020-01-01
本文主要介绍了Golang Map中的key为什么是无序的，文中通过示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2022-02-02
匿名变量是一种特殊类型的变量,可以简化代码并提高可读性,本文将为大家详细介绍一下golang中匿名变量的定义、特性和使用方法,需要的可以参考下2023-09-09
这篇文章主要介绍了如何使用Go和Excelize构建电子表格，文章围绕主题展开详细的内容介绍，具有一定的参考价值，需要的小伙伴可以参考一下2022-09-09
Go语言同步等待组sync.WaitGroup结构体对象方法详解
这篇文章主要为大家介绍了Go语言同步等待组sync.WaitGroup结构体对象方法详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2022-08-08
在Go语言编程中,`omitempty`标记用于JSON编解码过程中控制字段是否被包含,当结构体字段标记为`omitempty`且字段值为空时,该字段不会出现在生成的JSON中,有助于优化JSON结构和减小数据体积,通过具体示例解释了`omitempty`的工作机制和实际效果2024-09-09
在 Go 语言中,将 IP 地址转换为整数涉及到解析 IP 地址并处理其字节表示,本文给大家介绍了Golang实现IP地址转整数的方法,文中有详细的代码示例供大家参考,需要的朋友可以参考下2024-02-02
这篇文章主要介绍了Go中的nil切片和空切片区别详解，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2021-03-03
这篇文章主要介绍了Go实现比较时间大小的方法和示例，非常的简单实用，有需要的小伙伴可以参考下。2015-04-04
最新评论