golang 实现时间滑动窗口的示例代码

 更新时间:2022年10月15日 12:21:24   作者:wangxiaoangg  
滑动时间窗口就是把一段时间片分为多个样本窗口,可以通过更细粒度对数据进行统计,这篇文章主要介绍了golang 实现时间滑动窗口,需要的朋友可以参考下

一 概念

固定窗口就像是滑动窗口的一个特例,固定窗口是大小固定且不能随着时间而变化的。

滑动时间窗口就是把一段时间片分为多个样本窗口,可以通过更细粒度对数据进行统计。然后计算对应的时间落在那个窗口上,来对数据统计;滑动时间窗口,随着时间流失,最开始的样本窗口将会失效,同时会生成新的样本窗口。

例如 我们将1s划分为4个样本窗口,每个样本窗口对应250ms。

二 go-zero中的滑动窗口实现

1.Bucket 样本窗口

Bucket用于记录每个样本窗口的值

// Bucket defines the bucket that holds sum and num of additions.
type Bucket struct {
	Sum   float64 //样本窗口的值
	Count int64   //样本窗口被add的次数
}
 
func (b *Bucket) add(v float64) {
	b.Sum += v
	b.Count++
}
 
//重置样本窗口,样本窗口过期时
func (b *Bucket) reset() {
	b.Sum = 0
	b.Count = 0
}

2. window 滑动窗口

 type window struct {
	buckets []*Bucket //样本窗口
	size    int //样本窗口个数
}
 
func newWindow(size int) *window {
	buckets := make([]*Bucket, size)
	for i := 0; i < size; i++ {
		buckets[i] = new(Bucket)
	}
	return &window{
		buckets: buckets,
		size:    size,
	}
}
func (w *window) add(offset int, v float64) {
	w.buckets[offset%w.size].add(v)
}
 
func (w *window) reduce(start, count int, fn func(b *Bucket)) {
	for i := 0; i < count; i++ {
		fn(w.buckets[(start+i)%w.size])
	}
}
 
func (w *window) resetBucket(offset int) {
	w.buckets[offset%w.size].reset()
}

3. RollingWindow窗口

bucket和window的实现都很简单,逻辑很好理解。

RollingWindow相对复杂一些。

当add值时需要如下操作:

  • 计算已经过期的bucket(样本窗口),将已经过期的bucket重置。
  • 计算offset,当前add操作应当记录到哪个bucket中。
 
type (
	// RollingWindowOption let callers customize the RollingWindow.
	RollingWindowOption func(rollingWindow *RollingWindow)
 
	// RollingWindow defines a rolling window to calculate the events in buckets with time interval.
	RollingWindow struct {
		lock          sync.RWMutex
		size          int
		win           *window
		interval      time.Duration
		offset        int
		ignoreCurrent bool
		lastTime      time.Duration // start time of the last bucket
	}
)
 
// NewRollingWindow returns a RollingWindow that with size buckets and time interval,
// use opts to customize the RollingWindow.
func NewRollingWindow(size int, interval time.Duration, opts ...RollingWindowOption) *RollingWindow {
	if size < 1 {
		panic("size must be greater than 0")
	}
 
	w := &RollingWindow{
		size:     size,
		win:      newWindow(size),
		interval: interval,
		lastTime: timex.Now(),
	}
	for _, opt := range opts {
		opt(w)
	}
	return w
}
 
// Add adds value to current bucket.
func (rw *RollingWindow) Add(v float64) {
	rw.lock.Lock()
	defer rw.lock.Unlock()
	rw.updateOffset()
	rw.win.add(rw.offset, v)
}
 
// Reduce runs fn on all buckets, ignore current bucket if ignoreCurrent was set.
func (rw *RollingWindow) Reduce(fn func(b *Bucket)) {
	rw.lock.RLock()
	defer rw.lock.RUnlock()
 
	var diff int
	//获取跨度,并计算还有几个bucket还在窗口期内
	span := rw.span()
	// ignore current bucket, because of partial data
	if span == 0 && rw.ignoreCurrent {
		diff = rw.size - 1
	} else {
		diff = rw.size - span
	}
	if diff > 0 {
		offset := (rw.offset + span + 1) % rw.size
		rw.win.reduce(offset, diff, fn)
	}
}
 
//距离上次add操作跨度,
//例如 lastTime = 1s, 当前时间1777ms。样本窗口时间250ms,那么跨度为3个样本窗口
func (rw *RollingWindow) span() int {
	offset := int(timex.Since(rw.lastTime) / rw.interval)
	if 0 <= offset && offset < rw.size {
		return offset
	}
 
	return rw.size
}
 
//g
func (rw *RollingWindow) updateOffset() {
	span := rw.span()
	if span <= 0 {
		return
	}
 
	offset := rw.offset
	// reset expired buckets ,重置已经超时的bucket
	for i := 0; i < span; i++ {
		rw.win.resetBucket((offset + i + 1) % rw.size)
	}
 
	rw.offset = (offset + span) % rw.size
	now := timex.Now()
	//和样本窗口时间对齐
	rw.lastTime = now - (now-rw.lastTime)%rw.interval
}

三 使用

//1.新建一个4样本窗口,每个样本窗口250ms
rollingWindow:= NewRollingWindow(4, time.Millisecond*250,IgnoreCurrentBucket())
 
//2.add 
rollingWindow.Add(1)
rollingWindow.Add(2)
time.Sleep(time.Millisecond*250)
 
rollingWindow.Add(3)
rollingWindow.Add(4)
 
 
//3.获取滑动窗口的值
 
var Sum float64
var total int64
rollingWindow.Reduce(func(b *collection.Bucket) {
		Sum += int64(b.Sum)
		total += b.Count
	})

到此这篇关于golang 实现时间滑动窗口的文章就介绍到这了,更多相关golang 时间滑动窗口内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • Golang熔断器的开发过程详解

    Golang熔断器的开发过程详解

    Golang熔断器是一种用于处理分布式系统中服务调用的故障保护机制,它可以防止故障服务的连锁反应,提高系统的稳定性和可靠性,本文将给大家详细的介绍一下Golang熔断器的开发过程,需要的朋友可以参考下
    2023-09-09
  • go语言 bool类型的使用操作

    go语言 bool类型的使用操作

    这篇文章主要介绍了go语言 bool类型的使用操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-12-12
  • golang实现数组分割的示例代码

    golang实现数组分割的示例代码

    本文主要介绍了golang实现数组分割的示例代码,要求把数组分割成多个正整数大小的数组,文中通过示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2021-12-12
  • Go语言中init函数与匿名函数使用浅析

    Go语言中init函数与匿名函数使用浅析

    这篇文章主要介绍了Go语言中init函数与匿名函数使用浅析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习吧
    2023-01-01
  • 多阶段构建优化Go 程序Docker镜像

    多阶段构建优化Go 程序Docker镜像

    这篇文章主要为大家介绍了多阶段构建优化Go 程序Docker镜像,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2022-08-08
  • 从生成CRD到编写自定义控制器教程示例

    从生成CRD到编写自定义控制器教程示例

    这篇文章主要为大家介绍了从生成CRD到编写自定义控制器的教程示例,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2022-05-05
  • 详解go-zero如何实现计数器限流

    详解go-zero如何实现计数器限流

    这篇文章主要来和大家说说限流,主要包括计数器限流算法以及具体的代码实现,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下
    2023-08-08
  • 详解Go hash算法的支持

    详解Go hash算法的支持

    这篇文章主要介绍了详解Go hash算法的支持,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2018-09-09
  • Go语言实现本地缓存的策略详解

    Go语言实现本地缓存的策略详解

    今天给大家分享的是Go语言本地缓存的一些内容,主要是结合bigcache和fastcache两个优秀的开源代码库,总结一些设计思路和感悟,文章通过代码示例介绍的非常详细,需要的朋友可以参考下
    2023-07-07
  • Go并发调用的超时处理的方法

    Go并发调用的超时处理的方法

    这篇文章主要介绍了Go并发调用的超时处理的方法,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2019-01-01

最新评论