Go 内存分配管理

一、问题引入

现象:在实际工作项目中，golang项目经常内存报警，现象为在流量增大，或传入很大文件的情况下算法worker内存降低到一定限度之后（100Mb左右），过一段时间才能内存才能自动恢复。

• Go内存管理机制，Go自己本身会管理内存，释放的内存不会立即归还给操作系统，在一定时间之后才会归还给操作系统，过早的释放内存归还给操作系统会降低性能。
• 内存泄漏，Go调用CGO算法模块时，导致了内存泄漏
• 进程占用的内存过大导致进程挂掉，并释放了内存，supervisor自动重启了进程，内存曲线恢复正常

二、几个基本概念

1.RSS，VSS解释

对于RAM内存的使用，实际是os kernel来控制的。

• RSS(Resident Set Size)表示该进程分配的占用RAM的内存大小，不包括交互分区内存，包括共享库占用的内存，栈内存，堆内存
• VSZ(Virtual Memory Size)表示该进程分配的虚拟内存大小，包括进程可以访问的所有内存，包括交换分区，共享内存

举例说明RSS，VSS：

如果一个进程，程序的大小有 500K，链接的共享库大小有 2500K，堆栈内存共有 200K，其中 100K 进入了交换分区。进程实际加载了共享库中的 1000K 的内容，以及自己程序的中的 400K 的内容。请问 RSS 和 VSZ 应是多少？RSS: 400K + 1000K + 100K = 1500K VSZ: 500K + 2500K + 200K = 3200K

三、Go内存管理机制

1.Go runtime内存延迟归还

Go是一种高级语言，自带GC。内存的分配和回收都是自动的被垃圾回收器所执行，当某个对象内存变成不可达状态时(unreachable)。垃圾回收器则将其回收。

Go中空闲的内存，并不意味着立即归还给操作系统。空闲的内存可以被重新利用。因此Go语言中，即使某些对象被释放了，操作系统的内存使用并没有下降。这是因为Go的内存管理器，将其标为free，并可以重新利用。

Go runtime不会立刻归还内存给操作系统，内存在大约5分钟左右没有被使用时，才会归还给操作系统。

例如：在处理Http请求时读取HttpBody到Bytes.Buffer中，处理完HttpBody的内容之后，并不会立刻释放内存给OS，而是将这些内存对下一个Http请求进行内存的复用。

编写如下：简单的http服务，并使用ab进行压测可以验证Go gc的延迟归还内存给操作系统：

func main() {  
    http.HandleFunc("/bar", func(w http.ResponseWriter, r *http.Request) {  
        fmt.Fprintf(w, "Hello, %q", html.EscapeString(r.URL.Path))  
    })  

    http.ListenAndServe(":8010", nil)  

    fmt.Println("hello")  
}  

初始：

$ ps -p 563 -v  
  PID TTY      STAT   TIME  MAJFL   TRS   DRS   RSS %MEM COMMAND  
  563 pts/19   SNl    0:27      0  2100 359203  3480  0.1 ./http  

压测后：

ab -n 1000000 -c 1000 http://10.104.7.46:8010/bar

$ ps -p 563 -v  
  PID TTY      STAT   TIME  MAJFL   TRS   DRS   RSS %MEM COMMAND  
  563 pts/19   SNl    0:27      0  2100 359203 12908  0.1 ./http  

 5min后：

$ ps -p 563 -v  
  PID TTY      STAT   TIME  MAJFL   TRS   DRS   RSS %MEM COMMAND  
  563 pts/19   SNl    0:27      0  2100 359203 4816  0.0 ./http  

可以看到RSS由3480到12908在到4816，结合free -m可以看到内存一样的变化，因此验证了golang的内存管理的延迟归还特性。

2.强制归还内存

debug.FreeOSMemory()

该函数强制尽可能多的将内存归还给操作系统。不推荐手动调用释放内存，

FreeOSMemory

的操作在后台进程runtime来负责执行，定期归还内存给操作系统。

到此这篇关于Go 内存分配管理的文章就介绍到这了,更多相关Go 内存管理内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

最新评论