线上问题排查之golang使用json进行对象copy

更新时间：2022年06月20日 08:43:46 作者： whoops本尊

这篇文章主要介绍了线上问题排查之golang使用json进行对象copy，文章围绕golang使用json进行对象copy的内存溢出问题排查展开详细内容需要的小伙伴可以参考一下

前言：

记一次golang使用json进行对象copy的内存溢出问题排查

问题现象:新增的功能,灰度部署在k8s集群的服务,发现机器老是被打崩,因为是灰度,且控制了qps在100多,但是机器却崩溃。通过对灰度机器的监控。发现是内存太高导致机器挂掉。此次回顾一下排查历程。

增加GC次数,从而可以通过pprof去抓取内存使用情况：

将程序的GOGC由原先的2000改为200,从而增加GC次数,然后去抓取内存消耗情况

第一步操作完成,经验证机器可以正常运行,借助gops导出cpu运行图和内存消耗情况
①将编译好的linux版本的gops导入到目标机器上
②执行命令 gops 查看正在运行的程序的pid

③执行命令获取cpu运行状态 gops pprof-cpu 27
④执行命令获取内存消耗情况 gops pprof-heap 27

执行上述两个命令后,其会生成文件在tmp目录下：

//⑤将生成的文档下载到本地后,分别执行 
go tool pprof -http=:8080 cpu_profile*
go tool pprof -http=:8081 heap_profile*
//在本地生成可视化

内存的火焰图如下：

cpu的火焰图如下：

通过对火焰图的分析,可以明显的看到json.Marshal 和 json.Unmarshal 有明显的占用问题。跟着火焰图去找寻调用此处的该方法,定位到

此处就不列出runtime.Context对象的具体情况了,你可以理解为里面多处指针,多处切片。反正就是结构体很大【PS:改天针对大结构体出个压测结果】

发现问题后更换如下代码进行对象copy,注意此拷贝结构体不能有小写字母开头。另外建议尽量少进行对象copy,尽可能的细化到需要copy的地方

/**
 * @Description:深拷贝数据 (慎用--结构体不能有小写字母开头)
 */
func DeepCopy(dst, src interface{}) error {
   var buf bytes.Buffer
   if err := gob.NewEncoder(&buf).Encode(src); err != nil {
      return err
   }
   return gob.NewDecoder(bytes.NewBuffer(buf.Bytes())).Decode(dst)
}

到此这篇关于线上问题排查之golang使用json进行对象copy的文章就介绍到这了,更多相关 golang copy内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

golang移除数组中重复的元素操作
这篇文章主要介绍了golang移除数组中重复的元素操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2020-12-12
Golang反射获取结构体的值和修改值的代码示例
这篇文章主要给大家介绍了golang反射获取结构体的值和修改值的代码示例及演示效果,对我们的学习或工作有一定的帮助,感兴趣的同学可以参考阅读本文
2023-08-08
详解Golang使用MongoDB通用操作
这篇文章主要介绍了详解Golang使用MongoDB通用操作,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
2020-12-12
Go在GoLand中引用github.com中的第三方包具体步骤
这篇文章主要给大家介绍了关于Go在GoLand中引用github.com中第三方包的具体步骤,文中通过图文介绍的非常详细,对大家学习或者使用Go具有一定的参考价值,需要的朋友可以参考下
2024-01-01
Go语言接口的用法详解
本文详细讲解了Go语言接口的用法，文中通过示例代码介绍的非常详细。对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
2022-07-07
Go实现map转json的示例详解
这篇文章主要为大家详细介绍了如何利用Go语言实现map转json的功能,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下
2023-09-09
Go语言中log日志库的介绍
本文给大家介绍Go语言中log日志库的概念使用技巧，log包定义了Logger类型，该类型提供了一些格式化输出的方法，本文通过示例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友参考下吧
2021-10-10
Golang利用casbin实现权限验证详解
Casbin是一个强大的、高效的开源访问控制框架，其权限管理机制支持多种访问控制模型，Casbin只负责访问控制。本文将利用casbin实现权限验证功能，需要的可以参考一下
2023-02-02
Golang构建WebSocket服务器和客户端的示例详解
这篇文章主要为大家详细介绍了如何使用Go语言构建WebSocket服务器和客户端,以实现双向通信,文中的示例代码讲解详细,需要的小伙伴可以参考一下
2023-11-11
Golang通脉之map详情
这篇文章主要介绍了Golang通脉之map，Go语言中提供的映射关系容器为map，其内部使用散列表（hash）实现，map 是一种无序的键值对的集合。map 最重要的一点是通过 key 来快速检索数据，key 类似于索引，指向数据的值 map 是一种集合，所以可以像迭代数组和切片那样迭代它
2021-10-10