Golang HTTP 服务平滑重启及升级的思路

 更新时间:2020年04月03日 09:31:28   作者:温旭峰  
Golang HTTP服务在上线时,需要重新编译可执行文件,关闭正在运行的进程,然后再启动新的运行进程。这篇文章主要介绍了Golang HTTP 服务平滑重启及升级,需要的朋友可以参考下

Golang HTTP服务在上线时,需要重新编译可执行文件,关闭正在运行的进程,然后再启动新的运行进程。对于访问频率比较高的面向终端用户的产品,关闭、重启的过程中会出现无法访问(nginx表现为502)的情况,影响终端用户的使用体验。

实现的一般思路

  • 一般情况下,要实现平滑重启或升级,需要执行以下几个步骤:
  • 发布新的bin文件覆盖老的bin文件
  • 发送一个信号量(USR2),告诉正在运行的进程,进行重启
  • 正在运行的进程接受到信号后,以子进程的方式启动新的bin文件
  • 新进程接收并处理新的请求
  • 老进程不再接收新请求,等待所有正在处理的请求处理完成后自动退出
  • 新进程在老进程退出后,继续提供服务

选型与实践

重复造平滑重启及升级的轮子比较简单,但测试覆盖无法控制,比较耗时耗力。所以秉着不重复造轮子的思路,使用github中的三方库进行选择:

  • facebookgo/grace
  • fvbock/endless
  • jpillora/overseer

endless与grace的实现方式原理都比较类似,所以在选型初期我们以facebookgo/grace库为例集成到项目中进行测试:

func (h *Server) ListenAndServe(listenAddress string) error {
 // ....
 return gracehttp.Serve(&http.Server{
 Addr: listenAddress,
 Handler: h.httpServerMux,
 })
}

使用ab工具压测 api-publish服务进行测试,服务启动后,执行以下命令:

ab -c 10 -n 2000 http://127.0.0.1:38272/api/list

然后给进程发送USR2信号 kill -USR2 api-server-pid,可看到以下结果:

结果中 Failed requests表示在整个压测请求中没有错误的请求,这可以说明服务重启时没有中断请求的接收和处理。如果使用sleep的方式测试,可以明显的看到新进程替代老进程的过程。

supervisor的问题

实际项目中,线上服务是被supervisor启动的。如上所说的我们如果通过grace或者endless的子进程启动后退出父进程这种方式的话,存在的问题就是子进程会被1号进程接管,导致supervisor认为服务挂掉重启服务,为了避免这种问题我们需要使用master-worker的方式。

overseer这个备选库实现了master-worker的方式。简单集成方式:

return overseer.RunErr(overseer.Config{
 Address: address,
 Program: func(state overseer.State) {
 // ...
 http.Serve(state.Listener, nil)
 },
})

另外:在更新supervisor时,配置不需要更新,但重启服务的命令不能使用supervisor restart,需要使用supervisor signal sigusr2 api的命令。

还是使用上面的测试方式:

可以明显的看到,supervisor发送了USR2信号后,主进程的pid没有变化,重新启动了一个新的子进程来处理线上请求。

其他的问题

在使用overseer集成到项目中测试时,子进程的运行函数中仅仅加入了http服务的启动,这样导致一个问题。

main函数中任务会被执行两次,如果是cron的初始化,那么cron就会初始化两次,导致有两个cron在执行,这样的方式是不符合预期的。

导致这样的原因是:overseer在启动子进程时是使用和主进程一样的启动命令。所以main函数会执行两次。

func (mp *master) fork() error {
 mp.debugf("starting %s", mp.binPath)
 cmd := exec.Command(mp.binPath)
 //mark this new process as the "active" slave process.
 //this process is assumed to be holding the socket files.
 mp.slaveCmd = cmd
 mp.slaveID++
 //provide the slave process with some state
 e := os.Environ()
 e = append(e, envBinID+"="+hex.EncodeToString(mp.binHash))
 e = append(e, envBinPath+"="+mp.binPath)
 e = append(e, envSlaveID+"="+strconv.Itoa(mp.slaveID))
 e = append(e, envIsSlave+"=1")
 e = append(e, envNumFDs+"="+strconv.Itoa(len(mp.slaveExtraFiles)))
 cmd.Env = e
 //inherit master args/stdfiles
 cmd.Args = os.Args
 cmd.Stdin = os.Stdin
 cmd.Stdout = os.Stdout
 cmd.Stderr = os.Stderr
 //include socket files
 cmd.ExtraFiles = mp.slaveExtraFiles
 if err := cmd.Start(); err != nil {
 return fmt.Errorf("Failed to start slave process: %s", err)
 }
 // ...
}

我们通过调整main函数的内容来解决这个问题:

  • 将之前所有的初始化内容集成在initialization函数中
  • 将http初始化的内容集成在httpServer函数中,返回一个http.Server
func main() {
 // 配置初始化
 if err := config.Init(appConf); err != nil {
 fmt.Println(err)
 return
 }
 cfg := config.GetConfig()

 // 初始化graceful http服务
 gracefulHTTPServer := microsvr.GracefulHTTPServer{
 Address: cfg.HTTPListenAddress,
 Conf:  cfg,
 Initialization: initialization,
 HttpServer: httpServer,
 }

 // 启动
 if err := gracefulHTTPServer.Run(); err != nil {
 fmt.Println(err)
 return
 }
}

// 初始化日志、数据库链接、定时任务等
func initialization(cfg *config.Conf) {
 if err := microsvr.Init(cfg); err != nil {
 fmt.Println(err)
 return
 }

 if err := server.AddConnect(cfg.Databases.String()); err != nil {
 fmt.Println(err)
 return
 }
 logger.Info("数据库链接成功:" + cfg.Databases.Address)
 // cron
 cron.Cron.Init()
}

// 初始化http服务,但不启动
func httpServer() *http.Server {
 server := microsvr.NewHTTPServer()
 server.SetAllowOrginBack()
 Routers(server)
 return server
}

实践对比结果:

  • grace与endless:旧的api都不会断掉,会执行原来的逻辑,但pid会变化;不支持supervisor管理
  • overseer:旧api不会断掉,会执行原来的逻辑,主进程pid也不会变化,支持supervisor、systemd等管理

grace与endless的原理比较相像,都是类似上述的一般思路的实现原理。overseer的不同,主要有两点:

  • 添加了fetcher:用来支持自动升级bin文件,fetcher运行在一个goroutine中,通过预先设置好的间隔时间来检查bin文件;支持File、Github、S3的方式
  • 添加了主进程管理平滑重启:子进程处理链接,能够保持主进程pid不变

我们使用了overseer作为最终的选型结果。

总结

到此这篇关于Golang HTTP 服务平滑重启及升级的思路的文章就介绍到这了,更多相关golang http 平滑重启内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • Go语言panic和recover的用法实例

    Go语言panic和recover的用法实例

    panic()和recover()是Go语言中用于处理错误的两个重要函数,本文主要介绍了Go语言panic和recover的用法实例,panic()用于中止程序并引发panic,而recover()用于捕获panic并恢复程序的执行,感兴趣的可以了解一下
    2024-01-01
  • Go语言基于viper的conf库进行配置文件解析

    Go语言基于viper的conf库进行配置文件解析

    在现代软件开发中,配置文件是不可或缺的一部分,如何高效地将这些格式解析到 Go 结构体中,一直是开发者的痛点,下面我们来看看如何使用conf进行配置文件解析吧
    2025-03-03
  • golang如何解决go get命令无响应问题

    golang如何解决go get命令无响应问题

    文章介绍了在Go语言中处理由于官方库被封禁导致依赖下载失败的方法,包括设置代理和直接克隆依赖包到GOPATH/src下
    2024-12-12
  • Golang中defer与recover的组合使用示例代码

    Golang中defer与recover的组合使用示例代码

    Go语言的defer和recover机制为开发者提供了一种优雅处理错误的方式,帮助保持程序的稳定性和可维护性,这篇文章主要介绍了Golang中defer与recover组合使用的相关资料,需要的朋友可以参考下
    2025-06-06
  • Golang基于内存的键值存储缓存库go-cache

    Golang基于内存的键值存储缓存库go-cache

    go-cache是一个内存中的key:value store/cache库,适用于单机应用程序,本文主要介绍了Golang基于内存的键值存储缓存库go-cache,具有一定的参考价值,感兴趣的可以了解一下
    2025-03-03
  • golang 之 wire 库的使用小结

    golang 之 wire 库的使用小结

    Wire是一个用于Go语言的编译时依赖注入库,通过代码生成提高性能和可维护性,它支持编译时依赖注入、类型安全、简单易用等功能,文章通过代码示例展示了如何使用Wire进行依赖注入,并探讨了其优点如解耦、可测试和维护性,感兴趣的朋友跟随小编一起看看吧
    2025-03-03
  • Goland中Protobuf的安装、配置和使用

    Goland中Protobuf的安装、配置和使用

    本文记录了mac环境下protobuf的编译安装,并通过一个示例来演示proto自动生成go代码,本文使用的mac os 12.3系统,不建议使用homebrew安装,系统版本太高,会安装报错,所以自己下载新版压缩包编译构建安装
    2022-05-05
  • Golang Model 字段自动化校验设计方案

    Golang Model 字段自动化校验设计方案

    在我们日常开发中,不可避免的总要去进行各种参数校验,但是如果在某个场景中,要校验的字段非常多,并且在其中还有耦合关系,那么我们手写校验逻辑就变得非常的低效且难以维护,本篇文档就基于 DDD 领域模型设计的思想下,提供自动化的校验模型字段,感兴趣的朋友一起看看吧
    2025-02-02
  • 使用Golang实现WebSocket心跳机制

    使用Golang实现WebSocket心跳机制

    WebSocket是一种在客户端和服务器之间实现全双工通信的协议,它允许实时地传输数据,并且比传统的HTTP请求更加高效,在使用Golang构建WebSocket应用程序时,一个重要的考虑因素是如何实现心跳机制,所以本文将探讨如何使用Golang实现WebSocket心跳
    2023-11-11
  • golang简易实现 k8s 的yaml上传并应用示例方案

    golang简易实现 k8s 的yaml上传并应用示例方案

    这篇文章主要为大家介绍了golang简易实现 k8s 的yaml上传并应用示例方案,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2023-07-07

最新评论