利用Go语言快速实现一个极简任务调度系统

 更新时间:2022年10月04日 08:37:41   作者:MarvinZhang  
任务调度(Task Scheduling)是很多软件系统中的重要组成部分,字面上的意思是按照一定要求分配运行一些通常时间较长的脚本或程序。本文将利用Go语言快速实现一个极简任务调度系统,感兴趣的可以了解一下

引子

任务调度(Task Scheduling)是很多软件系统中的重要组成部分,字面上的意思是按照一定要求分配运行一些通常时间较长的脚本或程序。在爬虫管理平台 Crawlab 中,任务调度是其中的核心模块,相信不少朋友会好奇如何编写一个任务调度系统。本篇文章会教读者用 Go 语言编写一个非常简单的任务调度系统。

思路

我们首先理清一下思路,开发最小化任务调度器需要什么。

  • 交互界面(API)
  • 定时任务(Cron)
  • 任务执行(Execute Tasks)

整个流程如下:

我们通过 API 创建定时任务,执行器根据定时任务标准定期执行脚本。

实战

交互界面

首先我们来搭个架子。在项目目录下创建一个 main.go 文件,并输入以下内容。其中 gin 是非常流行的 Go 语言 API 引擎。

package main
​
import (
  "fmt"
  "github.com/gin-gonic/gin"
  "os"
)
​
func main() {
  // api engine
  app := gin.New()
​
  // api routes
  app.GET("/jobs", GetJobs)
  app.POST("/jobs", AddJob)
  app.DELETE("/jobs", DeleteJob)
​
  // run api on port 9092
  if err := app.Run(":9092"); err != nil {
    _, err = fmt.Fprintln(os.Stderr, err)
    os.Exit(1)
  }
}

然后添加 api.go 文件,输入以下内容,注意,这里没有任何代码实现,只是加入了占位区域。

package main
​
import "github.com/gin-gonic/gin"
​
func GetJobs(c *gin.Context) {
  // TODO: implementation here
}
​
func AddJob(c *gin.Context) {
  // TODO: implementation here
}
​
func DeleteJob(c *gin.Context) {
  // TODO: implementation here
}

定时任务

然后是任务调度的核心,定时任务。这里我们使用 robfig/cron,Go 语言比较流行的定时任务库。

现在创建 cron.go 文件,输入以下内容。其中 Cron 就是 robfig/cron 库中的 Cron 类生成的实例。

package main
​
import "github.com/robfig/cron"
​
func init() {
  // start to run
  Cron.Run()
}
​
// Cron create a new cron.Cron instance
var Cron = cron.New()

现在创建好了主要定时任务实例,就可以将核心逻辑添加在刚才的 API 占位区域了。

同样是 api.go ,将核心代码添加进来。

package main
​
import (
  "github.com/gin-gonic/gin"
  "github.com/robfig/cron/v3"
  "net/http"
  "strconv"
)
​
func GetJobs(c *gin.Context) {
  // return a list of cron job entries
  var results []map[string]interface{}
  for _, e := range Cron.Entries() {
    results = append(results, map[string]interface{}{
      "id":   e.ID,
      "next": e.Next,
    })
  }
  c.JSON(http.StatusOK, Cron.Entries())
}
​
func AddJob(c *gin.Context) {
  // post JSON payload
  var payload struct {
    Cron string `json:"cron"`
    Exec string `json:"exec"`
  }
  if err := c.ShouldBindJSON(&payload); err != nil {
    c.AbortWithStatus(http.StatusBadRequest)
    return
  }
​
  // add cron job
  eid, err := Cron.AddFunc(payload.Cron, func() {
    // TODO: implementation here
  })
  if err != nil {
    c.AbortWithStatusJSON(http.StatusInternalServerError, map[string]interface{}{
      "error": err.Error(),
    })
    return
  }
​
  c.AbortWithStatusJSON(http.StatusOK, map[string]interface{}{
    "id": eid,
  })
}
​
func DeleteJob(c *gin.Context) {
  // cron job entry id
  id := c.Param("id")
  eid, err := strconv.Atoi(id)
  if err != nil {
    c.AbortWithStatus(http.StatusBadRequest)
    return
  }
​
  // remove cron job
  Cron.Remove(cron.EntryID(eid))
​
  c.AbortWithStatus(http.StatusOK)
}

在这段代码中,我们实现了大部分逻辑,只在 AddJobCron.AddFunc 中第二个参数里,剩下最后一部分执行任务的代码。下面将来实现一下。

任务执行

现在需要添加任务执行的代码逻辑,咱们创建 exec.go 文件,输入以下内容。这里我们用到了 Go 语言内置的 shell 运行管理库 os/exec,可以执行任何 shell 命令。

package main
​
import (
  "fmt"
  "os"
  "os/exec"
  "strings"
)
​
func ExecuteTask(execCmd string) {
  // execute command string parts, delimited by space
  execParts := strings.Split(execCmd, " ")
​
  // executable name
  execName := execParts[0]
​
  // execute command parameters
  execParams := strings.Join(execParts[1:], " ")
​
  // execute command instance
  cmd := exec.Command(execName, execParams)
​
  // run execute command instance
  if err := cmd.Run(); err != nil {
    _, err = fmt.Fprintln(os.Stderr, err)
    fmt.Println(err.Error())
  }
}

好了,现在我们将这部分执行代码逻辑放到之前的占位区域中。

...
  // add cron job
  eid, _ := Cron.AddFunc(payload.Cron, func() {
    ExecuteTask(payload.Exec)
  })
...

代码效果

OK,大功告成!现在我们可以试试运行这个极简的任务调度器了。

在命令行中敲入 go run .,API 引擎就启动起来了。

[GIN-debug] [WARNING] Running in "debug" mode. Switch to "release" mode in production.
 - using env:   export GIN_MODE=release
 - using code:  gin.SetMode(gin.ReleaseMode)
​
[GIN-debug] GET    /jobs                     --> main.GetJobs (1 handlers)
[GIN-debug] POST   /jobs                     --> main.AddJob (1 handlers)
[GIN-debug] DELETE /jobs/:id                 --> main.DeleteJob (1 handlers)
[GIN-debug] [WARNING] You trusted all proxies, this is NOT safe. We recommend you to set a value.
Please check https://pkg.go.dev/github.com/gin-gonic/gin#readme-don-t-trust-all-proxies for details.
[GIN-debug] Listening and serving HTTP on :9092

现在打开另一个命令行窗口,输入 curl -X POST -d '{"cron":"* * * * *","exec":"touch /tmp/hello.txt"}' http://localhost:9092/jobs,会得到如下返回结果。表示已经生成了相应的定时任务,任务 ID 为 1,每分钟跑一次,会更新一次 /tmp/hello.txt

{"id":1}

在这个命令行窗口中输入 curl http://localhost:9092/jobs

[{"id":1,"next":"2022-10-03T12:46:00+08:00"}]

这表示下一次执行是 1 分钟之后。

等待一分钟,执行 ls -l /tmp/hello.txt,得到如下结果。

-rw-r--r--  1 marvzhang  wheel     0B Oct  3 12:46 /tmp/hello.txt

也就是说,执行成功了,大功告成!

总结

本篇文章通过将 Go 语言几个库简单组合,就开发出了一个极简的任务调度系统。所用到的核心库:

整个代码示例仓库在 GitHub 上: https://github.com/tikazyq/codao-code/tree/main/2022-10/go-task-scheduler

到此这篇关于利用Go语言快速实现一个极简任务调度系统的文章就介绍到这了,更多相关Go语言实现任务调度系统内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

您可能感兴趣的文章:

相关文章

  • 浅谈Go语言中的次方用法

    浅谈Go语言中的次方用法

    这篇文章主要介绍了浅谈Go语言中的次方用法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-12-12
  • Go gRPC环境安装教程示例详解

    Go gRPC环境安装教程示例详解

    这篇文章主要为大家介绍了Go gRPC环境安装的教程示例详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2022-06-06
  • 一文带你了解Go语言中的单元测试

    一文带你了解Go语言中的单元测试

    写过单元测试的开发人员应该理解,单元测试最核心的价值是为了证明:为什么我写的代码是正确的?也就是从逻辑角度帮你检查你的代码。本文就来和大家详细聊聊Go语言中的单元测试,需要的可以参考一下
    2022-07-07
  • Go语言协程通道使用的问题小结

    Go语言协程通道使用的问题小结

    本文主要介绍了Go语言协程通道使用的问题小结,详细的介绍了使用的一些重要问题,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2024-08-08
  • 详解Golang中零拷贝的原理以及实践

    详解Golang中零拷贝的原理以及实践

    零拷贝技术相信大家都有所耳闻,但是本文不仅会讲述零拷贝技术的原理,并将从实际代码出发,看看零拷贝技术在golang中的应用,现在让我们开始吧
    2023-07-07
  • 一文带你玩转Golang Prometheus Eexporter开发

    一文带你玩转Golang Prometheus Eexporter开发

    本文分两大块,一是搞清楚prometheus四种类型的指标Counter,Gauge,Histogram,Summary用golang语言如何构造这4种类型对应的指标,二是搞清楚修改指标值的场景和方式,感兴趣的可以了解一下
    2023-02-02
  • Golang学习之map的用法详解

    Golang学习之map的用法详解

    在Golang(又称Go语言)中,map是一种非常有用的数据结构,所以这篇文章小编就来带大家一起深入了解一下map的用法,感兴趣的小伙伴可以了解一下
    2023-06-06
  • Golang流程控制语句的具体使用

    Golang流程控制语句的具体使用

    在编写程序时,流程控制是必不可少的一部分,本文主要介绍了Golang流程控制语句的具体使用,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2024-05-05
  • Golang多个域名的跨域资源共享的实现

    Golang多个域名的跨域资源共享的实现

    本文主要介绍了Golang多个域名的跨域资源共享的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2025-02-02
  • Go语言版本管理module以及go.sum详解

    Go语言版本管理module以及go.sum详解

    本文介绍了Go语言版本管理go module以及go.sum详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2024-08-08

最新评论