脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → Golang → Go语言流量回放工具

利用Go语言实现流量回放工具的示例代码

 更新时间：2022年09月05日 09:30:31   作者：AsongGo  
今天给大家推荐一款使用Go语言编写的流量回放工具 -- goreplay；工作中你一定遇到过需要在服务器上抓包的场景，有了这个工具就可以助你一臂之力，废话不多，我们接下来来看一看这个工具

前言

哈喽，大家好，我是asong。

今天给大家推荐一款使用Go语言编写的流量回放工具 -- goreplay；工作中你一定遇到过需要在服务器上抓包的场景，有了这个工具就可以助你一臂之力，goreplay的功能十分强大，支持流量的放大、缩小，并且集成了ElasticSearch，将流量存入ES进行实时分析；

废话不多，我们接下来来看一看这个工具；

goreplay介绍与安装

项目地址：https://github.com/buger/goreplay

goreplay是一个开源网络监控工具，可以实时记录TCP/HTTP流量，支持把流量记录到文件或者elasticSearch实时分析，也支持流量的放大、缩小，还支持频率限制；goreplay不是代理，无需任何代码入侵，只需要在服务相同的机器上运行goreplay守护程序，其会在后台侦听网络接口上的流量，goreplay的设计遵循 Unix 设计哲学：一切都是由管道组成的，各种输入将数据复用为输出；可以看一下官网画的架构图：

goreplay的安装也比较简单，只需要在https://github.com/buger/goreplay/releases 下载对应操作系统的二进制文件即可，我的电脑是mac的：

解压缩后就是一个二进制文件gor，将其添加到您的环境变量中，方便我们后续的操作；

使用示例

实时流量转发

首先我们要准备一个Web服务，最简单的就是用Gin 快速实现一个helloworld，替大家实现好了：https://github.com/asong2020/Golang_Dream/tree/master/code_demo/gin_demo；

import (
 "flag"
 "github.com/gin-gonic/gin"
)

var Port string

func init()  {
 flag.StringVar(&Port, "port", "8081", "Input Your Port")
}

func main() {
 flag.Parse()
 r := gin.Default()
 r.Use()
 r1 := r.Group("/api")
 {
  r1.GET("/ping", func(c *gin.Context) {
   c.JSON(200, gin.H{
    "message": "pong",
   })
  })
 }

 r.Run("localhost:" + Port)
}

因为资源有限，这里我用一台电脑起两个进程来模拟流量转发，分别启动两个web服务分别监控端口号8081、8082：

$ go run . --port="8081"
$ go run . --port="8082"

服务弄好了，现在我们来开启gor守护进程进行流量监听与转发，将8081端口的流量转发到8082端口上：

$ sudo gor --input-raw :8081 --output-http="http://127.0.0.1:8082"

现在我们请求8081端口：

$ curl --location --request GET 'http://127.0.0.1:8081/api/ping'

可以看到8082端口同样被请求了：

流量放大、缩小

goreplay支持将捕获的流量存储到文件中，实际工作中我们可以使用捕获的流量做压力测试，首先我们需要将捕获的流量保存到本地文件，然后利用该文件进行流量回放；

还是上面的Web程序，我们将端口8081的流量保存到本地文件：

$ sudo gor --input-raw :8081 --output-file ./requests.gor

我们对8081端口执行了5次请求：

然后我们对8082端口进行流量缩小测试，缩小一倍：

gor --input-file "requests_0.gor" --output-http="http://127.0.0.1:8082|50%"

调整百分比就是进行流量放大、缩小，这里我们缩小了一倍，可以看到只有2次请求到了8082端口；我们可以调整流量回放的速度，比如我们调整流量以10倍速度进行重播：

$ gor --input-file "requests_0.gor|1000%" --output-http="http://127.0.0.1:8082|50%" # 1000%就是放大10倍

流量写入到ElastichSearch

goreplay可以将捕获的流量导出到Es中，只需要执行如下命令：

$ gor --input-raw :8000 --output-http http://staging.cm  --output-http-elasticsearch localhost:9200/gor

我们不需要提前创建索引结构，他将自动创建，具体结构如下：

type ESRequestResponse struct {
 ReqURL               string `json:"Req_URL"`
 ReqMethod            string `json:"Req_Method"`
 ReqUserAgent         string `json:"Req_User-Agent"`
 ReqAcceptLanguage    string `json:"Req_Accept-Language,omitempty"`
 ReqAccept            string `json:"Req_Accept,omitempty"`
 ReqAcceptEncoding    string `json:"Req_Accept-Encoding,omitempty"`
 ReqIfModifiedSince   string `json:"Req_If-Modified-Since,omitempty"`
 ReqConnection        string `json:"Req_Connection,omitempty"`
 ReqCookies           string `json:"Req_Cookies,omitempty"`
 RespStatus           string `json:"Resp_Status"`
 RespStatusCode       string `json:"Resp_Status-Code"`
 RespProto            string `json:"Resp_Proto,omitempty"`
 RespContentLength    string `json:"Resp_Content-Length,omitempty"`
 RespContentType      string `json:"Resp_Content-Type,omitempty"`
 RespTransferEncoding string `json:"Resp_Transfer-Encoding,omitempty"`
 RespContentEncoding  string `json:"Resp_Content-Encoding,omitempty"`
 RespExpires          string `json:"Resp_Expires,omitempty"`
 RespCacheControl     string `json:"Resp_Cache-Control,omitempty"`
 RespVary             string `json:"Resp_Vary,omitempty"`
 RespSetCookie        string `json:"Resp_Set-Cookie,omitempty"`
 Rtt                  int64  `json:"RTT"`
 Timestamp            time.Time
}

goreplay提供了太多的功能，就不一一介绍了，可以通过执行help命令查看其他高级用法，每个命令都提供了例子，入手很快；

$ gor -h
Gor is a simple http traffic replication tool written in Go. Its main goal is to replay traffic from production servers to staging and dev environments.
Project page: https://github.com/buger/gor
Author: <Leonid Bugaev> leonsbox@gmail.com
Current Version: v1.3.0

  -copy-buffer-size value
     Set the buffer size for an individual request (default 5MB)
  -cpuprofile string
     write cpu profile to file
  -exit-after duration
     exit after specified duration
  -http-allow-header value
     A regexp to match a specific header against. Requests with non-matching headers will be dropped:
       gor --input-raw :8080 --output-http staging.com --http-allow-header api-version:^v1
  -http-allow-method value
     Whitelist of HTTP methods to replay. Anything else will be dropped:
      gor --input-raw :8080 --output-http staging.com --http-allow-method GET --http-allow-method OPTIONS
  -http-allow-url value
     A regexp to match requests against. Filter get matched against full url with domain. Anything else will be dropped:
       gor --input-raw :8080 --output-http staging.com --http-allow-url ^www.
  -http-basic-auth-filter value
     A regexp to match the decoded basic auth string against. Requests with non-matching headers will be dropped:
       gor --input-raw :8080 --output-http staging.com --http-basic-auth-filter "^customer[0-9].*"
  -http-disallow-header value
     A regexp to match a specific header against. Requests with matching headers will be dropped:
       gor --input-raw :8080 --output-http staging.com --http-disallow-header "User-Agent: Replayed by Gor"
       ..........省略

goreplay基本实现原理

goreplay底层也是调用Libpcap，Libpcap即数据包捕获函数库，tcpdump也是基于这个库实现的，Libpcap是C语言写的，Go语言不能直接调用C语言，需要使用CGo，所以goreplay可以直接使用谷歌的包github.com/google/gopacket，提供了更方便的操作接口，基于goreplay封装了input、output，在启动的时候通过命令行参数解析指定的input、output，input读取数据写入到output中，默认是一个input复制多份，写多个output，多个input之前是并行的，但是单个intput到多个output是串行的，所以input-file会有性能瓶颈，压测的时候需要开多个进程同时跑来达到压测需求；

goreplay的源码有点多，就不在这里分析了，大家感兴趣哪一部分可以从gor.go的main函数入手，看自己感兴趣的部分就可以了；

总结

goreplay提供的玩法非常丰富，合理的改造可以做成回归工具帮助我们确保服务的稳定性，别放过这个自我展现的机会～。

以上就是利用Go语言实现流量回放工具的示例代码的详细内容，更多关于Go语言流量回放工具的资料请关注脚本之家其它相关文章！

您可能感兴趣的文章:

相关文章

  • go语言结构体指针操作示例详解

    go语言结构体指针操作示例详解

    这篇文章主要为大家介绍了go语言结构体指针操作示例详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步早日升职加薪
    2022-04-04
  • Go语言安装和GoLand2021最全超详细安装教程

    Go语言安装和GoLand2021最全超详细安装教程

    Go语言和GoLand的关系好比于java和idea、python和pycharm，因此我们需要先安装好Go语言后才能安装GoLand。它的安装和java，python的安装大同小异，好了，下面给大家带来了GoLand2021安装教程，需要的朋友参考下吧
    2021-08-08
  • Go使用sync.Map来解决map的并发操作问题

    Go使用sync.Map来解决map的并发操作问题

    在 Golang 中 map 不是并发安全的，sync.Map 的引入确实解决了 map 的并发安全问题，本文就详细的介绍一下如何使用，感兴趣的可以了解一下
    2021-10-10
  • Go语言中map集合的具体使用

    Go语言中map集合的具体使用

    本文主要介绍了Go语言中map集合的具体使用，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2023-02-02
  • 基于golang时间转换的问题

    基于golang时间转换的问题

    下面小编就为大家带来一篇基于golang时间转换的问题。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧
    2017-08-08
  • 一文带你搞懂Golang如何正确退出Goroutine

    一文带你搞懂Golang如何正确退出Goroutine

    在Go语言中，Goroutine是一种轻量级线程，它的退出机制对于并发编程至关重要，下午就来介绍几种Goroutine的退出机制，希望对大家有所帮助
    2023-06-06
  • 详解Go语言中for循环,break和continue的使用

    详解Go语言中for循环,break和continue的使用

    这篇文章主要通过一些示例为大家介绍一下Go语言中for循环、break和continue的基本语法以及使用，文中的示例代码讲解详细，感兴趣的小伙伴可以了解一下
    2022-06-06
  • golang对etcd存取和数值监测的实现

    golang对etcd存取和数值监测的实现

    这篇文章主要介绍了golang对etcd存取和数值监测的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2019-09-09
  • Go语言数据结构之插入排序示例详解

    Go语言数据结构之插入排序示例详解

    这篇文章主要为大家介绍了Go语言数据结构之插入排序示例详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪
    2022-08-08
  • Go设计模式之代理模式讲解和代码示例

    Go设计模式之代理模式讲解和代码示例

    这篇文章主要介绍了Go代理模式，代理是一种结构型设计模式， 让你能提供真实服务对象的替代品给客户端使用，本文将对Go代理模式进行讲解以及代码示例,需要的朋友可以参考下
    2023-07-07

最新评论