一. 线上引流产生背景

日常大部分的测试工作都是在测试环境下,通过模拟用户的行为来对系统进行验证,包括功能以及性能。在这个过程中,你可能会遇到以下问题:

线上引流方案的出现为上述问题提供了很好的解题思路,线上引流本质是:通过把线上的真实流量复制到线下环境,解决测试环境模拟不够真实,或覆盖不够全面的问题。

二. 线上引流常见方案

目前不少公司都对线上引流方案进行了许多实践探索,常见的有以下4种引流方式(不限):

上述的几种引流方式各有利弊,有的是需要自己开发相应的工具来支持。而今天给大家介绍的是另外一款简单易用,学习成本低的引流工具GoReplay

三. 推荐一款引流工具:GoReplay

Gor,又称为GoReplay,是采用Golang 编写的一个开源的 HTTP 实时流量复制工具。它只需要在 LB 或者 入口服务器上执行一个进程,就可以把生产环境的流量复制到任何地方,比如 Staging 环境、Dev 环境。常用于压测及线上问题复现。

四. GoReplay工作流程

下面是goreplay官方之前公布的工作流程图,简单来讲就是goreplay捕捉线上流量,并将捕捉到的释放到指定测试服务器上。

最新GoReplay 官网上更新了一张更高逼规格的图解说明,如下图所示:

上述流程图展示的已经很详细了,我就不过多解释。

五. GoReplay支持的常用功能

六. 下载安装GoReplay

顾名思义,GoReplay是基于go语言实现的,要在目标服务器上安装go环境。安装参考可见 :https://golang.org/doc/install,准备好go语言环境后,GoReplay直接提供了编译好的版本,十分方便,直接解压即可,可参考以下步骤:

 #下载包
 wget https://github.com/buger/goreplay/releases/download/v1.0.0/gor_1.0.0_x64.tar.gz
 
 #解压
 tar xvf gor_1.0.0_x64.tar.gz

也可以进入到官网下载地址:https://github.com/buger/goreplay/releases下载最新的Gor二进制文件(支持Windows,Linux x64和Mac OS提供预编译的二进制文件),或者可以自行编译。

获取gor版本:

https://github.com/buger/goreplay/releases

源码地址:

https://github.com/buger/goreplay

官方使用文档:

https://github.com/buger/gor/wiki

七. GoReplay 常用命令用法

输入参数:

输出参数:

其它参数:

八. GoReplay 常用实践场景

1、流量实时复制引流(--input-raw 拦截端口配合--output-http输出),例如将本机80端口的HTTP流量实时复制到targer_server:8080。

gor --input-raw :80 --output-http "http://target_server:8080"

2、控制台输出,获取经过本地8080端口的请求流量,然后打印到控制台。

gor --input-raw :8080 --output-stdout

上述命令将监控8080端口上所有的流量,并通过终端stdout输出。你可以通过浏览器或者curl访问8080端口,然后在终端查看gor输出所有的http请求。

3、先录制后回放,将捕捉流量保存到文件中,然后释放到其它机器,有时候实时同步流量是很难做到的, 所以Goreplay提供了这种先保存后回放的模式:

第一步, 通过--output-file保存流量:

gor --input-raw :8080 --output-file=requests.gor

第二步,回放保存的流量:

gor --input-file requests.gor --output-http="http://localhost:8081"

上述命令将释放所有保存在requests.gor中的请求通过相同的时间顺序释放到服务器[http://localhost:8081](http://localhost:8081

4、过滤指定请求方法,如果目标服务器使用的库与线上机器一样,且只需要引流Get方法的请求。

gor --input-raw :80  --http-allow-method GET --output-http "http://target_server:8080"

5、请求过滤,当你需要捕捉指定路径的请求流量时,可以使用该机制, 如只同步/api路径下的请求

gor --input-raw :8080 --output-http staging.com --http-allow-url /api

只收集请求头中符合 api-version 为 1.0x 的请求

gor --input-raw :8080 --output-http staging.com --http-allow-header api-version:^1\.0\d

6、限速机制,由于生产服务器配置一般远高于测试服务器配置,所以直接将生产服务器全部流量同步到测试服务器是不可行的,goreplay提供了两种策略:

a. 限制每秒的请求数

gor  --input-tcp :28020 --output-http "http://staging.com|10"# (每秒请求数限制10个以内)
gor  --input-raw :80 --output-tcp "replay.local:28020|10%"  # (每秒请求数限制10%以内)

b. 基于Header或Url的参数限制一些请求,为指定的header或者url的请求设定限制的百分比。

gor  --input-raw :80 --output-tcp "replay.local:28020|10%" --http-header-limiter "X-API-KEY: 10%"
gor  --input-raw :80 --output-tcp "replay.local:28020|10%" --http-param-limiter "api_key: 10%"

7、流量加压,当需要对线上服务进行整体性能压测时,可将线上请求扩大N倍,进行引流,将请求扩大1倍,也可缩小,调整"|"后面的百分比即可。

gor --input-raw :80  --http-allow-method GET --output-http "http://target_server:8080|200%"

8、只复制某个URL请求,--http-allow-url参数,-http-allow-url参数可用正则表达式(--output-http-url-regexp在gor 0.16已经过期,使用--http-allow-url代替)。

gor --input-raw :8080 --http-allow-method GET --output-http "http://target_server:8080" --http-allow-url mall.*hotword

9、多目标服务器的流量复制引流,有点类似nginx的mirror。

gor --input-raw :80 --output-http "http://target_server:8080" --output-http "http://target_server2:8080"

10、将流量转发到多个端点,默认情况下,它会将相同的流量发送到所有输出。

gor --input-tcp :28020 --output-http "http://staging.com"  --output-http "http://dev.com"

11、将相同的流量发送到多个站点,并且平分所有流量

gor --input-raw :80 --output-http "http://staging.com"  --output-http "http://dev.com" --split-output true

12、HTTP超时,默认情况下,http请求和响应的超时时间为5秒。你可以像这样覆盖它:

gor --input-tcp replay.local:28020 --output-http http://staging.com --output-http-timeout 30s

13、基本身份验证,如果您的开发或登台环境受基本身份验证保护,那么可以在重放期间注入这些凭据:

gor --input-raw :80 --output-http "http://user:pass@staging.com"

14、性能压力测试,可以将流量复制到文件,然后再对他们进行回放。回放的时候,流量会维持原始的时间间隔。如果你使用了百分比来进行速率限制,那么回放的速率会相应的增加或减少。有了这种速率限制,gor就可以用来进行压力测试。

gor --input-file "requests.gor|200%" --output-http "staging.com"

目前,input-file仅在使用基于百分比的限制器时才支持此功能。与默认限制器不同input-file,它不会降低请求速度,而会减慢速度或加速请求发射。

15 、录制与回放

./gor --input-raw :8000 --output-file=requests.gor

执行录制命令后,将会创建新文件并不断向其写入所有捕获的请求。

16、流量回放,重播来自文件的请求。

./gor --input-file requests.gor --output-http="http://localhost:8001"

您应该看到所有记录到http://localhost:8001的请求,并且它们将以相同的顺序重播,并且与录制的时间完全相同。


更多实用功能,读者们可自行探索,如果觉得有用,帮忙点个好看朋友圈转发分享一下就行。






本文分享自微信公众号 - 测试开发技术(mikezhou_talk)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

09-08 15:41