Mysterious：分布式压测平台化实现

by

2024-03-03

22:23:28

Leave a comment on Mysterious：分布式压测平台化实现

Testing

, , , , ,

经常有测试同学加我微信，问GitHub上这个平台怎么部署，因为之前只是自己随便玩玩，无法比较规范的部署；简单业务接口，场景作为压测的触发还是可以的，但如果是流程比较复杂的，比如长链路，造数，不仅仅是依靠JMeter的能力就能完成的，就像公司的压测，我一直在考虑如何将平台应用起来，但当前感觉还是性价比不高，也没时间去搞；但近期很多人都在问，正好结合前段时间了解了一些前端，因此周末把部署整了一下，顺便除了二进制把容器化docker-compose方式也做了一下，能够玩耍，看后续公司的性能测试能否用起来

以下是GitHub的README内容

Mysterious

分布式压测平台，前端Vue3+TypeScript，后端SpringBoot-2.3.12，压测引擎JMeter-5.5，支持JMeter的分布式压测，管理，执行，报告，日志等。因为设计，开发，测试都是自己，一些功能优化需求也是根据自己的使用来改进，目前主要优先考虑正确性和实用性，未来通过大模型生成JMX脚本也在考虑当中。

经验总结

平台模块

测试流程

  • 测试说明
    • 本地上传：本地能运行的测试，上传测试的JMX，CSV，JAR等依赖，平台均可直接处理和执行，日志，报告
    • 在线生成：主要是JMX脚本，完成一些简单的脚本进行在线编写，毕竟JMeter各种插件众多，不可能都兼容
      • Threads：ThreadGroup，SteppingThreadGroup，ConCurrencyThreadGroup
      • Sampler：HttpSampler，JavaRequest，DubboSampler
      • Assertion：ResponseCode，ResponseMessage，JSONPath
      • 如果还有无法满足的测试需求，可以直接本地上传的方式来进行测试
    • 智能生成：后续考虑结合AI大模型，提供可视化prompt提示词输入，按要求生成JMX脚本
  • 压测模式
    • 如果是单节点压测，只需要在一个Master节点上安装部署平台和Jmeter工具包，通过平台来调用Jmeter来执行压测用例，并返回压测结果
    • 如果是分布式压测，除了Master节点安装部署平台和Jmeter工具包外，还要在Slave节点上部署Jmeter工具包，启动jmeter-server服务

安装部署

Docker-Compose部署方式（推荐，一键部署）

容器化部署通过docker-compose方式，如果在线拉镜像不畅，可在下面网盘里下最新版本离线容器镜像

  1. 平台部署
  1. 访问平台
  1. 运行配置
  • 内存配置：docker-compose.yml里后端服务预分配了1G内存，可根据需求调整
  • 引擎内存：mysterious-jmeter/bin/jmeter里配置HEAP内存2g-4g-512m，可根据需求自行调整
  • 配置管理：MASTER_HOST_PORT修改为本地IP:PORT，作为压测报告预览的路径前缀，修改完重启容器
  • 运行路径：Master和Slave节点有关引擎的执行路径都可以在配置管理里进行修改，然后重启容器
  1. 更新版本
  • 后端更新：更新mysterious容器(最新的docker/${架构}.env覆盖.env)，重新拉镜像起容器
  • 前端更新：更新dist目录(docker/dist有最新版本目录)，覆盖docker/mysterious/nginx/html/dist
  • 库表变更：检查数据库脚本(docker/init.sql)，执行变更部分的sql即可；因为db容器初始化sq只首次生效

二进制部署方式

下面以CentOS7为例介绍下安装步骤

  1. 前端部署
  1. 安装nginx，mysql，redis
    1. nginx
      • 1234.conf和9998.conf复制到/etc/nginx/conf.d下（根据系统实际情况），并修改下，比如mysterious-nginx改成localhost，mysterious改成最后前端页面访问的IP地址
      • mkdir -p /usr/share/nginx/html/
      • cp -r [上一步前端目录]/dist /usr/share/nginx/html/
    2. mysql
      • mysql> ALTER USER ‘root’@’localhost’ IDENTIFIED BY ‘Test@123456’;
      • mysql> use mysql;
      • mysql> update user set host=’%’ where user=’root’;
    3. redis
      • 没啥好说的，起来就行了，不用设密码
      • redis.conf可自行下载，或者docker目录下有
  2. 平台部署
  • git clone https://github.com/100ZZ/mysterious.git
  • 修改application.properties，mysterious-mysql和mysterious-redis都改成localhost
  • mvn -f pom.xml clean install package -Dmaven.test.skip=true
  • mkdir -p /opt/mysterious/mysterious-data
  • mkdir -p /opt/mysterious/running
  • cp docker/mysterious.jar /opt/mysterious/running/
  • cp docker/service.sh /opt/mysterious/running/
  • cd /opt/mysterious
  • git clone https://github.com/100ZZ/mysterious-jmeter.git
  • sh /opt/mysterious/running/service.sh restart
  1. 访问平台

Slave节点部署(如果需要分布式压测，额外部署Slave节点Agent服务)

  • 无特殊情况，推荐高配置单节点(平台管理+压力机)部署来进行压测，因为分布式压测交互也有开销
  • 无Slave节点启用，就只有Master单节点(平台管理+压力机)进行压测
  • 只要有Slave节点启用，就会作为Agent压力机进行分布式压测，Master节点作为Client

如果需要分布式部署，找到和Master节点网络互通的节点，最好是局域网，否则网络开销太大；无论Master节点是二进制还是Docker-Compose部署，Slave节点部署方式都如下

  • mkdir /opt/mysterious
  • cd /opt/mysterious
  • git clone https://github.com/100ZZ/mysterious-jmeter.git
  • 如果之前有一些测试用例，可以页面节点管理，先点击一下节点同步，会将master节点用例数据都同步到slave节点，然后启用slave节点即可
  • 只要有slave节点启用，压测都会是分布式压测，如果全都禁用，压测就只是Master单节点压测
  • 具体Slave节点的目录结构都是可配置的，具体可以参考配置管理页面

说明

整个安装部署包括平台的前后端服务和JMeter工具包目录

  • 如果是单节点压测，只需要在一个Master节点上安装部署压测平台和Jmeter工具包，通过平台来调用Jmeter来执行压测用例，并返回压测结果
  • 如果是分布式压测，除了上面Master节点安装部署外，还要在Slave节点上安装Jmeter工具包，启动jmeter-server进程，大致数据流如下 

发表回复