From 37df2e0bca96fb886d8f366c5b4eeb8816c333da Mon Sep 17 00:00:00 2001 From: Lxhz_test <760316987@qq.com> Date: Mon, 27 Jun 2022 07:07:46 +0000 Subject: [PATCH 01/11] =?UTF-8?q?update=20=E9=BE=99=E8=9C=A5=E4=B8=80?= =?UTF-8?q?=E5=88=BB/KeentuneAI=E8=B0=83=E4=BC=98=E4=BB=BB=E5=8A=A1/?= =?UTF-8?q?=E9=A2=98=E7=9B=AE=E6=8C=87=E5=AF=BC=E6=89=8B=E5=86=8C/KeenTune?= =?UTF-8?q?=E6=99=BA=E8=83=BD=E5=8F=82=E6=95=B0=E8=B0=83=E4=BC=98=E2=80=94?= =?UTF-8?q?=E2=80=94Nginx=E5=8F=82=E6=95=B0+HORD.md.=20uodate=20=E8=B6=85?= =?UTF-8?q?=E9=93=BE=E6=8E=A5=E6=96=B0=E7=AA=97=E5=8F=A3=E6=89=93=E5=BC=80?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- ...\224Nginx\345\217\202\346\225\260+HORD.md" | 23 +++++++++---------- 1 file changed, 11 insertions(+), 12 deletions(-) diff --git "a/\351\276\231\350\234\245\344\270\200\345\210\273/KeentuneAI\350\260\203\344\274\230\344\273\273\345\212\241/\351\242\230\347\233\256\346\214\207\345\257\274\346\211\213\345\206\214/KeenTune\346\231\272\350\203\275\345\217\202\346\225\260\350\260\203\344\274\230\342\200\224\342\200\224Nginx\345\217\202\346\225\260+HORD.md" "b/\351\276\231\350\234\245\344\270\200\345\210\273/KeentuneAI\350\260\203\344\274\230\344\273\273\345\212\241/\351\242\230\347\233\256\346\214\207\345\257\274\346\211\213\345\206\214/KeenTune\346\231\272\350\203\275\345\217\202\346\225\260\350\260\203\344\274\230\342\200\224\342\200\224Nginx\345\217\202\346\225\260+HORD.md" index 2a209d8..68268ea 100644 --- "a/\351\276\231\350\234\245\344\270\200\345\210\273/KeentuneAI\350\260\203\344\274\230\344\273\273\345\212\241/\351\242\230\347\233\256\346\214\207\345\257\274\346\211\213\345\206\214/KeenTune\346\231\272\350\203\275\345\217\202\346\225\260\350\260\203\344\274\230\342\200\224\342\200\224Nginx\345\217\202\346\225\260+HORD.md" +++ "b/\351\276\231\350\234\245\344\270\200\345\210\273/KeentuneAI\350\260\203\344\274\230\344\273\273\345\212\241/\351\242\230\347\233\256\346\214\207\345\257\274\346\211\213\345\206\214/KeenTune\346\231\272\350\203\275\345\217\202\346\225\260\350\260\203\344\274\230\342\200\224\342\200\224Nginx\345\217\202\346\225\260+HORD.md" @@ -7,7 +7,7 @@ ## 1.1. KeenTune安装   KeenTune总共包含四个组件：keentuned，keentune-target，keentune-brain，keentune-bench，在专家调优实践任务中，我们需要安装全部四个组件，我们需要两台虚拟机A、B来完成这个任务，其中A虚拟机中安装keentuned，keentune-brain，keentune-bench以及benchmark工具[wrk](../benchmark_docs/wrk.md)，B虚拟机安装keentune-target来进行参数设置。 -  我们可以选择使用YUM或者源码安装的方式来下载和安装KeenTune的组件，具体步骤请参考[《Keentune安装手册》](../keentune_docs/KeenTune_install.md) +  我们可以选择使用YUM或者源码安装的方式来下载和安装KeenTune的组件，具体步骤请参考《Keentune安装手册》 ## 1.2. KeenTune的配置和启动   启动KeenTune之前还需要对KeenTune进行简单的配置，我们通过手动编辑`/etc/keentune/conf/keentuned.conf`文件配置虚拟机的ip从而构建起测试集群，并且指定调整nginx.json参数域。 @@ -28,13 +28,13 @@ systemctl restart keentuned ## 2.1. benchmark工具安装   wrk 是一款针对 http 协议的基准测试工具，它能够在单机多核 CPU 的条件下，使用系统自带的高性能 I/O 机制，如 epoll，kqueue 等，通过多线程和事件模式，对目标机器（服务端）产生大量的负载。即wrk能够开启多个连接访问接口，看接口最多每秒可以承受多少连接。 -  我们需要你在虚拟机B上安装wrk，具体的安装步骤请参考[《wrk安装使用手册》](../benchmark_docs/wrk.md) +  我们需要你在虚拟机B上安装wrk，具体的安装步骤请参考《wrk安装使用手册》 ## 2.2. benchmark工具使用 -  使用KeenTune进行专家调优之前，我们手动执行一下wrk来看一下专家调优之前的性能指标，具体的执行方法和参考指标请同样参考[《wrk安装使用手册》](../benchmark_docs/wrk.md) +  使用KeenTune进行专家调优之前，我们手动执行一下wrk来看一下专家调优之前的性能指标，具体的执行方法和参考指标请同样参考《wrk安装使用手册》 ## 2.3. benchmark脚本准备 -  我们需要为wrk实现一个自动化脚本使keentune-bench能够自动运行benchmark工具，我们已经实现好了这个[脚本](https://gitee.com/anolis/keentuned/blob/master/daemon/examples/benchmark/wrk/ack_nginx_http_long_base.py)，并为其写好了[配置文件](https://gitee.com/anolis/keentuned/blob/master/daemon/examples/benchmark/wrk/bench_wrk_nginx_long.json)，你可以直接使用。可以看到，对于wrk工具，我们会关注Requests_sec, Transfer_sec, Latency_90和Latency_99四个指标。 +  我们需要为wrk实现一个自动化脚本使keentune-bench能够自动运行benchmark工具，我们已经实现好了这个脚本，并为其写好了配置文件，你可以直接使用。可以看到，对于wrk工具，我们会关注Requests_sec, Transfer_sec, Latency_90和Latency_99四个指标。 ## 2.4. benchmark配置 手动编辑`/etc/keentune/conf/keentuned.conf`文件 @@ -45,16 +45,16 @@ BENCH_DEST_IP = [ip address of vm B] ``` # 3. Nginx服务端安装 -  Nginx是我们的优化目标，我们需要在虚拟机B上安装Nginx服务并启动，具体操作步骤见[《nginx安装配置手册》](../benchmark_docs/Nginx.md) +  Nginx是我们的优化目标，我们需要在虚拟机B上安装Nginx服务并启动，具体操作步骤见《nginx安装配置手册》 # 4. KeenTune智能调优   接下来我们可以用KeenTune进行智能调优了，keentune-brain会不断给出参数配置并由keentune-target设置到nginx运行的环境中，然后会拉起keentune-bench对性能进行评估，并作为反馈数据。当然以上流程都是KeenTune自动完成的，我们需要准备好以下文件(**以下文件已随KeenTune安装**) -+ [benchmark运行脚本](https://gitee.com/anolis/keentuned/blob/master/daemon/examples/benchmark/wrk/ack_nginx_http_long_base.py "benchmark运行脚本") -+ [benchmark配置文件](https://gitee.com/anolis/keentuned/blob/master/daemon/examples/benchmark/wrk/bench_wrk_nginx_long.json "benchmark配置文件") -+ [待调优内核参数列表](https://gitee.com/anolis/keentuned/blob/master/daemon/examples/parameter/sysctl.json " 待调优内核参数列表") ++ benchmark运行脚本 ++ benchmark配置文件 ++ 待调优内核参数列表 -  有了这些文件之后，我们可以使用KeenTune选择HORD算法对内核参数发起一次参数智能调优，具体操作步骤见[《KeenTune智能调优》](../keentune_docs/KeenTune_auto_tuning.md) +  有了这些文件之后，我们可以使用KeenTune选择HORD算法对内核参数发起一次参数智能调优，具体操作步骤见《KeenTune智能调优 # 5. 调优效果验证和提交   调优之后你可以在日志文件中找到[调优幅度信息和最优参数文件]，我们希望你将算法给出的**最优参数配置**上传到我们指定的仓库，并**备注性能优化情况**(benchmark metrics and promotion) @@ -85,8 +85,7 @@ BENCH_DEST_IP = [ip address of vm B] } ``` -提交流程参考[《任务验收流程》](../KeenTune%E4%BB%BB%E5%8A%A1%E9%AA%8C%E6%94%B6%E6%B5%81%E7%A8%8B.md) - +提交流程参考《任务验收流程》 --- ## 常见问题 @@ -130,4 +129,4 @@ systemctl restart keentuned systemctl restart keentuned ``` -##### LEARN MORE：KeenTune介绍和演示视频：https://youtu.be/Q18aC9dA2_8 \ No newline at end of file +##### LEARN MORE：KeenTune介绍和演示视频：https://youtu.be/Q18aC9dA2_8 \ No newline at end of file -- Gitee From f3ce2ccbe21122f9b2a81c94f25f29dcd18b41fe Mon Sep 17 00:00:00 2001 From: Lxhz_test <760316987@qq.com> Date: Mon, 27 Jun 2022 07:16:38 +0000 Subject: [PATCH 02/11] =?UTF-8?q?update=20=E9=BE=99=E8=9C=A5=E4=B8=80?= =?UTF-8?q?=E5=88=BB/KeentuneAI=E8=B0=83=E4=BC=98=E4=BB=BB=E5=8A=A1/?= =?UTF-8?q?=E9=A2=98=E7=9B=AE=E6=8C=87=E5=AF=BC=E6=89=8B=E5=86=8C/KeenTune?= =?UTF-8?q?=E6=95=8F=E6=84=9F=E5=8F=82=E6=95=B0=E8=AF=86=E5=88=AB=E2=80=94?= =?UTF-8?q?=E2=80=94https=20short.md.=20update=20=E8=B6=85=E9=93=BE?= =?UTF-8?q?=E6=8E=A5=E6=96=B0=E7=AA=97=E5=8F=A3=E6=89=93=E5=BC=80?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- ...345\210\253\342\200\224\342\200\224https short.md" | 11 +++++------ 1 file changed, 5 insertions(+), 6 deletions(-) diff --git "a/\351\276\231\350\234\245\344\270\200\345\210\273/KeentuneAI\350\260\203\344\274\230\344\273\273\345\212\241/\351\242\230\347\233\256\346\214\207\345\257\274\346\211\213\345\206\214/KeenTune\346\225\217\346\204\237\345\217\202\346\225\260\350\257\206\345\210\253\342\200\224\342\200\224https short.md" "b/\351\276\231\350\234\245\344\270\200\345\210\273/KeentuneAI\350\260\203\344\274\230\344\273\273\345\212\241/\351\242\230\347\233\256\346\214\207\345\257\274\346\211\213\345\206\214/KeenTune\346\225\217\346\204\237\345\217\202\346\225\260\350\257\206\345\210\253\342\200\224\342\200\224https short.md" index 73b8c5b..350d6f5 100644 --- "a/\351\276\231\350\234\245\344\270\200\345\210\273/KeentuneAI\350\260\203\344\274\230\344\273\273\345\212\241/\351\242\230\347\233\256\346\214\207\345\257\274\346\211\213\345\206\214/KeenTune\346\225\217\346\204\237\345\217\202\346\225\260\350\257\206\345\210\253\342\200\224\342\200\224https short.md" +++ "b/\351\276\231\350\234\245\344\270\200\345\210\273/KeentuneAI\350\260\203\344\274\230\344\273\273\345\212\241/\351\242\230\347\233\256\346\214\207\345\257\274\346\211\213\345\206\214/KeenTune\346\225\217\346\204\237\345\217\202\346\225\260\350\257\206\345\210\253\342\200\224\342\200\224https short.md" @@ -4,11 +4,11 @@ ## 1. KeenTune安装和配置 KeenTune总共包含四个组件：keentuned，keentune-target，keentune-brain，keentune-bench，在专家调优实践任务中，我们只需要安装keentune-brain和keentuned两个组件，并且只需要一台虚拟机来完成这个任务。 -我们可以选择使用YUM或者源码安装的方式来下载和安装KeenTune的组件，具体步骤请参考[《Keentune安装手册》](../keentune_docs/KeenTune_install.md) +我们可以选择使用YUM或者源码安装的方式来下载和安装KeenTune的组件，具体步骤请参考《Keentune安装手册》 ## 2. 数据集下载 -我们为你提供了实验所需的全部数据，你可以从[下载链接](../datas/demo-https-short.tar.gz)处下载。 +我们为你提供了实验所需的全部数据，你可以从下载链接处下载。 数据文件为.pkl格式，都包含以下几个文件（本小节内容不影响实验的进行，仅作简单介绍，可以跳过） + bench.pkl，benchmark工具的配置文件 @@ -24,7 +24,7 @@ KeenTune总共包含四个组件：keentuned，keentune-target，keentune-brain 首先我们将解压后的数据集copy到/var/keentune/data/tuning_data/tuning路径下(没有可以手动创建)，这个路径也是KeenTune运行智能参数调优时保存文件的路径。 我们应该可以通过keentune sensitize list命令看到我们提供的文件 ![](assets/44.png) -查到数据文件之后，通过下面这个命令使用KeenTune进行敏感参数识别，更具体的步骤请参考[《KeenTune敏感参数识别手册》](../keentune_docs/KeenTune_sensitize.md) +查到数据文件之后，通过下面这个命令使用KeenTune进行敏感参数识别，更具体的步骤请参考《KeenTune敏感参数识别手册》 ```shell keentune sensitize train --data demo-https-short --output demo-http-long-result --trials 2 @@ -52,8 +52,7 @@ keentune sensitize train --data demo-https-short --output demo-http-long-result } } ``` -提交流程参考[《任务验收流程》](../KeenTune%E4%BB%BB%E5%8A%A1%E9%AA%8C%E6%94%B6%E6%B5%81%E7%A8%8B.md) - +提交流程参考《任务验收流程》 --- ## 常见问题 @@ -79,4 +78,4 @@ systemctl restart keentune-brain + 在哪能找到敏感参数识别的结果文件 文件夹`/var/keentune/sensitize/`下可以找到对应的json文件，日志中也会告诉你具体路径 -##### LEARN MORE：KeenTune介绍和演示视频：https://youtu.be/Q18aC9dA2_8 \ No newline at end of file +##### LEARN MORE：KeenTune介绍和演示视频：https://youtu.be/Q18aC9dA2_8 \ No newline at end of file -- Gitee From 584e5262a119a2c1aca875153e1aab864025bc9c Mon Sep 17 00:00:00 2001 From: Lxhz_test <760316987@qq.com> Date: Mon, 27 Jun 2022 07:23:16 +0000 Subject: [PATCH 03/11] =?UTF-8?q?update=20=E9=BE=99=E8=9C=A5=E4=B8=80?= =?UTF-8?q?=E5=88=BB/KeentuneAI=E8=B0=83=E4=BC=98=E4=BB=BB=E5=8A=A1/?= =?UTF-8?q?=E9=A2=98=E7=9B=AE=E6=8C=87=E5=AF=BC=E6=89=8B=E5=86=8C/KeenTune?= =?UTF-8?q?=E6=95=8F=E6=84=9F=E5=8F=82=E6=95=B0=E8=AF=86=E5=88=AB=E2=80=94?= =?UTF-8?q?=E2=80=94https=20long.md.=20update=20=E8=B6=85=E9=93=BE?= =?UTF-8?q?=E6=8E=A5=E6=96=B0=E7=AA=97=E5=8F=A3=E6=89=93=E5=BC=80?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- ...\345\210\253\342\200\224\342\200\224https long.md" | 11 +++++------ 1 file changed, 5 insertions(+), 6 deletions(-) diff --git "a/\351\276\231\350\234\245\344\270\200\345\210\273/KeentuneAI\350\260\203\344\274\230\344\273\273\345\212\241/\351\242\230\347\233\256\346\214\207\345\257\274\346\211\213\345\206\214/KeenTune\346\225\217\346\204\237\345\217\202\346\225\260\350\257\206\345\210\253\342\200\224\342\200\224https long.md" "b/\351\276\231\350\234\245\344\270\200\345\210\273/KeentuneAI\350\260\203\344\274\230\344\273\273\345\212\241/\351\242\230\347\233\256\346\214\207\345\257\274\346\211\213\345\206\214/KeenTune\346\225\217\346\204\237\345\217\202\346\225\260\350\257\206\345\210\253\342\200\224\342\200\224https long.md" index dc465d3..46d7105 100644 --- "a/\351\276\231\350\234\245\344\270\200\345\210\273/KeentuneAI\350\260\203\344\274\230\344\273\273\345\212\241/\351\242\230\347\233\256\346\214\207\345\257\274\346\211\213\345\206\214/KeenTune\346\225\217\346\204\237\345\217\202\346\225\260\350\257\206\345\210\253\342\200\224\342\200\224https long.md" +++ "b/\351\276\231\350\234\245\344\270\200\345\210\273/KeentuneAI\350\260\203\344\274\230\344\273\273\345\212\241/\351\242\230\347\233\256\346\214\207\345\257\274\346\211\213\345\206\214/KeenTune\346\225\217\346\204\237\345\217\202\346\225\260\350\257\206\345\210\253\342\200\224\342\200\224https long.md" @@ -4,10 +4,10 @@ ## 1. KeenTune安装和配置 KeenTune总共包含四个组件：keentuned，keentune-target，keentune-brain，keentune-bench，在专家调优实践任务中，我们只需要安装keentune-brain和keentuned两个组件，并且只需要一台虚拟机来完成这个任务。 -我们可以选择使用YUM或者源码安装的方式来下载和安装KeenTune的组件，具体步骤请参考[《Keentune安装手册》](../keentune_docs/KeenTune_install.md) +我们可以选择使用YUM或者源码安装的方式来下载和安装KeenTune的组件，具体步骤请参考《Keentune安装手册》 ## 2. 数据集下载 -我们为你提供了实验所需的全部数据，你可以从[下载链接](../datas/demo-https-long.tar.gz)处下载。 +我们为你提供了实验所需的全部数据，你可以从下载链接处下载。 数据文件为.pkl格式，都包含以下几个文件（本小节内容不影响实验的进行，仅作简单介绍，可以跳过） + bench.pkl，benchmark工具的配置文件 @@ -24,7 +24,7 @@ KeenTune总共包含四个组件：keentuned，keentune-target，keentune-brain 首先我们将解压后的数据集copy到/var/keentune/data/tuning_data/tuning路径下(没有可以手动创建)，这个路径也是KeenTune运行智能参数调优时保存文件的路径。 我们应该可以通过keentune sensitize list命令看到我们提供的文件. ![](assets/44.png) -查到数据文件之后，通过下面这个命令使用KeenTune进行敏感参数识别，更具体的步骤请参考[《KeenTune敏感参数识别手册》](../keentune_docs/KeenTune_sensitize.md) +查到数据文件之后，通过下面这个命令使用KeenTune进行敏感参数识别，更具体的步骤请参考《KeenTune敏感参数识别手册》 ```shell keentune sensitize train --data demo-https-long --output demo-https-long-result --trials 2 @@ -52,8 +52,7 @@ keentune sensitize train --data demo-https-long --output demo-https-long-result } } ``` -提交流程参考[《任务验收流程》](../KeenTune%E4%BB%BB%E5%8A%A1%E9%AA%8C%E6%94%B6%E6%B5%81%E7%A8%8B.md) - +提交流程参考《任务验收流程》 --- ## 常见问题 @@ -79,4 +78,4 @@ systemctl restart keentune-brain + 在哪能找到敏感参数识别的结果文件 文件夹`/var/keentune/sensitize/`下可以找到对应的json文件，日志中也会告诉你具体路径 -##### LEARN MORE：KeenTune介绍和演示视频：https://youtu.be/Q18aC9dA2_8 \ No newline at end of file +##### LEARN MORE：KeenTune介绍和演示视频：https://youtu.be/Q18aC9dA2_8 \ No newline at end of file -- Gitee From 58199b5a97f664c37baf5a884dc664028c48e186 Mon Sep 17 00:00:00 2001 From: Lxhz_test <760316987@qq.com> Date: Mon, 27 Jun 2022 07:31:26 +0000 Subject: [PATCH 04/11] =?UTF-8?q?update=20=E9=BE=99=E8=9C=A5=E4=B8=80?= =?UTF-8?q?=E5=88=BB/KeentuneAI=E8=B0=83=E4=BC=98=E4=BB=BB=E5=8A=A1/?= =?UTF-8?q?=E9=A2=98=E7=9B=AE=E6=8C=87=E5=AF=BC=E6=89=8B=E5=86=8C/KeenTune?= =?UTF-8?q?=E6=95=8F=E6=84=9F=E5=8F=82=E6=95=B0=E8=AF=86=E5=88=AB=E2=80=94?= =?UTF-8?q?=E2=80=94http=20short.md.=20update=20=E8=B6=85=E9=93=BE?= =?UTF-8?q?=E6=8E=A5=E6=96=B0=E7=AA=97=E5=8F=A3=E6=89=93=E5=BC=80=20=20@zy?= =?UTF-8?q?=5Fchao?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- ...6\345\210\253\342\200\224\342\200\224http short.md" | 10 +++++----- 1 file changed, 5 insertions(+), 5 deletions(-) diff --git "a/\351\276\231\350\234\245\344\270\200\345\210\273/KeentuneAI\350\260\203\344\274\230\344\273\273\345\212\241/\351\242\230\347\233\256\346\214\207\345\257\274\346\211\213\345\206\214/KeenTune\346\225\217\346\204\237\345\217\202\346\225\260\350\257\206\345\210\253\342\200\224\342\200\224http short.md" "b/\351\276\231\350\234\245\344\270\200\345\210\273/KeentuneAI\350\260\203\344\274\230\344\273\273\345\212\241/\351\242\230\347\233\256\346\214\207\345\257\274\346\211\213\345\206\214/KeenTune\346\225\217\346\204\237\345\217\202\346\225\260\350\257\206\345\210\253\342\200\224\342\200\224http short.md" index 5def30d..d51df93 100644 --- "a/\351\276\231\350\234\245\344\270\200\345\210\273/KeentuneAI\350\260\203\344\274\230\344\273\273\345\212\241/\351\242\230\347\233\256\346\214\207\345\257\274\346\211\213\345\206\214/KeenTune\346\225\217\346\204\237\345\217\202\346\225\260\350\257\206\345\210\253\342\200\224\342\200\224http short.md" +++ "b/\351\276\231\350\234\245\344\270\200\345\210\273/KeentuneAI\350\260\203\344\274\230\344\273\273\345\212\241/\351\242\230\347\233\256\346\214\207\345\257\274\346\211\213\345\206\214/KeenTune\346\225\217\346\204\237\345\217\202\346\225\260\350\257\206\345\210\253\342\200\224\342\200\224http short.md" @@ -4,10 +4,10 @@ ## 1. KeenTune安装和配置 KeenTune总共包含四个组件：keentuned，keentune-target，keentune-brain，keentune-bench，在专家调优实践任务中，我们只需要安装keentune-brain和keentuned两个组件，并且只需要一台虚拟机来完成这个任务。 -我们可以选择使用YUM或者源码安装的方式来下载和安装KeenTune的组件，具体步骤请参考[《Keentune安装手册》](../keentune_docs/KeenTune_install.md) +我们可以选择使用YUM或者源码安装的方式来下载和安装KeenTune的组件，具体步骤请参考《Keentune安装手册》 ## 2. 数据集下载 -我们为你提供了实验所需的全部数据，你可以从[下载链接](../datas/demo-http-short.tar.gz)处下载。 +我们为你提供了实验所需的全部数据，你可以从下载链接处下载。 数据文件为.pkl格式，都包含以下几个文件（本小节内容不影响实验的进行，仅作简单介绍，可以跳过） + bench.pkl，benchmark工具的配置文件 @@ -23,7 +23,7 @@ KeenTune总共包含四个组件：keentuned，keentune-target，keentune-brain 首先我们将解压后的数据集copy到/var/keentune/data/tuning_data/tuning路径下(没有可以手动创建)，这个路径也是KeenTune运行智能参数调优时保存文件的路径。 我们应该可以通过keentune sensitize list命令看到我们提供的文件. ![](assets/44.png) -查到数据文件之后，通过下面这个命令使用KeenTune进行敏感参数识别，更具体的步骤请参考[《KeenTune敏感参数识别手册》](../keentune_docs/KeenTune_sensitize.md) +查到数据文件之后，通过下面这个命令使用KeenTune进行敏感参数识别，更具体的步骤请参考《KeenTune敏感参数识别手册》 ```shell keentune sensitize train --data demo-http-short --output demo-http-short-result --trials 2 @@ -50,7 +50,7 @@ keentune sensitize train --data demo-http-short --output demo-http-short-result } } ``` -提交流程参考[《任务验收流程》](../KeenTune%E4%BB%BB%E5%8A%A1%E9%AA%8C%E6%94%B6%E6%B5%81%E7%A8%8B.md) +提交流程参考《任务验收流程》 --- @@ -77,4 +77,4 @@ systemctl restart keentune-brain + 在哪能找到敏感参数识别的结果文件 文件夹`/var/keentune/sensitize/`下可以找到对应的json文件，日志中也会告诉你具体路径 -##### LEARN MORE：KeenTune介绍和演示视频：https://youtu.be/Q18aC9dA2_8 \ No newline at end of file +##### LEARN MORE：KeenTune介绍和演示视频：https://youtu.be/Q18aC9dA2_8 \ No newline at end of file -- Gitee From a47a179e34c628197f7afec2c946e51671b0440a Mon Sep 17 00:00:00 2001 From: zhongjie <7818108+logiczhongjie_admin_admin_admin@user.noreply.gitee.com> Date: Mon, 27 Jun 2022 07:31:53 +0000 Subject: [PATCH 05/11] =?UTF-8?q?update=20=E9=BE=99=E8=9C=A5=E4=B8=80?= =?UTF-8?q?=E5=88=BB/KeentuneAI=E8=B0=83=E4=BC=98=E4=BB=BB=E5=8A=A1/?= =?UTF-8?q?=E9=A2=98=E7=9B=AE=E6=8C=87=E5=AF=BC=E6=89=8B=E5=86=8C/KeenTune?= =?UTF-8?q?=E4=B8=93=E5=AE=B6=E8=B0=83=E4=BC=98=E5=AE=9E=E8=B7=B5=E2=80=94?= =?UTF-8?q?=E2=80=94=E7=BD=91=E7=BB=9C=E4=BD=8E=E6=97=B6=E5=BB=B6.md.=20@z?= =?UTF-8?q?y=5Fchao?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- ...3\234\344\275\216\346\227\266\345\273\266.md" | 16 ++++++++-------- 1 file changed, 8 insertions(+), 8 deletions(-) diff --git "a/\351\276\231\350\234\245\344\270\200\345\210\273/KeentuneAI\350\260\203\344\274\230\344\273\273\345\212\241/\351\242\230\347\233\256\346\214\207\345\257\274\346\211\213\345\206\214/KeenTune\344\270\223\345\256\266\350\260\203\344\274\230\345\256\236\350\267\265\342\200\224\342\200\224\347\275\221\347\273\234\344\275\216\346\227\266\345\273\266.md" "b/\351\276\231\350\234\245\344\270\200\345\210\273/KeentuneAI\350\260\203\344\274\230\344\273\273\345\212\241/\351\242\230\347\233\256\346\214\207\345\257\274\346\211\213\345\206\214/KeenTune\344\270\223\345\256\266\350\260\203\344\274\230\345\256\236\350\267\265\342\200\224\342\200\224\347\275\221\347\273\234\344\275\216\346\227\266\345\273\266.md" index 1f4832f..444c7dd 100644 --- "a/\351\276\231\350\234\245\344\270\200\345\210\273/KeentuneAI\350\260\203\344\274\230\344\273\273\345\212\241/\351\242\230\347\233\256\346\214\207\345\257\274\346\211\213\345\206\214/KeenTune\344\270\223\345\256\266\350\260\203\344\274\230\345\256\236\350\267\265\342\200\224\342\200\224\347\275\221\347\273\234\344\275\216\346\227\266\345\273\266.md" +++ "b/\351\276\231\350\234\245\344\270\200\345\210\273/KeentuneAI\350\260\203\344\274\230\344\273\273\345\212\241/\351\242\230\347\233\256\346\214\207\345\257\274\346\211\213\345\206\214/KeenTune\344\270\223\345\256\266\350\260\203\344\274\230\345\256\236\350\267\265\342\200\224\342\200\224\347\275\221\347\273\234\344\275\216\346\227\266\345\273\266.md" @@ -4,21 +4,21 @@ # 1. KeenTune安装和配置 ## 1.1 KeenTune安装 -  KeenTune总共包含四个组件：keentuned，keentune-target，keentune-brain，keentune-bench，在专家调优实践任务中，我们只需要安装keentuned和keentune-target，我们需要两台虚拟机A、B来完成这个任务，其中A虚拟机中安装keentuned和benchmark工具[wrk](../benchmark_docs/wrk.md)，B虚拟机安装keentune-target和nginx服务 +  KeenTune总共包含四个组件：keentuned，keentune-target，keentune-brain，keentune-bench，在专家调优实践任务中，我们只需要安装keentuned和keentune-target，我们需要两台虚拟机A、B来完成这个任务，其中A虚拟机中安装keentuned和benchmark工具wrk，B虚拟机安装keentune-target和nginx服务 -  我们可以选择使用YUM或者源码安装的方式来下载和安装KeenTune的两个组件，具体步骤请参考[《Keentune安装手册》](../keentune_docs/KeenTune_install.md) +  我们可以选择使用YUM或者源码安装的方式来下载和安装KeenTune的两个组件，具体步骤请参考《Keentune安装手册》 # 2. benchmark工具准备 ## 2.1. benchmark工具安装   wrk 是一款针对 http 协议的基准测试工具，它能够在单机多核 CPU 的条件下，使用系统自带的高性能 I/O 机制，如 epoll，kqueue 等，通过多线程和事件模式，对目标机器（服务端）产生大量的负载。即wrk能够开启多个连接访问接口，看接口最多每秒可以承受多少连接。 -  所以我们希望你在虚拟机A上安装wrk，具体的安装步骤请参考[《wrk安装使用手册》](../benchmark_docs/wrk.md) +  所以我们希望你在虚拟机A上安装wrk，具体的安装步骤请参考《wrk安装使用手册》 ## 2.3 Nginx服务端安装 -  Nginx是我们的优化目标，我们需要在虚拟机B上安装Nginx服务并启动，具体操作步骤见[《nginx安装配置手册》](../benchmark_docs/Nginx.md) +  Nginx是我们的优化目标，我们需要在虚拟机B上安装Nginx服务并启动，具体操作步骤见《nginx安装配置手册》 ## 2.2. benchmark工具使用 -  使用KeenTune进行专家调优之前，我们手动执行一下wrk来看一下专家调优之前的性能指标，具体的执行方法和参考指标请同样参考[《wrk安装使用手册》](../benchmark_docs/wrk.md) +  使用KeenTune进行专家调优之前，我们手动执行一下wrk来看一下专家调优之前的性能指标，具体的执行方法和参考指标请同样参考《wrk安装使用手册》 # 3. 使用KeenTune进行专家调优 KeenTune中内置的优化方案有： @@ -27,13 +27,13 @@ KeenTune中内置的优化方案有： + net_high_throuput.conf（网络高吞吐） + net_low_latency.conf（网络低时延） -在这里我们希望你选择`net_low_latency.conf`进行专家调优，具体方法参考[《KeenTune专家调优》](../keentune_docs/KeenTune_profile.md) +在这里我们希望你选择`net_low_latency.conf`进行专家调优，具体方法参考《KeenTune专家调优》 # 4. 任务对比和结果提交   通过调优前后都执行一次benchmark来验证调优效果，希望你提交benchmark在调优前后的运行截图各一张如下所示的截图，并在pr内容中补充必要的注释提到我们指定的仓库 ![](./assets/profile.jpg) -提交流程参考[《任务验收流程》](../KeenTune%E4%BB%BB%E5%8A%A1%E9%AA%8C%E6%94%B6%E6%B5%81%E7%A8%8B.md) +提交流程参考《任务验收流程》 --- @@ -52,4 +52,4 @@ gpgcheck=0 修改文件`/etc/keentune/conf/keentuned.conf`下的配置项`target-group-1 -> TARGET_IP`和`bench-group-1 -> BENCH_DEST_IP`为调优机器的ip **(也是你安装nginx的机器)** -##### LEARN MORE：KeenTune介绍和演示视频：https://youtu.be/Q18aC9dA2_8 \ No newline at end of file +##### LEARN MORE：KeenTune介绍和演示视频：https://youtu.be/Q18aC9dA2_8 \ No newline at end of file -- Gitee From 9b635c9b605f5a4cfd3f22ff0a6cf581640f0cb9 Mon Sep 17 00:00:00 2001 From: Lxhz_test <760316987@qq.com> Date: Mon, 27 Jun 2022 07:38:24 +0000 Subject: [PATCH 06/11] =?UTF-8?q?update=20=E9=BE=99=E8=9C=A5=E4=B8=80?= =?UTF-8?q?=E5=88=BB/KeentuneAI=E8=B0=83=E4=BC=98=E4=BB=BB=E5=8A=A1/?= =?UTF-8?q?=E9=A2=98=E7=9B=AE=E6=8C=87=E5=AF=BC=E6=89=8B=E5=86=8C/KeenTune?= =?UTF-8?q?=E6=95=8F=E6=84=9F=E5=8F=82=E6=95=B0=E8=AF=86=E5=88=AB=E2=80=94?= =?UTF-8?q?=E2=80=94http=20long.md.=20update=20=E8=B6=85=E9=93=BE=E6=8E=A5?= =?UTF-8?q?=E6=96=B0=E7=AA=97=E5=8F=A3=E6=89=93=E5=BC=80=20@zy=5Fchao?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- ...\345\210\253\342\200\224\342\200\224http long.md" | 12 +++++------- 1 file changed, 5 insertions(+), 7 deletions(-) diff --git "a/\351\276\231\350\234\245\344\270\200\345\210\273/KeentuneAI\350\260\203\344\274\230\344\273\273\345\212\241/\351\242\230\347\233\256\346\214\207\345\257\274\346\211\213\345\206\214/KeenTune\346\225\217\346\204\237\345\217\202\346\225\260\350\257\206\345\210\253\342\200\224\342\200\224http long.md" "b/\351\276\231\350\234\245\344\270\200\345\210\273/KeentuneAI\350\260\203\344\274\230\344\273\273\345\212\241/\351\242\230\347\233\256\346\214\207\345\257\274\346\211\213\345\206\214/KeenTune\346\225\217\346\204\237\345\217\202\346\225\260\350\257\206\345\210\253\342\200\224\342\200\224http long.md" index ff4c53b..dbc2fa0 100644 --- "a/\351\276\231\350\234\245\344\270\200\345\210\273/KeentuneAI\350\260\203\344\274\230\344\273\273\345\212\241/\351\242\230\347\233\256\346\214\207\345\257\274\346\211\213\345\206\214/KeenTune\346\225\217\346\204\237\345\217\202\346\225\260\350\257\206\345\210\253\342\200\224\342\200\224http long.md" +++ "b/\351\276\231\350\234\245\344\270\200\345\210\273/KeentuneAI\350\260\203\344\274\230\344\273\273\345\212\241/\351\242\230\347\233\256\346\214\207\345\257\274\346\211\213\345\206\214/KeenTune\346\225\217\346\204\237\345\217\202\346\225\260\350\257\206\345\210\253\342\200\224\342\200\224http long.md" @@ -4,10 +4,9 @@ ## 1. KeenTune安装和配置 KeenTune总共包含四个组件：keentuned，keentune-target，keentune-brain，keentune-bench，在专家调优实践任务中，我们只需要安装keentune-brain和keentuned两个组件，并且只需要一台虚拟机来完成这个任务。 -我们可以选择使用YUM或者源码安装的方式来下载和安装KeenTune的组件，具体步骤请参考[《Keentune安装手册》](../keentune_docs/KeenTune_install.md) - +我们可以选择使用YUM或者源码安装的方式来下载和安装KeenTune的组件，具体步骤请参考《Keentune安装手册》 ## 2. 数据集下载 -我们为你提供了实验所需的全部数据，你可以从[下载链接](../datas/demo-http-long.tar.gz)处下载。 +我们为你提供了实验所需的全部数据，你可以从下载链接处下载。 数据文件为.pkl格式，都包含以下几个文件（本小节内容不影响实验的进行，仅作简单介绍，可以跳过） + bench.pkl，benchmark工具的配置文件 @@ -23,7 +22,7 @@ KeenTune总共包含四个组件：keentuned，keentune-target，keentune-brain 首先我们将解压后的数据集copy到/var/keentune/data/tuning_data/tuning路径下(没有可以手动创建)，这个路径也是KeenTune运行智能参数调优时保存文件的路径。 我们应该可以通过keentune sensitize list命令看到我们提供的文件 ![](assets/44.png) -查到数据文件之后，通过下面这个命令使用KeenTune进行敏感参数识别，更具体的步骤请参考[《KeenTune敏感参数识别手册》](../keentune_docs/KeenTune_sensitize.md) +查到数据文件之后，通过下面这个命令使用KeenTune进行敏感参数识别，更具体的步骤请参考《KeenTune敏感参数识别手册》 ```shell keentune sensitize train --data demo-http-long --output demo-http-long-result --trials 2 @@ -50,8 +49,7 @@ keentune sensitize train --data demo-http-long --output demo-http-long-result -- } } ``` -提交流程参考[《任务验收流程》](../KeenTune%E4%BB%BB%E5%8A%A1%E9%AA%8C%E6%94%B6%E6%B5%81%E7%A8%8B.md) - +提交流程参考《任务验收流程》 --- ## 常见问题 @@ -77,4 +75,4 @@ systemctl restart keentune-brain + 在哪能找到敏感参数识别的结果文件 文件夹`/var/keentune/sensitize/`下可以找到对应的json文件，日志中也会告诉你具体路径 -##### LEARN MORE：KeenTune介绍和演示视频：https://youtu.be/Q18aC9dA2_8 \ No newline at end of file +##### LEARN MORE：KeenTune介绍和演示视频：https://youtu.be/Q18aC9dA2_8 \ No newline at end of file -- Gitee From 9909e35bef0657781a1d170a981832d91c6abf2d Mon Sep 17 00:00:00 2001 From: Lxhz_test <760316987@qq.com> Date: Mon, 27 Jun 2022 07:45:16 +0000 Subject: [PATCH 07/11] =?UTF-8?q?update=20=E9=BE=99=E8=9C=A5=E4=B8=80?= =?UTF-8?q?=E5=88=BB/KeentuneAI=E8=B0=83=E4=BC=98=E4=BB=BB=E5=8A=A1/?= =?UTF-8?q?=E9=A2=98=E7=9B=AE=E6=8C=87=E5=AF=BC=E6=89=8B=E5=86=8C/KeenTune?= =?UTF-8?q?=E4=B8=93=E5=AE=B6=E8=B0=83=E4=BC=98=E5=AE=9E=E8=B7=B5=E2=80=94?= =?UTF-8?q?=E2=80=94=E7=BD=91=E7=BB=9C=E9=AB=98=E5=90=9E=E5=90=90.md.=20up?= =?UTF-8?q?date=20=E8=B6=85=E9=93=BE=E6=8E=A5=E6=96=B0=E7=AA=97=E5=8F=A3?= =?UTF-8?q?=E6=89=93=E5=BC=80=20@zy=5Fchao?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- ...3\234\351\253\230\345\220\236\345\220\220.md" | 16 +++++++--------- 1 file changed, 7 insertions(+), 9 deletions(-) diff --git "a/\351\276\231\350\234\245\344\270\200\345\210\273/KeentuneAI\350\260\203\344\274\230\344\273\273\345\212\241/\351\242\230\347\233\256\346\214\207\345\257\274\346\211\213\345\206\214/KeenTune\344\270\223\345\256\266\350\260\203\344\274\230\345\256\236\350\267\265\342\200\224\342\200\224\347\275\221\347\273\234\351\253\230\345\220\236\345\220\220.md" "b/\351\276\231\350\234\245\344\270\200\345\210\273/KeentuneAI\350\260\203\344\274\230\344\273\273\345\212\241/\351\242\230\347\233\256\346\214\207\345\257\274\346\211\213\345\206\214/KeenTune\344\270\223\345\256\266\350\260\203\344\274\230\345\256\236\350\267\265\342\200\224\342\200\224\347\275\221\347\273\234\351\253\230\345\220\236\345\220\220.md" index 4fe6ba4..52c077f 100644 --- "a/\351\276\231\350\234\245\344\270\200\345\210\273/KeentuneAI\350\260\203\344\274\230\344\273\273\345\212\241/\351\242\230\347\233\256\346\214\207\345\257\274\346\211\213\345\206\214/KeenTune\344\270\223\345\256\266\350\260\203\344\274\230\345\256\236\350\267\265\342\200\224\342\200\224\347\275\221\347\273\234\351\253\230\345\220\236\345\220\220.md" +++ "b/\351\276\231\350\234\245\344\270\200\345\210\273/KeentuneAI\350\260\203\344\274\230\344\273\273\345\212\241/\351\242\230\347\233\256\346\214\207\345\257\274\346\211\213\345\206\214/KeenTune\344\270\223\345\256\266\350\260\203\344\274\230\345\256\236\350\267\265\342\200\224\342\200\224\347\275\221\347\273\234\351\253\230\345\220\236\345\220\220.md" @@ -6,20 +6,19 @@ ## 1.1 KeenTune安装   KeenTune总共包含四个组件：keentuned，keentune-target，keentune-brain，keentune-bench，在专家调优实践任务中，我们只需要安装keentuned和keentune-target，我们需要两台虚拟机A、B来完成这个任务，其中A虚拟机中安装keentuned和benchmark工具[wrk](../benchmark_docs/wrk.md)，B虚拟机安装keentune-target和nginx服务 -  我们可以选择使用YUM或者源码安装的方式来下载和安装KeenTune的两个组件，具体步骤请参考[《Keentune安装手册》](../keentune_docs/KeenTune_install.md) +  我们可以选择使用YUM或者源码安装的方式来下载和安装KeenTune的两个组件，具体步骤请参考《Keentune安装手册》 # 2. benchmark工具准备 ## 2.1. benchmark工具安装   wrk 是一款针对 http 协议的基准测试工具，它能够在单机多核 CPU 的条件下，使用系统自带的高性能 I/O 机制，如 epoll，kqueue 等，通过多线程和事件模式，对目标机器（服务端）产生大量的负载。即wrk能够开启多个连接访问接口，看接口最多每秒可以承受多少连接。 -  所以我们希望你在虚拟机A上安装wrk，具体的安装步骤请参考[《wrk安装使用手册》](../benchmark_docs/wrk.md) +  所以我们希望你在虚拟机A上安装wrk，具体的安装步骤请参考《wrk安装使用手册》 ## 2.3 Nginx服务端安装 -  Nginx是我们的优化目标，我们需要在虚拟机B上安装Nginx服务并启动，具体操作步骤见[《nginx安装配置手册》](../benchmark_docs/Nginx.md) +  Nginx是我们的优化目标，我们需要在虚拟机B上安装Nginx服务并启动，具体操作步骤见《nginx安装配置手册》 ## 2.2. benchmark工具使用 -  使用KeenTune进行专家调优之前，我们手动执行一下wrk来看一下专家调优之前的性能指标，具体的执行方法和参考指标请同样参考[《wrk安装使用手册》](../benchmark_docs/wrk.md) - +  使用KeenTune进行专家调优之前，我们手动执行一下wrk来看一下专家调优之前的性能指标，具体的执行方法和参考指标请同样参考《wrk安装使用手册》 # 3. 使用KeenTune进行专家调优 KeenTune中内置的优化方案有： @@ -27,14 +26,13 @@ KeenTune中内置的优化方案有： + net_high_throuput.conf（网络高吞吐） + net_low_latency.conf（网络低时延） -在这里我们希望你选择`net_high_throuput.conf`进行专家调优，具体方法参考[《KeenTune专家调优》](../keentune_docs/KeenTune_profile.md) +在这里我们希望你选择`net_high_throuput.conf`进行专家调优，具体方法参考《KeenTune专家调优》 # 4. 任务对比和结果提交   通过调优前后都执行一次benchmark来验证调优效果，希望你提交benchmark在调优前后的运行截图各一张如下所示的截图，并在pr内容中补充必要的注释提到我们指定的仓库 ![](./assets/profile.jpg) -提交流程参考[《任务验收流程》](../KeenTune%E4%BB%BB%E5%8A%A1%E9%AA%8C%E6%94%B6%E6%B5%81%E7%A8%8B.md) - +提交流程参考《任务验收流程》 --- ## 常见问题 @@ -51,4 +49,4 @@ gpgcheck=0 + **如何指定调优机器** 修改文件`/etc/keentune/conf/keentuned.conf`下的配置项`target-group-1 -> TARGET_IP`和`bench-group-1 -> BENCH_DEST_IP`为调优机器的ip **(也是你安装nginx的机器)** -##### LEARN MORE：KeenTune介绍和演示视频：https://youtu.be/Q18aC9dA2_8 \ No newline at end of file +##### LEARN MORE：KeenTune介绍和演示视频：https://youtu.be/Q18aC9dA2_8 \ No newline at end of file -- Gitee From 09691c5686fef1617b62ce97ee2be2aa0d14daf2 Mon Sep 17 00:00:00 2001 From: wb-zyf789548 Date: Tue, 28 Jun 2022 10:17:10 +0800 Subject: [PATCH 08/11] =?UTF-8?q?=E4=BF=AE=E5=A4=8D=E7=AC=AC57=E8=A1=8C?= =?UTF-8?q?=E3=80=8B=E9=97=AE=E9=A2=98?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- ...42\200\224\342\200\224Nginx\345\217\202\346\225\260+HORD.md" | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git "a/\351\276\231\350\234\245\344\270\200\345\210\273/KeentuneAI\350\260\203\344\274\230\344\273\273\345\212\241/\351\242\230\347\233\256\346\214\207\345\257\274\346\211\213\345\206\214/KeenTune\346\231\272\350\203\275\345\217\202\346\225\260\350\260\203\344\274\230\342\200\224\342\200\224Nginx\345\217\202\346\225\260+HORD.md" "b/\351\276\231\350\234\245\344\270\200\345\210\273/KeentuneAI\350\260\203\344\274\230\344\273\273\345\212\241/\351\242\230\347\233\256\346\214\207\345\257\274\346\211\213\345\206\214/KeenTune\346\231\272\350\203\275\345\217\202\346\225\260\350\260\203\344\274\230\342\200\224\342\200\224Nginx\345\217\202\346\225\260+HORD.md" index 68268ea..b30e97e 100644 --- "a/\351\276\231\350\234\245\344\270\200\345\210\273/KeentuneAI\350\260\203\344\274\230\344\273\273\345\212\241/\351\242\230\347\233\256\346\214\207\345\257\274\346\211\213\345\206\214/KeenTune\346\231\272\350\203\275\345\217\202\346\225\260\350\260\203\344\274\230\342\200\224\342\200\224Nginx\345\217\202\346\225\260+HORD.md" +++ "b/\351\276\231\350\234\245\344\270\200\345\210\273/KeentuneAI\350\260\203\344\274\230\344\273\273\345\212\241/\351\242\230\347\233\256\346\214\207\345\257\274\346\211\213\345\206\214/KeenTune\346\231\272\350\203\275\345\217\202\346\225\260\350\260\203\344\274\230\342\200\224\342\200\224Nginx\345\217\202\346\225\260+HORD.md" @@ -54,7 +54,7 @@ BENCH_DEST_IP = [ip address of vm B] + benchmark配置文件 + 待调优内核参数列表 -  有了这些文件之后，我们可以使用KeenTune选择HORD算法对内核参数发起一次参数智能调优，具体操作步骤见《KeenTune智能调优 +  有了这些文件之后，我们可以使用KeenTune选择HORD算法对内核参数发起一次参数智能调优，具体操作步骤见《KeenTune智能调优》 # 5. 调优效果验证和提交   调优之后你可以在日志文件中找到[调优幅度信息和最优参数文件]，我们希望你将算法给出的**最优参数配置**上传到我们指定的仓库，并**备注性能优化情况**(benchmark metrics and promotion) -- Gitee From 2b587a534e20e60dfdcadbf91088ef6dedf05cbb Mon Sep 17 00:00:00 2001 From: wb-zyf789548 Date: Tue, 28 Jun 2022 11:14:40 +0800 Subject: [PATCH 09/11] =?UTF-8?q?=E4=BF=AE=E5=A4=8D=E7=AC=AC57=E8=A1=8C?= =?UTF-8?q?=E3=80=8B=E9=97=AE=E9=A2=98?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- ...\224Nginx\345\217\202\346\225\260+HORD.md" | 21 ++++++++++--------- 1 file changed, 11 insertions(+), 10 deletions(-) diff --git "a/\351\276\231\350\234\245\344\270\200\345\210\273/KeentuneAI\350\260\203\344\274\230\344\273\273\345\212\241/\351\242\230\347\233\256\346\214\207\345\257\274\346\211\213\345\206\214/KeenTune\346\231\272\350\203\275\345\217\202\346\225\260\350\260\203\344\274\230\342\200\224\342\200\224Nginx\345\217\202\346\225\260+HORD.md" "b/\351\276\231\350\234\245\344\270\200\345\210\273/KeentuneAI\350\260\203\344\274\230\344\273\273\345\212\241/\351\242\230\347\233\256\346\214\207\345\257\274\346\211\213\345\206\214/KeenTune\346\231\272\350\203\275\345\217\202\346\225\260\350\260\203\344\274\230\342\200\224\342\200\224Nginx\345\217\202\346\225\260+HORD.md" index c512e93..b385240 100644 --- "a/\351\276\231\350\234\245\344\270\200\345\210\273/KeentuneAI\350\260\203\344\274\230\344\273\273\345\212\241/\351\242\230\347\233\256\346\214\207\345\257\274\346\211\213\345\206\214/KeenTune\346\231\272\350\203\275\345\217\202\346\225\260\350\260\203\344\274\230\342\200\224\342\200\224Nginx\345\217\202\346\225\260+HORD.md" +++ "b/\351\276\231\350\234\245\344\270\200\345\210\273/KeentuneAI\350\260\203\344\274\230\344\273\273\345\212\241/\351\242\230\347\233\256\346\214\207\345\257\274\346\211\213\345\206\214/KeenTune\346\231\272\350\203\275\345\217\202\346\225\260\350\260\203\344\274\230\342\200\224\342\200\224Nginx\345\217\202\346\225\260+HORD.md" @@ -7,7 +7,8 @@ ## 1.1. KeenTune安装   KeenTune总共包含四个组件：keentuned，keentune-target，keentune-brain，keentune-bench，在专家调优实践任务中，我们需要安装全部四个组件，我们需要两台虚拟机A、B来完成这个任务，其中A虚拟机中安装keentuned，keentune-brain，keentune-bench以及benchmark工具[wrk](../benchmark_docs/wrk.md)，B虚拟机安装keentune-target来进行参数设置。 -  我们可以选择使用YUM或者源码安装的方式来下载和安装KeenTune的组件，具体步骤请参考[《Keentune安装手册》](../keentune_docs/KeenTune_install.md) +  我们可以选择使用YUM或者源码安装的方式来下载和安装KeenTune的组件，具体步骤请参考《Keentune安装手册》 ## 1.2. KeenTune的配置和启动   启动KeenTune之前还需要对KeenTune进行简单的配置，我们通过手动编辑`/etc/keentune/conf/keentuned.conf`文件配置虚拟机的ip从而构建起测试集群，并且指定调整nginx.json参数域。 @@ -34,13 +35,13 @@ systemctl restart keentuned ## 2.1. benchmark工具安装   wrk 是一款针对 http 协议的基准测试工具，它能够在单机多核 CPU 的条件下，使用系统自带的高性能 I/O 机制，如 epoll，kqueue 等，通过多线程和事件模式，对目标机器（服务端）产生大量的负载。即wrk能够开启多个连接访问接口，看接口最多每秒可以承受多少连接。 -  我们需要你在虚拟机B上安装wrk，具体的安装步骤请参考[《wrk安装使用手册》](../benchmark_docs/wrk.md) +  我们需要你在虚拟机B上安装wrk，具体的安装步骤请参考《wrk安装使用手册》 ## 2.2. benchmark工具使用 -  使用KeenTune进行专家调优之前，我们手动执行一下wrk来看一下专家调优之前的性能指标，具体的执行方法和参考指标请同样参考[《wrk安装使用手册》](../benchmark_docs/wrk.md) +  使用KeenTune进行专家调优之前，我们手动执行一下wrk来看一下专家调优之前的性能指标，具体的执行方法和参考指标请同样参考《wrk安装使用手册》 ## 2.3. benchmark脚本准备 -  我们需要为wrk实现一个自动化脚本使keentune-bench能够自动运行benchmark工具，我们已经实现好了这个[脚本](https://gitee.com/anolis/keentuned/blob/master/daemon/examples/benchmark/wrk/ack_nginx_http_long_base.py)，并为其写好了[配置文件](https://gitee.com/anolis/keentuned/blob/master/daemon/examples/benchmark/wrk/bench_wrk_nginx_long.json)，你可以直接使用。可以看到，对于wrk工具，我们会关注Requests_sec, Transfer_sec, Latency_90和Latency_99四个指标。 +  我们需要为wrk实现一个自动化脚本使keentune-bench能够自动运行benchmark工具，我们已经实现好了这个脚本，并为其写好了配置文件，你可以直接使用。可以看到，对于wrk工具，我们会关注Requests_sec, Transfer_sec, Latency_90和Latency_99四个指标。 ## 2.4. benchmark配置 手动编辑`/etc/keentune/conf/keentuned.conf`文件 @@ -51,16 +52,16 @@ BENCH_DEST_IP = [ip address of vm B] ``` # 3. Nginx服务端安装 -  Nginx是我们的优化目标，我们需要在虚拟机B上安装Nginx服务并启动，具体操作步骤见[《nginx安装配置手册》](../benchmark_docs/Nginx.md) +  Nginx是我们的优化目标，我们需要在虚拟机B上安装Nginx服务并启动，具体操作步骤见《nginx安装配置手册》 # 4. KeenTune智能调优   接下来我们可以用KeenTune进行智能调优了，keentune-brain会不断给出参数配置并由keentune-target设置到nginx运行的环境中，然后会拉起keentune-bench对性能进行评估，并作为反馈数据。当然以上流程都是KeenTune自动完成的，我们需要准备好以下文件(**以下文件已随KeenTune安装**) -+ [benchmark运行脚本](https://gitee.com/anolis/keentuned/blob/master/daemon/examples/benchmark/wrk/ack_nginx_http_long_base.py "benchmark运行脚本") -+ [benchmark配置文件](https://gitee.com/anolis/keentuned/blob/master/daemon/examples/benchmark/wrk/bench_wrk_nginx_long.json "benchmark配置文件") -+ [待调优内核参数列表](https://gitee.com/anolis/keentuned/blob/master/daemon/examples/parameter/sysctl.json " 待调优内核参数列表") ++ benchmark运行脚本 ++ benchmark配置文件 ++ 待调优内核参数列表 -  有了这些文件之后，我们可以使用KeenTune选择HORD算法对内核参数发起一次参数智能调优，具体操作步骤见[《KeenTune智能调优》](../keentune_docs/KeenTune_auto_tuning.md) +  有了这些文件之后，我们可以使用KeenTune选择HORD算法对内核参数发起一次参数智能调优，具体操作步骤见《KeenTune智能调优》 # 5. 调优效果验证和提交   调优之后你可以在日志文件中找到[调优幅度信息和最优参数文件]，我们希望你将算法给出的**最优参数配置**上传到我们指定的仓库，并**备注性能优化情况**(benchmark metrics and promotion) @@ -91,7 +92,7 @@ BENCH_DEST_IP = [ip address of vm B] } ``` -提交流程参考[《任务验收流程》](../KeenTune%E4%BB%BB%E5%8A%A1%E9%AA%8C%E6%94%B6%E6%B5%81%E7%A8%8B.md) +提交流程参考《任务验收流程》 --- -- Gitee From f10cae382a05e90b169076fdfecbdf828469909c Mon Sep 17 00:00:00 2001 From: wb-zyf789548 Date: Tue, 28 Jun 2022 11:37:28 +0800 Subject: [PATCH 10/11] =?UTF-8?q?=E4=BF=AE=E5=A4=8D?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- ...275\221\347\273\234\351\253\230\345\220\236\345\220\220.md" | 3 ++- ...50\257\206\345\210\253\342\200\224\342\200\224http long.md" | 1 + ...0\257\206\345\210\253\342\200\224\342\200\224https long.md" | 1 + ...\257\206\345\210\253\342\200\224\342\200\224https short.md" | 1 + ...2\200\224\342\200\224Nginx\345\217\202\346\225\260+HORD.md" | 2 +- 5 files changed, 6 insertions(+), 2 deletions(-) diff --git "a/\351\276\231\350\234\245\344\270\200\345\210\273/KeentuneAI\350\260\203\344\274\230\344\273\273\345\212\241/\351\242\230\347\233\256\346\214\207\345\257\274\346\211\213\345\206\214/KeenTune\344\270\223\345\256\266\350\260\203\344\274\230\345\256\236\350\267\265\342\200\224\342\200\224\347\275\221\347\273\234\351\253\230\345\220\236\345\220\220.md" "b/\351\276\231\350\234\245\344\270\200\345\210\273/KeentuneAI\350\260\203\344\274\230\344\273\273\345\212\241/\351\242\230\347\233\256\346\214\207\345\257\274\346\211\213\345\206\214/KeenTune\344\270\223\345\256\266\350\260\203\344\274\230\345\256\236\350\267\265\342\200\224\342\200\224\347\275\221\347\273\234\351\253\230\345\220\236\345\220\220.md" index 451614a..53baa8a 100644 --- "a/\351\276\231\350\234\245\344\270\200\345\210\273/KeentuneAI\350\260\203\344\274\230\344\273\273\345\212\241/\351\242\230\347\233\256\346\214\207\345\257\274\346\211\213\345\206\214/KeenTune\344\270\223\345\256\266\350\260\203\344\274\230\345\256\236\350\267\265\342\200\224\342\200\224\347\275\221\347\273\234\351\253\230\345\220\236\345\220\220.md" +++ "b/\351\276\231\350\234\245\344\270\200\345\210\273/KeentuneAI\350\260\203\344\274\230\344\273\273\345\212\241/\351\242\230\347\233\256\346\214\207\345\257\274\346\211\213\345\206\214/KeenTune\344\270\223\345\256\266\350\260\203\344\274\230\345\256\236\350\267\265\342\200\224\342\200\224\347\275\221\347\273\234\351\253\230\345\220\236\345\220\220.md" @@ -4,7 +4,7 @@ # 1. KeenTune安装和配置 ## 1.1 KeenTune安装 -  KeenTune总共包含四个组件：keentuned，keentune-target，keentune-brain，keentune-bench，在专家调优实践任务中，我们只需要安装keentuned和keentune-target，我们需要两台虚拟机A、B来完成这个任务，其中A虚拟机中安装keentuned和benchmark工具[wrk](../benchmark_docs/wrk.md)，B虚拟机安装keentune-target和nginx服务 +  KeenTune总共包含四个组件：keentuned，keentune-target，keentune-brain，keentune-bench，在专家调优实践任务中，我们只需要安装keentuned和keentune-target，我们需要两台虚拟机A、B来完成这个任务，其中A虚拟机中安装keentuned和benchmark工具wrk，B虚拟机安装keentune-target和nginx服务   我们可以选择使用YUM或者源码安装的方式来下载和安装KeenTune的两个组件，具体步骤请参考《Keentune安装手册》 @@ -33,6 +33,7 @@ KeenTune中内置的优化方案有： ![](./assets/profile.jpg) 提交流程参考《任务验收流程》 + --- ## 常见问题 diff --git "a/\351\276\231\350\234\245\344\270\200\345\210\273/KeentuneAI\350\260\203\344\274\230\344\273\273\345\212\241/\351\242\230\347\233\256\346\214\207\345\257\274\346\211\213\345\206\214/KeenTune\346\225\217\346\204\237\345\217\202\346\225\260\350\257\206\345\210\253\342\200\224\342\200\224http long.md" "b/\351\276\231\350\234\245\344\270\200\345\210\273/KeentuneAI\350\260\203\344\274\230\344\273\273\345\212\241/\351\242\230\347\233\256\346\214\207\345\257\274\346\211\213\345\206\214/KeenTune\346\225\217\346\204\237\345\217\202\346\225\260\350\257\206\345\210\253\342\200\224\342\200\224http long.md" index 8bbc3e4..c95d450 100644 --- "a/\351\276\231\350\234\245\344\270\200\345\210\273/KeentuneAI\350\260\203\344\274\230\344\273\273\345\212\241/\351\242\230\347\233\256\346\214\207\345\257\274\346\211\213\345\206\214/KeenTune\346\225\217\346\204\237\345\217\202\346\225\260\350\257\206\345\210\253\342\200\224\342\200\224http long.md" +++ "b/\351\276\231\350\234\245\344\270\200\345\210\273/KeentuneAI\350\260\203\344\274\230\344\273\273\345\212\241/\351\242\230\347\233\256\346\214\207\345\257\274\346\211\213\345\206\214/KeenTune\346\225\217\346\204\237\345\217\202\346\225\260\350\257\206\345\210\253\342\200\224\342\200\224http long.md" @@ -50,6 +50,7 @@ keentune sensitize train --data demo-http-long --output demo-http-long-result -- } ``` 提交流程参考《任务验收流程》 + --- ## 常见问题 diff --git "a/\351\276\231\350\234\245\344\270\200\345\210\273/KeentuneAI\350\260\203\344\274\230\344\273\273\345\212\241/\351\242\230\347\233\256\346\214\207\345\257\274\346\211\213\345\206\214/KeenTune\346\225\217\346\204\237\345\217\202\346\225\260\350\257\206\345\210\253\342\200\224\342\200\224https long.md" "b/\351\276\231\350\234\245\344\270\200\345\210\273/KeentuneAI\350\260\203\344\274\230\344\273\273\345\212\241/\351\242\230\347\233\256\346\214\207\345\257\274\346\211\213\345\206\214/KeenTune\346\225\217\346\204\237\345\217\202\346\225\260\350\257\206\345\210\253\342\200\224\342\200\224https long.md" index 73299d7..90fa5f3 100644 --- "a/\351\276\231\350\234\245\344\270\200\345\210\273/KeentuneAI\350\260\203\344\274\230\344\273\273\345\212\241/\351\242\230\347\233\256\346\214\207\345\257\274\346\211\213\345\206\214/KeenTune\346\225\217\346\204\237\345\217\202\346\225\260\350\257\206\345\210\253\342\200\224\342\200\224https long.md" +++ "b/\351\276\231\350\234\245\344\270\200\345\210\273/KeentuneAI\350\260\203\344\274\230\344\273\273\345\212\241/\351\242\230\347\233\256\346\214\207\345\257\274\346\211\213\345\206\214/KeenTune\346\225\217\346\204\237\345\217\202\346\225\260\350\257\206\345\210\253\342\200\224\342\200\224https long.md" @@ -53,6 +53,7 @@ keentune sensitize train --data demo-https-long --output demo-https-long-result } ``` 提交流程参考《任务验收流程》 + --- ## 常见问题 diff --git "a/\351\276\231\350\234\245\344\270\200\345\210\273/KeentuneAI\350\260\203\344\274\230\344\273\273\345\212\241/\351\242\230\347\233\256\346\214\207\345\257\274\346\211\213\345\206\214/KeenTune\346\225\217\346\204\237\345\217\202\346\225\260\350\257\206\345\210\253\342\200\224\342\200\224https short.md" "b/\351\276\231\350\234\245\344\270\200\345\210\273/KeentuneAI\350\260\203\344\274\230\344\273\273\345\212\241/\351\242\230\347\233\256\346\214\207\345\257\274\346\211\213\345\206\214/KeenTune\346\225\217\346\204\237\345\217\202\346\225\260\350\257\206\345\210\253\342\200\224\342\200\224https short.md" index 0ed933e..90925f7 100644 --- "a/\351\276\231\350\234\245\344\270\200\345\210\273/KeentuneAI\350\260\203\344\274\230\344\273\273\345\212\241/\351\242\230\347\233\256\346\214\207\345\257\274\346\211\213\345\206\214/KeenTune\346\225\217\346\204\237\345\217\202\346\225\260\350\257\206\345\210\253\342\200\224\342\200\224https short.md" +++ "b/\351\276\231\350\234\245\344\270\200\345\210\273/KeentuneAI\350\260\203\344\274\230\344\273\273\345\212\241/\351\242\230\347\233\256\346\214\207\345\257\274\346\211\213\345\206\214/KeenTune\346\225\217\346\204\237\345\217\202\346\225\260\350\257\206\345\210\253\342\200\224\342\200\224https short.md" @@ -53,6 +53,7 @@ keentune sensitize train --data demo-https-short --output demo-http-long-result } ``` 提交流程参考《任务验收流程》 + --- ## 常见问题 diff --git "a/\351\276\231\350\234\245\344\270\200\345\210\273/KeentuneAI\350\260\203\344\274\230\344\273\273\345\212\241/\351\242\230\347\233\256\346\214\207\345\257\274\346\211\213\345\206\214/KeenTune\346\231\272\350\203\275\345\217\202\346\225\260\350\260\203\344\274\230\342\200\224\342\200\224Nginx\345\217\202\346\225\260+HORD.md" "b/\351\276\231\350\234\245\344\270\200\345\210\273/KeentuneAI\350\260\203\344\274\230\344\273\273\345\212\241/\351\242\230\347\233\256\346\214\207\345\257\274\346\211\213\345\206\214/KeenTune\346\231\272\350\203\275\345\217\202\346\225\260\350\260\203\344\274\230\342\200\224\342\200\224Nginx\345\217\202\346\225\260+HORD.md" index b385240..b44f136 100644 --- "a/\351\276\231\350\234\245\344\270\200\345\210\273/KeentuneAI\350\260\203\344\274\230\344\273\273\345\212\241/\351\242\230\347\233\256\346\214\207\345\257\274\346\211\213\345\206\214/KeenTune\346\231\272\350\203\275\345\217\202\346\225\260\350\260\203\344\274\230\342\200\224\342\200\224Nginx\345\217\202\346\225\260+HORD.md" +++ "b/\351\276\231\350\234\245\344\270\200\345\210\273/KeentuneAI\350\260\203\344\274\230\344\273\273\345\212\241/\351\242\230\347\233\256\346\214\207\345\257\274\346\211\213\345\206\214/KeenTune\346\231\272\350\203\275\345\217\202\346\225\260\350\260\203\344\274\230\342\200\224\342\200\224Nginx\345\217\202\346\225\260+HORD.md" @@ -5,7 +5,7 @@ # 1. KeenTune安装和配置 ## 1.1. KeenTune安装 -  KeenTune总共包含四个组件：keentuned，keentune-target，keentune-brain，keentune-bench，在专家调优实践任务中，我们需要安装全部四个组件，我们需要两台虚拟机A、B来完成这个任务，其中A虚拟机中安装keentuned，keentune-brain，keentune-bench以及benchmark工具[wrk](../benchmark_docs/wrk.md)，B虚拟机安装keentune-target来进行参数设置。 +  KeenTune总共包含四个组件：keentuned，keentune-target，keentune-brain，keentune-bench，在专家调优实践任务中，我们需要安装全部四个组件，我们需要两台虚拟机A、B来完成这个任务，其中A虚拟机中安装keentuned，keentune-brain，keentune-bench以及benchmark工具wrk，B虚拟机安装keentune-target来进行参数设置。   我们可以选择使用YUM或者源码安装的方式来下载和安装KeenTune的组件，具体步骤请参考《Keentune安装手册》 -- Gitee From ee6d8c30dfd5956943efa7ca65fc4effe24d7df9 Mon Sep 17 00:00:00 2001 From: wb-zyf789548 Date: Tue, 28 Jun 2022 11:55:10 +0800 Subject: [PATCH 11/11] =?UTF-8?q?=E4=BF=AE=E5=A4=8D?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- ...50\257\206\345\210\253\342\200\224\342\200\224https long.md" | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git "a/\351\276\231\350\234\245\344\270\200\345\210\273/KeentuneAI\350\260\203\344\274\230\344\273\273\345\212\241/\351\242\230\347\233\256\346\214\207\345\257\274\346\211\213\345\206\214/KeenTune\346\225\217\346\204\237\345\217\202\346\225\260\350\257\206\345\210\253\342\200\224\342\200\224https long.md" "b/\351\276\231\350\234\245\344\270\200\345\210\273/KeentuneAI\350\260\203\344\274\230\344\273\273\345\212\241/\351\242\230\347\233\256\346\214\207\345\257\274\346\211\213\345\206\214/KeenTune\346\225\217\346\204\237\345\217\202\346\225\260\350\257\206\345\210\253\342\200\224\342\200\224https long.md" index 90fa5f3..3324d47 100644 --- "a/\351\276\231\350\234\245\344\270\200\345\210\273/KeentuneAI\350\260\203\344\274\230\344\273\273\345\212\241/\351\242\230\347\233\256\346\214\207\345\257\274\346\211\213\345\206\214/KeenTune\346\225\217\346\204\237\345\217\202\346\225\260\350\257\206\345\210\253\342\200\224\342\200\224https long.md" +++ "b/\351\276\231\350\234\245\344\270\200\345\210\273/KeentuneAI\350\260\203\344\274\230\344\273\273\345\212\241/\351\242\230\347\233\256\346\214\207\345\257\274\346\211\213\345\206\214/KeenTune\346\225\217\346\204\237\345\217\202\346\225\260\350\257\206\345\210\253\342\200\224\342\200\224https long.md" @@ -24,7 +24,7 @@ KeenTune总共包含四个组件：keentuned，keentune-target，keentune-brain 首先我们将解压后的数据集copy到/var/keentune/data/tuning_data/tuning路径下(没有可以手动创建)，这个路径也是KeenTune运行智能参数调优时保存文件的路径。 我们应该可以通过keentune sensitize list命令看到我们提供的文件. ![](assets/44.png) -查到数据文件之后，通过下面这个命令使用KeenTune进行敏感参数识别，更具体的步骤请参考《KeenTune敏感参数识别手册》 +查到数据文件之后，通过下面这个命令使用KeenTune进行敏感参数识别，更具体的步骤请参考《KeenTune敏感参数识别手册》 ```shell keentune sensitize train --data demo-https-long --output demo-https-long-result --trials 2 -- Gitee