# skill-evaluator

**Repository Path**: oliverjonas/skill-evaluator

## Basic Information

- **Project Name**: skill-evaluator
- **Description**: 根据skill的描述和执行文件，或者其他工具的描述文件评估skill工具的格式合规性、安全风险、涉敏数据等情况，输出评估报告。
- **Primary Language**: Python
- **License**: MulanPSL-2.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 1
- **Forks**: 0
- **Created**: 2026-03-06
- **Last Updated**: 2026-04-22

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# skill-evaluator

#### 介绍
skill-evaluator 是一款面向 AI 技能（Skill）和工具的自动化合规性与安全评估平台。通过解析技能描述文件、执行脚本或第三方工具元数据，自动检测格式规范、权限声明、依赖风险、敏感数据处理等关键点，输出结构化评估报告。支持命令行、Web界面和API三种交互方式，适用于开发、测试、运维及安全团队在技能开发、上线、集成等环节实现高效的质量与安全保障。

#### 软件架构
本项目采用模块化设计，核心模块包括：
- **解析模块**：解析技能描述文件（manifest/schema）、执行脚本等，提取结构化信息。
- **规则引擎**：内置多项合规性、安全性、敏感数据等评估规则，支持自定义扩展。
- **风险分析与分级**：对检测到的问题进行归类、分级，结合业务场景输出风险等级。
- **报告生成模块**：支持 Markdown、JSON 等多种格式，便于集成与审计。
- **多交互入口**：CLI、Web UI、RESTful API，满足不同用户和自动化场景需求。
- **平台集成接口**：便于与 CI/CD、Openclaw 等平台集成，实现自动化评估。

![输入图片说明](public%E5%9B%BE%E7%89%87.png)

#### 安装教程

💻 Windows系统安装命令
在 Windows PowerShell（建议以管理员身份运行）中，直接执行以下命令即可一键安装：
```
iwr -useb https://xxxxxxxxx.com/install.ps1 | iex
```

如果在执行时遇到权限错误，可以先运行下面的命令，更改执行策略后再尝试安装：
```
Set-ExecutionPolicy -ExecutionPolicy RemoteSigned -Scope CurrentUser
```

🍏 macOS / Linux系统安装命令
在 macOS 的终端 或 Linux 的 bash 中，执行以下命令：
```
curl -fsSL https://xxxxxxxxx.com/install.sh | bash
```

该命令同样会下载并执行官方安装脚本。如果下载缓慢，可以尝试配置国内镜像源或使用其他网络环境

install.ps1/install.sh脚本中包含：
1. 环境安装：
   python和pip安装
   npm安装
   node.js安装 

2. 克隆本仓库：
   ```bash
   git clone https://gitee.com/your-repo/skill-evaluator.git
   ```
3. 进入项目目录：
   ```bash
   cd skill-evaluator
   ```
4. 安装依赖（如有requirements.txt）：
   ```bash
   pip install -r requirements.txt
   ```
5. （可选）配置环境变量或自定义规则文件。

#### 交互方式

本项目提供命令行界面（CLI）、简单的WEB界面和API三种交互方式：
- **命令行界面（CLI）**：通过命令行参数指定输入文件、输出路径和评估规则，适合开发者和自动化脚本使用。

```
🐙Evaluator 2026.3.6 

Usage: evaulator [options] [command] 

Options:
  -V, --version     output the version number. | 输出版本号
  -h, --help        display help for command. | 显示命令帮助
  -a, -all          evaulate all files in this direct. | 根据文件夹下所有文件，执行评估
  -f, -file         evaulate one file in this direct. | 根据技能描述文件，执行技能评估
  -r, -run          Try running the skill files in the folder and output the results. | 尝试运行文件夹内的技能文件，输出结果

Commands:
  setup             Initialize evaulator. | 初始化evaulator
  onboard           Interactive wizard to set up the gateway, webui. | 交互式向导设置网关、webui
  config            Config helpers (get/set/unset). Run without subcommand for the wizard. | 配置助手（获取/设置/取消设置）。没有子命令运行向导
  (direct)          Directory address(./skills/email) | 文件夹目录
  (file)            File directory(./skills/email/SKILL.md) | 文件地址
  (url)             Assessed application service entry. | 被评估的应用服务入口

Examples:
  evaulator -all ./skills/email
    Perform a comprehensive skill assessment based on all files in the folder and output a report. | 根据文件夹下所有文件，执行综合技能评估，并输出报告
  evaulator -all ./skills/email/SKILL.md
    Perform skill assessment based on the skill description file and output a report. | 根据技能描述文件，执行技能评估，并输出报告

Docs: https://gitee.com/oliverjonas/skill-evaluator/blob/master/README.md
```

- **WEB界面**：提供用户友好的WEB界面，支持文件上传、规则选择和结果展示，适合非技术用户使用。

- **API接口**：提供RESTful API，支持远程调用评估功能，便于与其他系统集成。

#### 使用说明
1. 准备待评估的技能描述文件或工具包。
2. 选择交互方式：
   - **命令行**：
     ```powershell
     python main.py --input <skill描述文件路径> --output <报告输出路径> [--rules <自定义规则>] [--format <报告格式>]
     ```
     或使用内置 CLI 工具：
     ```powershell
     evaulator -all ./skills/email
     evaulator -file ./skills/email/SKILL.md
     evaulator -run ./skills/email
     evaulator -run https://clawhub.ai/gzlicanyi/imap-smtp-email
     ```
   - **Web界面**：访问本地或部署的 Web UI，上传文件并选择规则，在线查看评估结果。
   - **API**：通过 RESTful API 远程调用评估服务，适合系统集成。
3. 查看生成的评估报告，修正发现的问题。
4. 可集成至 CI/CD 流程，实现自动化评估。

#### 评估点
下表为主要评估项、说明、风险等级与建议：

| 序号 | 评估项 | 说明 | 风险等级 | 建议 |
|---:|---|---|---:|---|
| 1 | 格式合规性 | 检查描述文件、schema 等是否规范 | 低/中 | 自动化校验、schema 验证 |
| 2 | 权限与能力声明 | 权限声明是否合理且最小化 | 中 | 仅授予必要权限 |
| 3 | 外部依赖 | 第三方库/API/服务依赖情况 | 中 | 固定版本、信誉来源 |
| 4 | 网络访问行为 | 是否发起外部请求及目标 | 高 | 限制域名、流量监控 |
| 5 | 敏感数据处理 | 是否涉及敏感/个人数据 | 高 | 加密、脱敏、最小化 |
| 6 | 输入验证与注入防护 | 输入参数校验与注入防护 | 高 | 白名单、参数化校验 |
| 7 | 错误处理与容错 | 错误处理是否安全 | 中 | 友好错误、避免泄露 |
| 8 | 日志与审计 | 日志是否涉敏、可审计 | 中 | 避免敏感日志、开启审计 |
| 9 | 更新与维护 | 更新机制是否安全 | 中 | 签名验证、可信来源 |
| 10 | 隔离与运行环境 | 是否在沙箱/容器等隔离环境 | 高 | 沙箱、最小权限 |
| 11 | 性能与资源消耗 | 资源消耗是否合理 | 低/中 | 限流、资源隔离 |
| 12 | 测试覆盖 | 关键逻辑测试覆盖情况 | 低/中 | 自动化测试、CI |

#### Openclaw集成
skill-evaluator 可无缝集成至 Openclaw 平台，实现技能自动化合规与安全评估：
- 支持通过 Openclaw 插件/扩展机制，将本工具作为评估环节接入。
- 可通过 API 或命令行方式触发评估任务，自动回传评估结果。
- 支持定制报告格式，满足 Openclaw 平台上线、发布等流程的前置校验需求。
- 可结合 Openclaw 的自动化流水线，实现技能开发、测试、上线全流程的安全与合规保障。

集成示例：
```powershell
python main.py --input <skill描述文件> --output <报告> --format json
```
或通过 Openclaw 平台配置自动触发。

#### 参与贡献贡献者欢迎加入本项目的开发与维护，以下是参与贡献的步骤：

1.  Fork 本仓库
2.  新建 Feat_xxx 分支
3.  提交代码
4.  新建 Pull Request

#### 特技

1.  使用 Readme\_XXX.md 来支持不同的语言，例如 Readme\_en.md, Readme\_zh.md
2.  Gitee 官方博客 [blog.gitee.com](https://blog.gitee.com)
3.  你可以 [https://gitee.com/explore](https://gitee.com/explore) 这个地址来了解 Gitee 上的优秀开源项目
4.  [GVP](https://gitee.com/gvp) 全称是 Gitee 最有价值开源项目，是综合评定出的优秀开源项目
5.  Gitee 官方提供的使用手册 [https://gitee.com/help](https://gitee.com/help)
6.  Gitee 封面人物是一档用来展示 Gitee 会员风采的栏目 [https://gitee.com/gitee-stars/](https://gitee.com/gitee-stars/)