AI Agent 时代，Skill（技能）已经成为智能体扩展能力的主流方式。一份 SKILL.md 就可以赋予 Agent 代码审查、文档生成、数据处理等各种能力。但现实开发中很多团队都会遇到共同痛点：
- 修改 Skill 的提示描述后，Agent 行为悄悄退化，很难及时发现；
- 同一个 Skill 在不同 Agent 引擎（Claude Code、Codex、Qoder CLI）表现不一致，缺少统一验证手段；
- Skill 质量依赖人工肉眼复核，没有可回放、可回归的自动化用例；
- 评测发现失败问题后，缺少闭环，很难反哺迭代优化 Skill 本身阿里云开发…。
传统软件我们靠单元测试、集成测试、CI 门禁保障质量；但 Skill 本质是提示词 + 工具配置的组合，受模型版本、输入措辞、Agent 引擎影响极大，很长一段时间没有标准化的评测方案。为此，阿里巴巴开源了 skill‑up—— 面向 Agent Skill 的评测与演进框架，把软件工程的测试方法论完整迁移到 AI Skill 的开发流程中。
📌 skill‑up 是什么
skill‑up 是 Go 语言实现的命令行工具，遵循 Apache‑2.0 开源协议。核心分为两大模块：skill‑up（评测引擎） + skill‑upper（智能体进化助手）。
简单概括：
- skill‑up：基于声明式 YAML 编写评测用例，跨 Agent 引擎执行 Skill 测试，输出结构化报告，支持接入 CI/CD 做门禁校验；
- skill‑upper：配套 Agent Skill，读取评测失败结果，自动定位问题、修复 Skill 或者补充测试用例，完成「评测‑发现问题‑修复‑再回归」的闭环进化流程阿里云开发…。
它不绑定特定大模型或者 Agent 框架，只要遵循 SKILL.md 规范的技能，都可以接入 skill‑up 做质量保障。
✨核心能力亮点
1. 声明式 YAML 评测用例，纳入版本管理
把 Skill 的预期行为写成 YAML 测试用例，和 SKILL.md 存放在同一个 Git 仓库。修改 Skill 的同时同步维护用例，提交代码即可带着测试一起走，避免 “技能改了，预期全靠脑子记”。
标准的 Skill 项目目录结构：
my‑skill/
├── SKILL.md # 技能本体定义
├── evals/
│ ├── eval.yaml # 评测入口配置
│ └── cases/ # 测试用例集合
│ ├── basic‑success.yaml
│ ├── edge‑case‑null.yaml
│ └── regression‑001.yaml
├── fixtures/ # 测试依赖资源（可选）
└── scripts/ # 辅助脚本（可选）
阿里云开发…
2. 多 Agent 引擎兼容，一次用例多处运行
同一套评测套件，可以在 Claude Code、Codex、Qoder CLI 多个 Agent 引擎上跑，横向对比 Skill 在不同运行环境的表现，解决跨引擎行为不一致的难题。
3. 完整 CLI 工作流，适配本地开发 + CI 流水线
skill‑up 提供完整命令集，覆盖评测全生命周期Alibaba Op…：
skill‑up init：初始化评测配置文件；skill‑up validate：校验评测配置与用例合法性，提前发现格式错误；skill‑up run：执行全部或指定评测用例；skill‑up list‑cases：快速列出所有测试用例；skill‑up report：基于结果文件重新生成报告，支持 JSON（机器可读，对接下游工具）、Markdown（用于 PR 评论、CI 日志）两种格式；skill‑up import：支持导入其他评测格式迁移用例。
可以直接嵌入 GitHub Action / GitLab CI，每次变更 Skill 自动执行评测，不通过则阻断合并，实现 Skill 的门禁质量管控。
4. skill‑upper 实现评测闭环：评测失败自动驱动迭代
传统评测到输出报告就结束；skill‑upper 作为 Agent 技能，可以读取 skill‑up 的失败报告，通过大模型分析失败根因：要么修改 SKILL.md 修复逻辑缺陷，要么补充新的回归用例，修复完成后自动重跑评测，完成 “测试‑失败‑修复‑回归” 的自动化闭环，降低人工维护成本阿里云开发…。
🚀快速上手
方式 1：脚本直接安装二进制
curl -fsSL https://raw.githubusercontent.com/alibaba/skill-up/main/install.sh | bash
默认安装到 $HOME/.local/bin，确保该目录在环境变量 PATH 中即可直接调用 skill‑up 命令。
方式 2：源码编译
环境需要 Go 1.25+
git clone https://github.com/alibaba/skill-up.git
cd skill‑up
make build
编译后得到二进制程序，放到系统可执行路径。
跑起你的第一个评测
- 在你的 Skill 目录执行
skill‑up init生成基础评测配置； - 在 evals/cases 目录编写 YAML 测试用例；
- 执行：
skill‑up validate # 先校验配置没问题
skill‑up run # 执行评测
skill‑up report # 输出评测报告
如果需要开启自动修复闭环，安装配套 skill‑upper 技能，就可以让 Agent 基于失败结果自动迭代你的 Skill。
🎯适合哪些开发者 / 团队？
- Agent Skill 开发者：自己编写、维护 SKILL.md，需要持续保证迭代后的技能质量；
- 企业内部 Agent 平台团队：内部沉淀大量私有技能，希望用自动化评测做准入门禁，防止技能退化；
- 开源 Skill 生态维护者：需要一套标准方式，验证技能在不同 Agent 运行时的兼容性；
- 测试、质量工程师：希望把传统软件测试经验复用在 AI 智能体的质量保障工作上。
注意：skill‑up 是评测工具，不会帮你凭空生成高质量 Skill；质量上限取决于你编写的测试用例，用例越完备，评测价值越高。
💭写在最后
Agent Skill 正在快速普及，但质量工程还处在早期阶段。大部分团队还停留在人工体验式验证。skill‑up 的出现，试图把软件工程中版本管理、自动化测试、回归门禁的成熟范式带入 AI 技能开发。
如果你正在做 Agent Skill 的开发维护，不妨尝试把 skill‑up 接入你的工作流。
👉 GitHub：https://github.com/alibaba/skill‑up
👉 官方文档：alibaba.github.io/skill‑up/zh
