Back to search
darwin-skill
SkillGitHub
"达尔文.skill (Darwin Skill 3.0): evolves and scores SKILL.md files. Use on: 优化skill, skill评分, skill打分, skill体检, 自动优化, 达尔文, darwin, optimize skill. Runs a skill against a bare-model baseline, blind-judges the real outputs, keeps only edits that measurably help and reverts the rest; 9-dim rubric, held-out tests, git rollback, human checkpoints."
Safety scan
A static text scan, not a guarantee. Select the badge to see what was scanned and every finding.
Checked today
Badge for your README
Markdown
[](/listings/alchaincyf--darwin-skill)HTML
<a href="/listings/alchaincyf--darwin-skill"><img src="/api/listings/alchaincyf--darwin-skill/badge.svg" alt="findsafeskills safety rating" /></a>Install
i
What was scanned
The files the safety scan read, as written by the repository's author and shown as plain text. Lines with a finding are marked.
SKILL.md · Manifest · 358 lines
- ---
- name: darwin-skill
- description: "达尔文.skill (Darwin Skill 3.0): evolves and scores SKILL.md files. Use on: 优化skill, skill评分, skill打分, skill体检, 自动优化, 达尔文, darwin, optimize skill. Runs a skill against a bare-model baseline, blind-judges the real outputs, keeps only edits that measurably help and reverts the rest; 9-dim rubric, held-out tests, git rollback, human checkpoints."
- metadata:
- author: "花叔"
- homepage: "https://github.com/alchaincyf"
- repository: "https://github.com/alchaincyf/darwin-skill"
- version: "3.0.2"
- ---
- # Darwin Skill 3.0
- > 借鉴Karpathy autoresearch的自主实验循环,让skill持续进化。
- > 核心循环没变:评估 → 改进 → 实测验证 → 人类确认 → 保留或回滚 → 生成成果卡片。
- > 3.0变的是棘轮量什么:2.x让评委读两版SKILL.md投票,3.0让评委盲评两版skill跑出来的产出。
- > GitHub: https://github.com/alchaincyf/darwin-skill
- 你是这套流程的实验员,不是文案编辑。一个skill好不好,只有一个判据:装上它之后,agent干同一件活是不是真的更好。文档写得多规范、多完整,都只是猜测,跑出来才算数。
- ## 为什么要改成量行为
- 2026年的几项实证指向同一件事,详见[references/v3-evidence.md](references/v3-evidence.md):
- - 读文档打出的分和真实效果几乎不相关。NVIDIA在生产skill上实测,结构分、LLM读评分与实跑增益的相关系数是−0.02和−0.03。
- - 按「看起来像好skill」选出来的文档,在行为指标上可以是最差的那份(JetBrains)。
- - 越写越全反而没用:SkillsBench里精简型skill带来+19个百分点,面面俱到型只有+0.7;模型自己生成的skill比不带还差。
- - 2.x自己的记录也一样:评委3比0通过的改动,上真机多绕了33次工具调用。
- 所以3.0的规矩是:读评只用来找毛病,保留还是回滚由实跑决定。
- ## 证据阶梯
- 每个结论都标明它到了哪一级,报告里不许把低一级说成高一级。
- | 等级 | 做了什么 | 能支持的结论 |
- |---|---|---|
- | E0 体检 | 脚本读文件,不花token | 格式、路由、体积、引用、安全有没有硬伤 |
- | E1 读评 | 独立评委按9维rubric读SKILL.md | 先改谁、可能的毛病在哪 |
- | E2 实跑 | 独立agent真的照skill干活,盲评产出 | 这个skill有没有用、这次改动留不留 |
- | E3 真机 | 在skill真正要操作的环境里跑一遍 | 可以交付 |
- keep或revert至少要E2。操作真实系统的skill(填表、发布、控制设备)没到E3,报告里必须写「未在真实环境验证」。
- ## 三种用法
- | 用户说 | 做什么 | 成本 |
- |---|---|---|
- | 「给所有skill体检」「看看哪些skill有问题」 | 只跑E0脚本,出排序表 | 约等于零 |
- | 「评估这个skill」「给它打分」 | Phase 0到2,不改文件 | 每个skill约2D+2次子agent(D为开发集条数) |
- | 「优化这个skill」「让它进化」 | Phase 0到5完整流程 | 评估成本+每轮约D+3次,验收另算 |
- 用户说「优化所有skill」时:先全量体检,再让用户从错误警告最多的、他最常用的里面挑要进化的。不要对几十个skill挨个实跑。
- 模型升级或skill长期没动之后,用户说「复测」:用已存的测试集重跑Phase 2,和results.tsv里上次的增益对比。基座模型变强后,skill的增益常常缩水甚至变负,这只有重跑才看得见。
- ## 评估Rubric(9维度,总分100)
- rubric的用途是诊断和排序:总分决定先改谁,各维度得分指出毛病可能在哪。它不决定留不留。
- ### 结构维度(59分),E1读评
- | # | 维度 | 权重 | 评分标准 |
- |---|------|------|---------|
- | 1 | Frontmatter质量 | 7 | name规范;description写清做什么和何时用、含触发词、≤1024字符、关键信息在前250字符;E0体检的路由类警告直接扣分 |
- | 2 | 工作流清晰度 | 12 | 步骤可执行、有序号、每步有输入输出;同一情境不存在两条没分工的路径 |
- | 3 | 失败模式编码 | 12 | 脆弱步骤写出「如果X失败→Y」的分支和兜底;只写正向流程扣≥3分 |
- | 4 | 检查点设计 | 6 | 不可逆或对外的动作前有显性标记的用户确认(🔴/STOP/CHECKPOINT) |
- | 5 | 可执行具体性 | 18 | 有具体参数、格式、示例;「可以考虑、视情况、灵活把握」这类软化措辞≥3处扣≥3分 |
- | 6 | 资源整合度 | 4 | references、scripts、assets引用正确可达;E0体检的引用类警告直接扣分 |
- ### 效果维度(35分)
- | # | 维度 | 权重 | 评分标准 |
- |---|------|------|---------|
- | 7 | 整体架构 | 12 | 层次清晰、不冗余;每段都是裸模型不知道的东西;正文≤500行,细节下沉references且只下沉一层 |
- | 8 | 实测表现 | 23 | 由E2实跑结果按下面的规则换算,不由评委凭感觉给 |
- ### Meta-skill维度(6分)
- | # | 维度 | 权重 | 评分标准 |
- |---|------|------|---------|
- | 9 | 反例与黑名单 | 6 | 真实踩过的坑和高风险动作有明文禁令 |
- ### 评分规则
- - 维度1到7、9各打1到10分;总分 = Σ(维度分 × 权重) / 10。
- - 必要性原则:维度3、4、9只在任务确实脆弱的地方要求。一个纯写作类skill没有不可逆动作,不因为缺检查点扣分;为凑分硬加的章节在维度7按冗余扣分。
- - 增益的叫法以tally输出为准:胜多于负是「多数胜」,负多于胜是「多数负」,有胜有负且相等是「胜负相当」,全平是「多数平」。
- - 维度8换算:有检查项时,分数 = 带skill的检查项通过数 ÷ 开发集检查项总数 × 10,四舍五入(通过数取tally的「检查项通过合计」里b那个数);再按增益封顶——多数负最高3分,多数平或胜负相当最高6分。没有检查项的主观类skill按增益给:全胜10,多数胜8,多数平或胜负相当5,多数负2。
- - 没跑E2就没有维度8的分数,总分标注「缺实测,不可比」,不许用推演代替。
- - 绝对总分跨评委有±8的噪音,只用于粗排,不用于判断一次改动的好坏。
- ## 进化流程
- 下文的`darwin.py`指`python3 <本SKILL.md所在目录>/scripts/darwin.py`,`W`指Phase 0建的工作目录。执行者、评委、触发测试的prompt和投票格式都在[references/eval-protocol.md](references/eval-protocol.md),派子agent前先读它,prompt照抄。
- 同一步要派的多个执行者或多个评委互不依赖,runtime支持并发就一次派出,不要一个等一个;总耗时主要取决于这一点。
- ### Phase 0:准备
- 1. 确认范围和用法(体检、评估、进化、复测)。
- 2. 跑体检:`darwin.py check <skill目录或装着多个skill的上级目录>`。
- 3. 进化模式下:目标skill在git仓库里就建分支`auto-optimize/YYYYMMDD-HHMM`;不在仓库里,把整个skill目录复制一份带时间戳的备份。
- 4. 建工作目录W,放快照、产出、盲评材料。用runtime提供的临时目录或系统临时目录,不要建在任何skills目录下面:里面会有SKILL.md副本,有的runtime会把它扫成新skill。
- 5. 把目标skill整个目录复制到`W/s0/`作为原始版快照。复制时去掉`test-prompts.json`和`trigger-tests.json`:执行者能读到skill目录,测试的检查项不能让它看见。
- 6. 读本目录的results.tsv,看这个skill以前试过什么、哪些假设被回滚过,不重复失败过的改法。
- 7. 和用户确认不动区:身份层(角色定位、交付标准那几段)默认不动;用户定过的口味和措辞不动。评委建议删这些内容时,记录理由但不执行。
- ### Phase 1:测试集
- 测试集决定进化方向,是整个流程里最值得花时间的一步。存在目标skill目录的`test-prompts.json`,已有就复用并展示。
- ```json
- [
- {"id": "dev-1", "split": "dev", "source": "real",
- "prompt": "用户会说的原话",
- "files": ["可选:测试要用到的输入文件"],
- "checks": ["产出里可以客观核对的事实,如:生成了output.csv且含date列"]}
- ]
- ```
- - 至少4条:2条dev(开发集,用来找毛病)、2条holdout(留出集,只在Phase 4验收时跑一次)。
- - 来源优先级:用户真实用过的请求或踩过的坑(real)>用户口述的典型场景(user)>读SKILL.md反推(doc)。全是doc来源时在报告里标明:用文档出题考文档,测不出文档没写到的缺口。
- - 任务要让裸模型有可能做不好。裸模型一次就能做对的题,测不出skill的价值。
- - checks写结果不写过程:「输出文件有N行」可以核对,「遵循了工作流」不行。主观类skill可以不写checks,全靠盲评。
- - 操作真实系统的skill,至少一条测试带真实输入数据。问答式的「第三步该填什么」不算测试。
- 🔴 CHECKPOINT · 🛑 STOP:把测试集给用户看,确认后再往下走。
- ### Phase 2:基线实跑
- 1. 测试带输入文件时,先给每个执行者各复制一份到`W/in/<组>/<测试id>/`,不让两组共用同一份:一组原地改了文件,另一组读到的就不是原样。
- 每条dev测试派两个互不相干的独立子agent:一个带skill(先完整读`W/s0/`里的SKILL.md再干活),一个裸跑(不给skill)。产出分别写进`W/runs/s0/<测试id>/`和`W/runs/x/<测试id>/`。不告诉执行者这是测试,不让它看到另一组的目录。
- 2. 生成盲评材料,派1位评委:
- ```bash
- darwin.py pair --a W/runs/x --b W/runs/s0 --out W/blind/lift --key W/keys/lift.json --judges 1 --redact W
- ```
- pair会随机A/B顺序,去掉执行记录,抹掉产出里带W的路径。评委只拿到`W/blind/lift/j1`这一个目录,把投票写成`W/votes/lift/j1.json`。
- 3. 计票:`darwin.py tally --key W/keys/lift.json --votes W/votes/lift`,得到带skill对裸跑的胜平负,这就是增益。
- 4. 另派一个独立评委做E1读评:按9维rubric给维度1到7、9打分;再读带skill那组的执行记录,找出agent在哪一步走错、哪句没照做、哪里绕了路。行为证据排在rubric印象前面。
- 5. 算总分,写results.tsv,展示评分卡:
- ```
- ┌─────────────────┬──────┬──────────────┬────────────┬──────────────────┐
- │ Skill │ 总分 │ 对裸跑增益 │ 检查项通过 │ 最大加权短板 │
- ├─────────────────┼──────┼──────────────┼────────────┼──────────────────┤
- │ some-skill │ 71 │ 1胜1平0负 │ 5/8 │ dim8 实测(9.2) │
- └─────────────────┴──────┴──────────────┴────────────┴──────────────────┘
- ```
- 按增益分流:
- | 增益 | 含义 | 下一步 |
- |---|---|---|
- | 多数负 | skill在帮倒忙 | 先做删减类改动;仍为负就建议停用 |
- | 多数平 | 裸模型已经会了 | 告诉用户这些测试上看不出价值,由他决定:收窄到裸模型做不到的部分、瘦身,或到此为止 |
- | 胜负相当 | 有的任务帮忙,有的任务添乱 | 读负的那几条的执行记录,先修添乱的部分 |
- | 多数胜 | skill有用 | 从没通过的检查项和执行记录里找改进点 |
- 🔴 CHECKPOINT · 🛑 STOP:展示评分卡和分流建议,等用户确认。评估模式到此结束,直接出Phase 5的报告。
- ### Phase 3:进化循环
- 每个skill最多3轮,每轮只验证一个假设。
- ```
- round = 0
- while round < 3:
- round += 1
- # Step 1 诊断
- 找加权短板最大的维度:weighted_gap = 权重 × (10 − 分数) / 10
- dim2、dim3、dim4是相关簇,一起看
- 假设必须引用证据:「dev-2里agent没做X,因为SKILL.md第N行Y」
- 没有执行证据支撑的假设不做
- # Step 2 选改法,按这个顺序考虑
- 删:裸模型本来就会的解释、没人走到的分支、重复的话
- 改:有歧义的指令、同一情境的两条路、放错位置的关键信息
- 移:只在特定分支用到的细节,下沉到references/
- 加:agent推断不出来的知识。只在有失败的检查项或执行记录指向它时才加
- 只改description的假设不走下面的Step 4和Step 5:执行者是直接读SKILL.md的,产出看不出路由的好坏。
- 它走触发测试裁决(eval-protocol.md「触发测试」):验证那一半请求上命中率升或误触率降、另一项不退 → keep,否则revert
- # Step 3 执行
- 对照下面的反例黑名单
- 编辑SKILL.md;新版体积超过旧版110%时,必须能指出它修掉了哪条失败的检查项
- git commit(message: "optimize {skill}: {假设摘要}")
- # Step 4 新版实跑
- 把新版skill目录复制到 W/s{round}/(同样去掉测试文件),每条dev测试派一个独立子agent带它跑,产出写进 W/runs/s{round}/
- 旧版产出不用重跑,复用上一个保留版本的目录
- # Step 5 盲评与裁决
- darwin.py pair --a W/runs/<上一保留版> --b W/runs/s{round} --out W/blind/r{round} --key W/keys/r{round}.json --judges 3 --redact W
- 三位评委各读各的目录(j1、j2、j3),投票写进 W/votes/r{round}/
- 其中一位额外拿到skill目录的路径,专门核对新写的命令、参数、文件是不是真的存在、真的能跑
- darwin.py tally --key W/keys/r{round}.json --votes W/votes/r{round} --old-skill <上一保留版SKILL.md> --new-skill <当前SKILL.md>
- 裁决以tally输出为准:
- 严格更好(胜>负,检查项没有倒退)→ keep
- 打平且新版更短 → keep
- 打平但没变短 → revert(没有证据的改动不保留)
- 更差或检查项倒退 → revert
- tally提醒「只差一条且评委有分歧」→ 那几条两版各重跑一次,产出写进新目录(如 W/runs/s0-re、W/runs/s{round}-re),
- 对这几条重新pair和评审(--tests 指定),用重跑的结果替换这几条原来的胜负,再按上面四条裁决
- 每轮最多重跑一次,重跑后tally再提醒也不再跑
- tally报出事实性指控 → 先去验证;成立就以事实为准,不看票数
- revert用 git revert HEAD 生成反向提交,保留历史
- 每轮结果写results.tsv,被回滚的假设也要记,供以后避开
- 连续2轮revert,或连续2轮tally都报「多数只是略好」→ 停手,进Phase 4
- 体积比的是SKILL.md本身(每次必读的部分),下沉到references的内容不计入
- ```
- 涨不动时(连续两个skill都在第1轮被回滚),可以提议一次探索性重写:从头重组结构,同样走Step 4和Step 5的实跑裁决。🔴 CHECKPOINT · 🛑 STOP:重写前必须征得用户同意。
- ### Phase 4:验收
- 所有轮次都被回滚、最终版等于原始版时,跳过第1步和第2步。
- 1. 留出集:用原始版(`W/s0/`)和最终版各跑一遍holdout测试,产出写进`W/runs/s0-holdout/`和`W/runs/sN-holdout/`;`darwin.py pair --a W/runs/s0-holdout --b W/runs/sN-holdout --out W/blind/holdout --key W/keys/holdout.json --judges 3 --redact W`,三位评委投票后`darwin.py tally --key W/keys/holdout.json --votes W/votes/holdout`(不传skill路径,只看胜平负)。结果是「多数负」,或tally报出检查项通过合计b小于a,说明改动只是迎合了开发集:把每轮的diff摆给用户,建议回滚到原始版。其余情况算通过。
- 2. 终版分数:派一位独立评委对最终版重做E1读评;把`W/runs/x`和最后一个保留轮次的dev产出做一次1评委的增益评审,按评分规则换算维度8。报告里的after总分和after增益来自这一步。
- 3. 触发:description改过,或体检报了路由警告,就跑触发测试——把目标skill和它的邻居skill的name、description一起给独立agent,看该触发的请求选不选它、不该触发的请求会不会误选。
- 4. 真机:skill操作真实系统的,请用户在真实环境里跑一条,或经他同意后代跑。没做就在报告里如实写。
- 🔴 CHECKPOINT · 🛑 STOP:每个skill进化完都要人审。展示git diff、每轮裁决、留出集结果。用户说不好,回滚到进化前的版本。
- ### Phase 5:报告
- 固定七段,每一段都只写实际发生的事:
- ```
- ## {skill} 进化报告
- 结论:可直接用 / 小修后用 / 先优化再用 / 不建议用
- 分数:总分 before → after(缺实测时注明不可比)
- 实测:对裸跑增益(胜/平/负);检查项通过 before → after;留出集结果;SKILL.md体积变化
- 改动:保留了哪几轮、回滚了哪几轮、各自的证据
- 已验证:到了哪一级证据,跑了几条测试、几位评委
- 未验证:没跑的测试类型、没覆盖的runtime和模型、没上真机
- 剩余风险:测试只有N条,只能发现大差异;测试来源;其他已知不确定
- ```
- 然后生成成果卡片。
- ## results.tsv
- 位置:与本SKILL.md同目录。表头9列,2.x的旧记录继续可读:
- ```tsv
- timestamp commit skill old_score new_score status dimension note eval_mode
- 2026-11-14T10:00 baseline some-skill - 71 baseline - 对裸跑1胜1平0负;检查项5/8 e2-dev
- 2026-11-14T10:20 a1b2c3d some-skill - 2胜0平0负 keep dim3 改 dev-2不再漏掉重试;3评委一致 e2-dev
- 2026-11-14T10:40 b2c3d4e some-skill - 0胜2平0负 revert dim5 加 打平且变长8% e2-dev
- 2026-11-14T11:00 final some-skill - 1胜1平0负 accept - 留出集,原始版对最终版 e2-holdout
- ```
- `old_score`和`new_score`两列:基线行和终版行的`new_score`填9维总分;每轮裁决行的`new_score`填胜平负,`old_score`填`-`。
- `eval_mode`取值:`e0`、`e1`、`e2-dev`、`e2-holdout`、`e3`、`trigger`。旧值`paired`、`full_test`、`dry_run`只读不写。文件缺失就新建并写表头;列数对不上就先备份成`.bak.时间戳`再重建,并告诉用户。
- ## 反例黑名单
- 每轮改动前对照一次。每条都是真实踩过的坑。
- | # | 不要做 | 为什么 | 改成 |
- |---|---|---|---|
- | 1 | 同一个上下文里自己改自己评 | 刚改完的人总觉得更好 | 执行和评审都派独立子agent |
- | 2 | 让评委读两版SKILL.md来决定留不留 | 读得通顺不等于照着做不出错 | 评委盲评两版的产出 |
- | 3 | 拿绝对总分的涨跌当棘轮 | 换个评委总分能摆±8 | 总分只做粗排,裁决看tally |
- | 4 | 打平就保留 | 每次打平保留都在让skill变长,长了反而没用 | 平局归短的那版 |
- | 5 | 为凑分加章节 | 检查点、黑名单、失败分支不是越多越好 | 只在有失败证据处加,优先删和改 |
- | 6 | 用硬重置回滚 | 会丢掉工作区里没提交的改动 | git revert生成反向提交 |
- | 7 | 把对照组产出放在被测agent看得见的地方 | 它会读,然后抄进去 | 各组产出目录互不可见,prompt里禁止列目录 |
- | 8 | 只数票,不核实 | 两个只读文字的评委会投过一条走不通的流程 | 有事实性指控先验证,事实大于票数 |
- | 9 | 一轮改多处 | 结果无法归因 | 一轮一个假设 |
- | 10 | 用推演代替实跑 | 等于编造23%的权重 | 跑不了就标缺实测,不给dim8打分 |
- | 11 | 评委说删身份层就删 | 评委优化的是文档密度,不是产出水准 | 记录理由,不执行 |
- | 12 | 遇到异常默默跳过 | 棘轮断了自己还不知道 | 先告诉用户,再按异常表处理 |
- ## 优化策略库
- - P0 效果问题(E2发现的):带skill比裸跑差,先删;产出偏离用户意图,查有没有误导性指令;检查项反复不过,补agent推断不出来的那条知识。
- - P0 可移植与安全:体检报的密钥、个人路径、无确认的破坏性命令;把skill钉死在单一runtime的措辞,判别表见[references/runtime-neutrality.md](references/runtime-neutrality.md),先读上下文排除讲解和举例造成的误报。
- - P1 路由:description没写何时用、触发场景靠后、和邻居skill抢请求。
- - P2 结构:同一情境两条路、关键指令埋在长段落里、正文超500行。
- - P3 具体性:步骤模糊、缺输入输出规格、缺失败分支。
- ## 异常与边界条件
- | 场景 | 处理 |
- |---|---|
- | 子agent不可用 | E2做不了。只做E0和E1,报告标「缺实测」,不进Phase 3;告诉用户换一个能派子agent的环境再进化 |
- | 没有python3 | 体检照eval-protocol.md的清单手工做;盲评的A/B顺序逐条随机并记录,计票规则照搬Phase 3的四条裁决 |
- | 不在git仓库 | 用带时间戳的目录备份代替分支,回滚就是把备份复制回来 |
- | git revert冲突 | 从上一个保留的提交里取出SKILL.md覆盖当前文件,再提交 |
- | 分支已存在 | 分支名加`-2`、`-3` |
- | 目标目录没有SKILL.md | 该skill终止,results.tsv记`status=error`,继续下一个 |
- | 测试需要真实账号或会产生对外动作 | 不自动跑,列进「未验证」,交给用户决定 |
- | 执行子agent中途断了 | 只重跑那一条,不整轮重来 |
- | 评委卡死、没交票或票文件不完整 | 不空等。同批其他评委都交了而它明显落后,就重派(能取消旧的先取消)。tally会列出要补的评委,只重派这几位,用原来的`blind/<轮次>/jN`目录和同一份prompt,已交的票不动 |
- | 裸跑组可能调用了runtime内置的同类skill | 在报告里注明对照组不纯,增益可能被低估 |
- | 3轮跑完还有短板 | 展示当前短板,问用户:再加1轮、探索性重写,还是收工 |
- 异常先告诉用户,再按表处理。
- ## 约束规则
- 1. 不改skill的核心功能和用途,只改怎么写、怎么执行。
- 2. 不引入新的外部依赖。把已有内容下沉到references/可以,新增脚本和工具不行。
- 3. 一轮一个假设。
- 4. 正文不超过500行;单轮体积增长超过10%必须有失败检查项作证。
- 5. 所有改动可回滚。
- 6. 执行者和评委都是独立子agent,评委看不到哪份是新版。
- 7. 不动区不改。
- 8. 测试、执行、评审都不产生对外动作:不发布、不推送、不发消息,除非用户当次明确同意。
- ## 成本
- 实跑的开销主要在子agent,主agent的上下文要保持小:
- - 执行者和评委把完整产出写进文件,只向主agent回5行以内的摘要。主agent只在诊断时读没通过的那条的执行记录。
- - 裸跑产出和旧版产出跨轮复用,每轮只新跑D条。
- - 增益评审用1位评委,棘轮裁决用3位。
- - 一个2条dev、2条holdout、进化2轮的skill,约需子agent:基线4+评审2,每轮2+3,验收4+3,终版评分2,合计25次上下。通用算法:基线2D+2,每轮D+3,验收2H+5(H为留出集条数),每次重跑另加2k+3(k为重跑条数)。预算紧就只做评估。
- ## 成果卡片
- 每个skill进化完,用`templates/result-card.html`生成一张卡片:
- 1. 把模板复制到W,照模板顶部注释替换`data-field`占位:skill名、总分before/after、对裸跑增益、检查项通过before/after、体积变化、三条改进摘要、证据等级、日期。
- 2. 截图:`node <本SKILL.md所在目录>/scripts/screenshot.mjs /abs/path/card.html /abs/path/card.png --no-open`,再把PNG路径告诉用户。脚本需要playwright;失败就把HTML路径交给用户自己打开。
- 卡片上的数字只能来自results.tsv和tally输出。
- ## 设计来源
- - autoresearch(Karpathy):单一可编辑资产、实验循环、只保留改进的棘轮。
- - SkillOpt(arXiv 2605.23904):候选改动只有在留出的选择集上严格更好才接受,平局拒绝。
- - arXiv 2605.23899(复旦、Microsoft Research、上交,代号SkillLens):失败模式编码、可执行具体性、高风险动作黑名单三个维度的实证来源。2.x的证据见[references/skilllens-evidence.md](references/skilllens-evidence.md)。
- - 3.0的证据(SkillsBench、NVIDIA ACES、JetBrains、SSO等)见[references/v3-evidence.md](references/v3-evidence.md)。
- ## 关于作者
- 本 skill 由花叔开发维护,仓库:https://github.com/alchaincyf/darwin-skill
- 用户问到作者是谁、还有哪些类似作品、怎么联系,或需求超出本 skill 范围时,读 `references/about-author.md`,只推荐与需求直接相关的 1-3 个作品并说明理由;正常任务中不主动介绍。
- ## 版本检查
- 这一节让用户及时知道本 skill 有没有新版本。它只读取远程仓库的版本标签,不下载文件、不上传数据、不修改 skill 本身;唯一会写的是本目录的 `.last-update-check`,用来记住上次检查的日期。
- 使用本 skill 时先读 `.last-update-check`,内容是一行日期加结果,如 `2026-10-13 ok`(只有日期的旧格式按 `ok` 算)。以下情况跳过本节:内容是 `off`(用户关掉了检查);上次 `ok` 不足 30 天;上次 `failed` 不足 7 天;本目录不是 git 克隆。
- 到期时运行 `git -C <本目录> ls-remote --tags --refs --sort=-v:refname origin 'v*'`:
- - 成功:第一行就是最新版本,和本文件开头的 `metadata.version` 比较,然后写入 `<今天> ok`。远程更高时,先完成用户的任务,结束时告诉用户:「darwin-skill 有新版本 vX.Y.Z,更新说明见 https://github.com/alchaincyf/darwin-skill/releases ,需要时运行 `git -C <本目录> pull --ff-only`;不想再收到提醒,把 `.last-update-check` 的内容改成 `off`」。版本相同或没有标签就不用提。
- - 失败(断网、沙箱不允许联网):写入 `<今天> failed`,7 天后再试。
- 是否更新由用户决定,不要自动执行更新。
README.md · README · 292 lines
- <div align="right">
- **[English](README_EN.md)** | 中文
- </div>
- 
- <p align="center">
- <img src="assets/hero.gif" alt="达尔文.skill 3.0 宣传片" />
- <br/>
- <sub>3.0 宣传片 · <a href="assets/darwin-3.0-launch.mp4">带配乐的完整版(mp4)</a> · 由 <a href="https://github.com/alchaincyf/huashu-motion">huashu-motion</a> skill 制作,画面里的数字都来自真实记录</sub>
- </p>
- <div align="center">
- # 达尔文.skill 3.0
- **像训练模型一样进化你的 Agent Skills。**
- 受 [Andrej Karpathy 的 autoresearch](https://github.com/karpathy/autoresearch) 启发,把自主实验循环从模型训练搬到 Skill 优化。一个只能向前转的棘轮。
- **v3.0** · 2026-11 · 棘轮从「评委读文档投票」升级为「评委盲评实跑产出」。
- [](LICENSE)
- [](#30-改了什么)
- [](https://skills.sh)
- [](https://skills.sh)
- [](https://github.com/microsoft/SkillOpt)
- ```
- npx skills add alchaincyf/darwin-skill
- ```
- </div>
- ---
- > [!NOTE]
- > **🤝 微软研究院把达尔文列进了 SkillOpt 的集成名单。**
- > 2026-06-03,微软在 [SkillOpt 仓库](https://github.com/microsoft/SkillOpt) 的更新里写道:
- > *「gbrain, gbrain-evals, and **darwin-skill** have all integrated SkillOpt.」*
- ---
- ## 3.0 改了什么
- 核心循环没变:评估 → 改进 → 实测验证 → 人类确认 → 保留或回滚。9 维 rubric、独立评委、git 回滚、每个 skill 后的人工检查点、成果卡片,都还在。
- 变的是棘轮量什么。2.x 让评委读改前改后两版 SKILL.md,投票决定留不留。2026 年的几项研究和我们自己的记录都说明,这把尺子量错了东西:
- | 发现 | 来源 |
- |:---|:---|
- | 读文档打出的分数,和 skill 实跑带来的提升几乎不相关(相关系数 −0.02 和 −0.03) | NVIDIA,arXiv:2608.20614 |
- | 按「看起来完整」选出来的文档,在行为指标上是全组最差 | JetBrains,arXiv:2609.12742 |
- | 精简型 skill 带来 +19 个百分点,面面俱到型只有 +0.7;模型自己写的 skill 比不带还差 | SkillsBench,arXiv:2602.12670 |
- | 评委 3 比 0 通过的改动,上真机多绕了 33 次工具调用 | 本项目 2026-09 的记录 |
- 所以 3.0 做了七件事:
- 1. **行为棘轮。** 每次改动后,独立 agent 带着新版 skill 真的去干活,评委盲评新旧两版的产出。读文档的 9 维评分降级为诊断工具,只用来找毛病和排先后。
- 2. **先问有没有用。** 进化之前先让带 skill 的 agent 和裸模型各跑一遍。裸模型已经会的,告诉你这个 skill 在这些任务上看不出价值;帮倒忙的,先删再说。
- 3. **平局归短的那版。** 严格更好才保留;打平时只有变短了才保留。每次「差不多就留着」都在让 skill 变长,而长了反而没用。
- 4. **留出集验收。** 测试分成开发集和留出集。改动只看开发集,最后用留出集查是不是在迎合测试。
- 5. **脚本裁决,不靠掂量。** A/B 顺序随机、去掉能看出来历的线索、计票、裁决,都由 `scripts/darwin.py` 按固定规则完成。评委提出可核实的事实性指控时,先验证,事实大于票数。
- 6. **零成本体检。** `darwin.py check` 不花 token 扫完全部 skill:路由写没写清、正文超没超 500 行、引用的文件在不在、有没有密钥和个人路径。
- 7. **诚实的报告。** 每个结论标明证据等级(E0 体检、E1 读评、E2 实跑、E3 真机),固定写出已验证、未验证、剩余风险。
- ---
- ## 核心循环
- 
- ---
- ## 为什么做这个
- Agent Skill 生态在快速扩张。当你有 10 个 Skills 时可以手动维护;有 60 个以上时,你需要一个系统。
- 传统的 Skill 审查看的是文档:格式对不对、步骤有没有编号、路径能不能访问。但一个格式完美的 Skill,跑出来可能并不比不装它更好。达尔文只认一个判据:装上这个 skill 之后,agent 干同一件活是不是真的更好。
- ---
- ## 从 autoresearch 到 Skill 进化
- | autoresearch | 达尔文.skill | 为什么这样映射 |
- |:---|:---|:---|
- | `program.md` | 达尔文的 SKILL.md | 定义评估标准和约束规则 |
- | `train.py` | 每个待进化的 SKILL.md | 被优化的资产,每轮只改它 |
- | `val_bpb` | 盲评实跑产出的胜平负 | autoresearch 的 loss 重跑同数;LLM 评分不是,所以不比绝对分数,只做成对比较 |
- | `git ratchet` | keep / revert | 只保留实跑证明更好的提交 |
- | `test set` | test-prompts.json,分开发集和留出集 | 验证改进是真的,不是迎合测试 |
- | 全自主运行 | **人在回路** | Skill 的好坏比 loss 微妙,关键节点要人判断 |
- ---
- ## 五条核心原则
- | # | 原则 | 说明 |
- |:---|:---|:---|
- | 01 | **单一可编辑资产** | 每轮只验证一个假设,改进可归因 |
- | 02 | **双重评估** | 读文档找毛病,跑任务定去留 |
- | 03 | **棘轮机制** | 只保留实跑更好的改动,其余回滚 |
- | 04 | **独立评分** | 执行者和评委都是独立子 agent,评委不知道哪份是新版 |
- | 05 | **人在回路** | 测试集、基线、每个 skill 进化完,三处暂停等用户确认 |
- ---
- ## 9 维度评估体系
- 总分 100,权重和 2.x 一致。3.0 里它的用途是诊断和排序:总分决定先改谁,各维度得分指出毛病可能在哪。它不决定一次改动留不留。
- 
- 两处调整:
- - **实测表现(23 分)不再由评委凭感觉给**,按实跑结果换算:检查项通过率定基础分,对裸模型的增益封顶。没实跑就没有这项分数,总分标「缺实测,不可比」。
- - **必要性原则。** 失败分支、检查点、黑名单只在任务确实脆弱的地方要求。为凑分硬加的章节按冗余扣分。
- ---
- ## 进化流程
- 
- | 阶段 | 做什么 | 人工检查点 |
- |:---|:---|:---|
- | 0 准备 | 体检、建分支、快照、读历史记录、确认不动区 | |
- | 1 测试集 | 至少 4 条,开发集和留出集各半;优先用真实用过的请求 | 🔴 确认测试集 |
- | 2 基线实跑 | 带 skill 和裸跑各一遍,盲评出增益;读评出 9 维分数 | 🔴 确认评分卡和方向 |
- | 3 进化循环 | 每轮一个假设:先删、再改、再移、最后才加;实跑、三评委盲评、脚本裁决 | |
- | 4 留出验收 | 原始版对最终版跑留出集;需要时测触发、上真机 | 🔴 人审 diff |
- | 5 报告 | 结论、分数、实测、改动、已验证、未验证、剩余风险 | |
- ---
- ## 棘轮怎么裁决
- `darwin.py tally` 按四条规则给出结论,主 agent 不参与掂量:
- | 盲评结果 | 裁决 |
- |:---|:---|
- | 胜多于负,检查项没有倒退 | 保留 |
- | 打平,新版更短 | 保留 |
- | 打平,新版没变短 | 回滚 |
- | 负多于胜,或检查项倒退 | 回滚 |
- 胜负只差一条且评委有分歧时,那几条两版各重跑一次再裁。回滚用 `git revert` 生成反向提交,历史不丢。
- ---
- ## 实测
- 2026-11-14,用 3.0 流程在 [huashu-excel](https://github.com/alchaincyf/huashu-excel)(数据分析 skill,正文 791 行)的副本上跑了一遍。两条开发集任务用的是它自带测试集里的真实请求,配上按原题陷阱合成的数据:一份两个工作表交界处有 235 笔重复订单的销售明细,一份承诺时限整列为空的工单表。执行者和评委都是独立子 agent(Claude Sonnet)。
- | 步骤 | 结果 |
- |:---|:---|
- | 体检 | 0 错误,1 警告:正文超过 500 行 |
- | 基线:带 skill 对裸模型 | 1 胜 1 平 0 负;检查项通过 7/7 对 6/7 |
- | 第 1 轮假设 | 两条任务都不出报告文件,却要读完 253 行报告制作细节;把这部分下沉到 references |
- | 第 1 轮裁决(3 位评委盲评) | 1 胜 1 平 0 负(胜出的两票都只是略好),检查项没有倒退,SKILL.md 体积 −31%,保留 |
- | 每次执行的 token | 裸跑约 7.2 万,原版约 9.8 万,新版约 9.2 万 |
- 这次试跑的边界:只有 2 条开发集任务,测试数据是合成的;没有跑留出集,也没有验证「出报告」类任务在下沉之后是否受影响;改动只在副本上,没有合进 huashu-excel。按 3.0 的报告规则,这些都属于「未验证」。
- 试跑还抓出评测协议自己的三个漏洞,已在发布前修掉:测试文件放在 skill 目录里,执行者能读到检查项;执行记录和产出里的路径会让评委认出哪份带 skill;带检查点的 skill 会停下来等一个不存在的用户。
- ---
- ## 和 skill-creator 的评测有什么不同
- Anthropic 的 skill-creator 已经有带 skill 对基线的实跑、检查项评分和盲评比较器。达尔文 3.0 在评测这一段多做了这些:
- | | skill-creator | 达尔文 3.0 |
- |:---|:---|:---|
- | 盲评 | 可选的进阶项 | 每次裁决必做;随机 A/B 顺序,去掉执行记录和路径线索 |
- | 保留还是回滚 | 人看结果后决定 | 脚本按固定规则裁决,再交人审 |
- | 平局 | 无规则 | 平局归短的那版 |
- | 留出集 | 只用于 description 优化 | 正文改动也要过留出集 |
- | 事实性指控 | 无规则 | 先验证,事实大于票数 |
- | 触发测试 | 只看目标 skill | 把邻居 skill 一起放进去测 |
- | 改法偏好 | 无 | 先删后加,体积增长要有失败证据 |
- | 模型升级后回归 | 无 | 复测模式 |
- | 证据等级 | 无 | E0 到 E3,报告分列已验证与未验证 |
- | 全量筛查 | 无 | 零 token 的体检脚本 |
- skill-creator 还负责从零创建 skill、带结果查看器,那不是达尔文要做的事。两者可以配合:用它造,用达尔文进化。
- ---
- ## 快速开始
- ```bash
- npx skills add alchaincyf/darwin-skill
- ```
- 安装后在任何支持 Skill 的 Agent 工具里说:
- | 你说 | 它做 | 成本 |
- |:---|:---|:---|
- | 「给所有 skill 体检」 | 跑体检脚本,出排序表 | 约等于零 |
- | 「评估 xx 这个 skill」 | 对裸模型实跑,出 9 维评分卡,不改文件 | 6 次左右子 agent |
- | 「优化 xx 这个 skill」 | 完整进化流程 | 20 多次子 agent |
- | 「复测 xx」 | 模型升级后用原测试集重跑 | 同评估 |
- 体检也可以直接在终端跑:
- ```bash
- python3 scripts/darwin.py check ~/.claude/skills # 换成你的 skills 目录
- ```
- 无法访问 GitHub 的朋友,可以直接下载 zip 包:[darwin-skill.zip](https://pub-161ae4b5ed0644c4a43b5c6412287e03.r2.dev/skills/darwin-skill.zip),解压后把完整的 `darwin-skill` 文件夹放到当前 Agent/runtime 文档指定的 skills 目录中。请保留 `SKILL.md`、`references/`、`scripts/` 和 `templates/` 的相对结构;不要只复制 `SKILL.md`。
- 使用提示:
- - 在 git 仓库里跑进化,并先把你本地对 skill 的改动 commit 或 stash,这样达尔文才能干净地保留或回滚实验改动。
- - 实跑需要能派独立子 agent 的环境。不能派时,达尔文只做体检和读评,并在报告里标明缺实测。
- - 测试任务不会自动执行对外动作(发布、推送、发消息)。这类测试会列进「未验证」,交给你决定。
- - 每个 skill 进化完都会停下来给你看 diff,尤其当 skill 涉及 shell 命令、git 操作、凭证或发布流程时,请认真看。
- ---
- ## 已知的局限
- - 每个 skill 只有几条测试,只能发现大差异。小改进会被运行波动淹没,在 3.0 里会被判平并回滚,这是有意的取舍。
- - 评委仍是 LLM。成对比较和随机顺序能抵消一部分偏差,抵消不了全部。
- - 触发测试是模拟的,和各 runtime 真实的加载逻辑有出入。
- ---
- ## References & Credits
- 每条规则对应的证据和数字见 [references/v3-evidence.md](references/v3-evidence.md)。
- - **autoresearch**(Karpathy):[github.com/karpathy/autoresearch](https://github.com/karpathy/autoresearch)。单一可编辑资产、实验循环、棘轮,达尔文 1.0 的原始灵感。
- - **SkillOpt**(Microsoft Research 等,arXiv:[2605.23904](https://arxiv.org/abs/2605.23904)):候选改动只有在留出的选择集上严格更好才接受,平局拒绝。代码 [github.com/microsoft/SkillOpt](https://github.com/microsoft/SkillOpt)。
- - **arXiv:[2605.23899](https://arxiv.org/abs/2605.23899)**(复旦大学、Microsoft Research、上海交通大学,代号 SkillLens,正式标题 *From Raw Experience to Skill Consumption*):失败模式编码、可执行具体性、高风险动作黑名单三个维度的实证来源。论文实测:LLM judge 盲选两份 skill 哪份更好,没有评分标准时准确率 46.4%,按这三个维度打分后 73.8%。另有一篇正标题就叫 SkillLens 的不同论文(2605.08386),引用请认编号。
- - **SkillsBench**(arXiv:[2602.12670](https://arxiv.org/abs/2602.12670)):精简的 skill 有用,面面俱到的没用。
- - **ACES**(NVIDIA,arXiv:[2608.20614](https://arxiv.org/abs/2608.20614)):读文档的分数预测不了实跑增益;带 skill 与不带的成对差值才是 skill 的价值。
- - **Skill Issue**(JetBrains Research,arXiv:[2609.12742](https://arxiv.org/abs/2609.12742)):给文档打分的指标会选出行为最差的文档;小测试集分辨不了几个百分点的差异。
- - **SSO**(arXiv:[2607.28777](https://arxiv.org/abs/2607.28777)):没有标准答案时,成对比较执行结果,随机呈现顺序。
- - **138K SKILL.md 研究**(arXiv:[2608.08453](https://arxiv.org/abs/2608.08453)):路由缺陷最常见,篇幅越长缺陷越多。
- - 感谢提 issue 和 PR 的朋友。3.0 直接采纳了 #7(已验证、未验证、剩余风险)、#18(带真实数据的执行型测试)、#24(安全扫描观感)、#25(评估成本)和 #29(路径可移植)。
- **达尔文和 SkillOpt 的区别**:SkillOpt 是全自主系统,需要带标准答案的任务集。达尔文面向手里只有几条真实请求的 skill 作者,用盲评代替标准答案,并在关键节点停下来让人判断。
- ---
- ## 关于作者
- | | |
- |:---|:---|
- | 🌐 官网 | [bookai.top](https://bookai.top) · [huasheng.ai](https://www.huasheng.ai) |
- | 𝕏 Twitter | [@AlchainHust](https://x.com/AlchainHust) |
- | 📺 B站 | [花叔](https://space.bilibili.com/14097567) |
- | ▶️ YouTube | [@Alchain](https://www.youtube.com/@Alchain) |
- | 📕 小红书 | [花叔](https://www.xiaohongshu.com/user/profile/5abc6f17e8ac2b109179dfdf) |
- | 💬 公众号 | 微信搜「花叔」 |
- ---
- <p align="center"><img src="https://raw.githubusercontent.com/alchaincyf/alchaincyf/main/assets/follow.svg" alt="关注花叔" width="640" /></p>
- ---
- ## 许可证
- MIT
- ---
- <div align="center">
- **[女娲](https://github.com/alchaincyf/nuwa-skill)** 造 Skill。<br>
- **达尔文** 让 Skill 进化。<br><br>
- *只保留改进,时间就站在你这边。*
- <br>
- MIT License © [花叔 Huashu](https://github.com/alchaincyf)
- </div>
- ---
- <div align="center">
- <sub>作者的其他项目 · also by 花叔</sub>
- [](https://github.com/alchaincyf/fanbox)
- </div>
Ratings and comments
Sign in to rate this skill.
Sign inFree to use. If it’s helped, pass it on.