[skillfit-v1]·Skills × 模型契合度

原创

Lior1969
Lior1969

Moonlight安全

2026年10月12日 00:22
北京

在小说阅读器读本章

去阅读

在公众号小说中沉浸阅读

MOONLIGHT SECURITY · ISSUE 05

技能 × 模型契合度

MoonLight安全 · 2026-10-12

1252 个技能，五个模型，一万九千份判分。结论就一句，技能好不好用，得看你用哪个模型。

1.哪个 skill 配哪个模型最搭？→ 1169 技能 × 5 模型家族的实测配对矩阵
2.同类 skill 里谁最强？→ 80 组功能分类基准（N×N×A，star 最高者为 baseline）
3.哪个模型在哪类任务称王？→ 82 分类 × 5 模型强项画像

我把 GitHub 上 star 高的技能扒下来一千二百多个，每个都在五个模型上真跑了一遍任务，跑完让模型们互相打分。全部自动，流水线挂了半个月。

后台流水线整点还在往上添新技能

01  star 没用

一个九万 star 的技能，A 模型跑完涨二十分，B 模型跑完掉分。就换了模型，别的都没动。

所以技能没有绝对好用，只有配不配你的模型。star 数看不出来这个。

每个技能一张判分方阵，蓝框是自评

02  分数怎么算

每个技能跑四遍。一遍裸跑，一遍带技能文档，一遍让它自己挑技能用，一遍塞等长的废话。

带文档的分数，减去塞废话的分数，剩下的才是技能真本事。废话那遍是防作弊的，不然光把上下文撑长也能涨分。

03  谁来打分

五个模型互相改卷，卷子全匿名，谁也不知道改的是谁的。

半个月下来各家脾气都清楚了。space-bunny 打分最松，轮到自己那份还会抬一点。kimi 最严，但它给的高分确实是真的。

3D 矩阵，按 W 能钻进去，挡路的方块自动变透明

04  翻车四件，每件一句话

一个开关查了一天，每个请求 32 秒，关掉深度思考变 6 秒。

deepseek 分数一直莫名偏低，其实是答卷混了工具字符被当废稿，修完直接第一。

同赛道的技能排一张表，谁行谁不行一眼的事

05  最有意思的结果

去 AI 味那个技能，deepseek 拿了 95 分，全库第一的 space-bunny 才 74。

所以别问哪个模型最强，问哪个配你手上的技能。网站上都能查。

扫码关注 · MoonLight安全

每周一篇，专注一线安全实战与方法论

本文项目 · 开源地址

SkillFit 全流水线（bench.py 单执行器 + 采集器 + 纯静态榜单）已开源：

https://github.com/8eeth0ven/skillfit

对技能选型、模型横评有用的话，Star、在看、转给同好都行。关注 MoonLight安全，持续输出审计、逆向、基准与黑盒测试实战。