方法与数据:分类口径、收录与停更标准、已知局限
本板块的分类口径、收录与停更标准、数据来源和已知局限。截至 2026-11-18。
分类单位:协议
一个 benchmark 按赛道、版本和切分方式拆成若干协议。例如 PoseBusters 拆成 V1 与 V2,CASP 拆成当届盲测与历届靶点回溯。"谁判对错"、隔离强度和五维评审都按协议给出;"模型在做什么"按 benchmark 给出。
谁判对错
| 类别 | 判据 |
|---|---|
| 已有参考答案 | 用已发表或已存好的测量来对 |
| 计算函数打分 | 评测时调用对接分数、性质预测器等程序当裁判,没有实测标签 |
| 先交卷后公布答案 | 提交时答案尚未公开,由独立方事后评判;结果公开后对后来的模型退化为已有参考答案 |
| 按提交新做实验 | 主办方针对提交的对象重新测量 |
五维评审
对 112/113 条协议做了五维评审:真值可靠性(含噪声上限,以及头部分差是否超过噪声)、基线状况(简单基线是否追平)、指标效度、饱和度、泄漏或捷径风险。每条结论带证据等级(原文核实 / 二手或部分核实 / 推断)和出处;尚未评审的协议标"未评估"。
收录与停更
- 收录:有名字、数据公开或有官方榜单;至少有一个模型报过成绩,或是头部机构的默认评测。
- 停更:2026 年内没有检出实质更新。只改 README、CI、许可证、链接或依赖版本的提交不算实质更新;共用的大仓库按目标子目录核对。停更的 benchmark 保留档案页,但不进总表和统计。
- 相邻领域:病理基础模型评测、材料势函数评测、临床问答等单列在相邻领域,只列名称,不进主分类。
"在用模型"怎么算
协议表里的在用模型只列已核实的配对:回到论文、官方榜单或仓库确认该模型确实在这条协议上报过成绩。核不到原始出处的不列。模型页与配对矩阵沿用更早的 112 个模型口径。
已知局限
- 热度数字中的被引数多数未核实;成绩多为作者或厂商自报,或二手转述,已在各页标明来源类型。
- 部分方向(RNA 3D、对接新方法、抗体-抗原基准、肽复合物、虚拟筛选、逆合成、化学大模型)的新模型收集不全。
- 停更判定对标准敏感:放宽到"有任何提交即算维护"会让一批停更项回到活跃。
本文为个人研究笔记,结论基于成文时可获得的公开信息;带〔估算〕〔推断〕或⚠️的数字未经独立核实。