怎么给 benchmark 分类:60 项、113 条协议的总览
AI for Bio 模型常被一个 benchmark 数字概括,但这些尺子本身差异极大。本板块收录 60 个仍在更新的 benchmark,拆成 113 条规则各异的协议。判断一个分数能信到哪一步,先问三个问题:谁判对错、模型在做什么、对象是什么。本页给出这套分类和每一项的位置;每项的细节在各自的档案页。截至 2026-11-18。
三个问题:怎么给 benchmark 分类
第一问:谁判对错。 这是首要分类,按协议判定,因为它直接决定一个分数能回答什么。同一个 benchmark 的不同协议可以落在不同类别,例如 CASP 的当届盲测与历届靶点回溯。
| 谁判对错 | 协议数 | 这类分数能回答 | 不能回答 |
|---|---|---|---|
| 已有参考答案 | 88 | 在这批已知对象上,谁的预测更贴近已有记录 | 换一批新对象是否还成立;模型训练时是否见过答案 |
| 计算函数打分 | 5 | 谁更会优化这个计算函数 | 函数给高分的对象在实验里是否真的好 |
| 先交卷后公布答案 | 15 | 对当届新题的真实预测力 | 结果公开以后,同一套题对后来的模型只相当于已有参考答案 |
| 按提交新做实验 | 5 | 这一批提交在该实验终点上表现如何 | 单轮结果能否代表持续的设计能力;样本通常很小 |
第二问:模型在做什么。 按 benchmark 判定,和模型的工作对应。最后一类是在有限预算下决定把资源投给谁,目前收录的 benchmark 里没有一项在评测它。
| 模型在做什么 | benchmark 数 | 例子 |
|---|---|---|
| 理解状态(表征与排序) | 15 | 02 ProteinGym、09 scIB (+Open Problems)、11 ClinVar hold-out protocol、13 CAGI、16 GUE + Nucleotide Transformer 基准、17 CAFA 等 15 项 |
| 预测给定对象的结果 | 24 | 01 CASP、03 MoleculeNet (+OGB)、04 TDC (ADMET + DTI)、05 PoseBusters、06 CASF-2016、15 CAMEO 等 24 项 |
| 提出候选(生成与设计) | 7 | 19 PMO (Practical Molecular Optimization)、20 CACHE、28 Adaptyv competitions / BenchBB、36 AIntibody、40 MotifBench、50 蛋白 motif scaffolding 基准 等 7 项 |
| 多步分析与问答(agent) | 14 | 14 PubMedQA、18 LAB-Bench / LABBench2、23 BioASQ、29 BixBench、42 BioMysteryBench、58 ChemBench 等 14 项 |
| 选择行动(在有限预算下决定把资源投给谁) | 0 | 目前没有公开 benchmark 评测这一类工作 |
两轴交叉(按协议计):盲测集中在预测类任务;提出候选已分成计算函数打分与按提交新做实验两条路线;agent 评测几乎都在对已有答案。
| 模型在做什么 / 谁判对错 | 已有参考答案 | 计算函数打分 | 先交卷后公布答案 | 按提交新做实验 |
|---|---|---|---|---|
| 理解状态(表征与排序) | 28 | 0 | 2 | 0 |
| 预测给定对象的结果 | 41 | 0 | 12 | 0 |
| 提出候选(生成与设计) | 0 | 5 | 0 | 5 |
| 多步分析与问答(agent) | 19 | 0 | 1 | 0 |
| 选择行动(在有限预算下决定把资源投给谁) | 0 | 0 | 0 | 0 |
第三问:对象是什么(蛋白、抗体、核酸、小分子、细胞与组学、文献与数据)。只作筛选标签,见各档案页的领域字段。
按"谁判对错"逐条列出全部协议:协议索引。一个分数还要看真值噪声、简单基线、泄漏与饱和,读法见一个分数能信到哪一步。
60 个 benchmark 总表(按模型在做什么分组)
报告模型数只计成立的配对(官方榜单、自报、改协议自报、第三方、赛后数据复用)。排名只在每个 benchmark 自己的口径内成立,不跨项比较。
理解状态(表征与排序)(15)
| NN | Benchmark | 谁判对错(协议数) | 协议 | 最近更新 | 状态 | 报告模型数 | 排名 | 一句定位 |
|---|---|---|---|---|---|---|---|---|
| 02 | ProteinGym | 参考答案 5 | 5 | 数据发布†(未核实) | ◐ 低频 | 10 | ▣ 榜单 | 把两百余条公开深度突变扫描整理成统一套件,评测蛋白变异效应与适应度排序 |
| 09 | scIB (+Open Problems) | 参考答案 2 | 2 | 新版本 | ● 活跃 | 1 | ▣ 榜单 | 单细胞整合的默认度量:批次去除与生物保守两组指标,由 Open Problems 平台承接 |
| 11 | ClinVar hold-out protocol | 参考答案 3 | 3 | 数据发布 | ● 活跃 | 5 | ≠ 不可比 | 用临床标签库的留出变异区分致病与良性,各论文自定快照与子集 |
| 13 | CAGI | 参考答案 1 · 盲测 1 | 2 | 新一轮 | ● 活跃 | 1 | ◌ 第三方 | 变异解读领域持续十余年的 CASP 式盲测,真值为提交时未公开的实验或临床数据 |
| 16 | GUE + Nucleotide Transformer 基准 | 参考答案 1 | 1 | 数据发布 | ◐ 低频 | 0 | — 无排名 | DNA 语言模型的短序列调控元件分类套件;只能当冒烟测试 |
| 17 | CAFA | 参考答案 1 · 盲测 1 | 2 | 新一轮†(未核实) | ● 活跃 | 0 | — 无排名 | 蛋白功能(GO)预测的时间延迟前瞻盲测,真值为提交后新增的实验注释 |
| 21 | DREAM5 / BEELINE / CausalBench | 参考答案 4 | 4 | 论文修订†(未核实) | ◐ 低频 | 0 | ≠ 不可比 | 基因调控网络推断的三代评测,分数主要反映金标准网络的质量 |
| 26 | FLIP / FLIP2 | 参考答案 2 | 2 | 新版本†(未核实) | ◐ 低频 | 2 | ≠ 不可比 | 监督设定下的蛋白适应度基准,用刻意偏移的切分测低资源与外推 |
| 34 | AbBiBench | 参考答案 1 | 1 | 论文修订 | ● 活跃 | 6 | ▣ 榜单 | 以抗体-抗原复合物为单位的零样本打分相关性评测,补上抗体功能评测空白。 |
| 37 | TraitGym | 参考答案 2 | 2 | 仅维护†(未核实) | ◐ 低频 | 3 | ▣ 榜单 | 非编码因果变异与匹配对照的二分类基准。 |
| 38 | BEND | 参考答案 2 | 2 | 新版本 | ● 活跃 | 0 | ▣ 榜单 | 用人类基因组功能任务评测 DNA 语言模型的冻结表示。 |
| 39 | RNAGym | 参考答案 1 | 1 | 榜单条目†(未核实) | ● 活跃 | 1 | ▣ 榜单 | RNA 适应度与结构的零样本评测框架。 |
| 45 | DART-Eval | 参考答案 1 | 1 | 论文修订 | ◐ 低频 | 1 | ≠ 不可比 | 把 DNA 语言模型放到调控 DNA 的五项任务上,与从头训练的小模型对比 |
| 49 | NTv3 Benchmark | 参考答案 1 | 1 | 新版本 | ● 活跃 | 4 | ▣ 榜单 | 统一输入与预测头,比各基因组模型在多物种功能轨道上的表征能力 |
| 67 | VenusX | 参考答案 1 | 1 | 仅维护 | ○ 冻结 | 1 | ≠ 不可比 | 细粒度功能注释基准:残基、片段与配对三个粒度,含跨家族切分 |
预测给定对象的结果(24)
| NN | Benchmark | 谁判对错(协议数) | 协议 | 最近更新 | 状态 | 报告模型数 | 排名 | 一句定位 |
|---|---|---|---|---|---|---|---|---|
| 01 | CASP | 参考答案 3 · 盲测 3 | 6 | 新一轮 | ● 活跃 | 15 | — 无排名 | 两年一届的蛋白结构预测盲测;增量价值已转向复合物、RNA、配体与构象系综。 |
| 03 | MoleculeNet (+OGB) | 参考答案 2 | 2 | 论文修订 | ○ 冻结 | 2 | ≠ 不可比 | 分子表示学习的历史默认套件:17 个公开数据集,适合文献对齐与回归测试,不足以支撑药研能力宣称 |
| 04 | TDC (ADMET + DTI) | 参考答案 2 | 2 | 论文修订 | ● 活跃 | 4 | ▣ 榜单 | ADMET 预测事实上的提交式榜单;适合方法横向筛选,不宜作研发决策依据。 |
| 05 | PoseBusters | 参考答案 2 | 2 | 仅维护 | ● 活跃 | 8 | ≠ 不可比 | 蛋白-配体姿态评测:RMSD 阈值加 18 项物理化学有效性检查 |
| 06 | CASF-2016 | 参考答案 1 | 1 | 无后续事件 | ○ 冻结 | 0 | ≠ 不可比 | 蛋白-配体打分函数的十年默认口径,拆为打分、排序、对接、筛选四项能力;数据冻结且与训练集高度重叠 |
| 15 | CAMEO | 参考答案 1 · 盲测 1 | 2 | — 无后续事件†(未核实) | ● 活跃 | 4 | ◌ 第三方 | 每周用 PDB 预发布序列对结构预测服务器做的滚动盲测 |
| 22 | CAPRI | 盲测 1 | 1 | 新一轮 | ◔ 本轮进行中 | 2 | — 无排名 | 蛋白复合物预测最早的前瞻盲测,其分级与 DockQ 是通用口径 |
| 24 | 虚拟细胞挑战赛与扰动预测评测 | 参考答案 4 · 盲测 2 | 6 | 新一轮†(未核实) | ● 活跃 | 9 | ▣ 榜单 | 唯一为评测专门生成 Perturb-seq 数据的挑战,但线性与均值基线仍难被打败 |
| 25 | RNA-Puzzles | 参考答案 3 · 盲测 1 | 4 | 新一轮†(未核实) | ◐ 低频 | 3 | ▣ 榜单 | RNA 三维结构社区盲测;准确率取决于有无近缘模板,而非模型范式。 |
| 27 | Polaris / ASAP / OpenADMET | 参考答案 1 · 盲测 1 | 2 | 新版本†(未核实) | ◐ 低频 | 0 | — 无排名 | 工业界牵头的基准托管平台、方法指南与盲测挑战;代表赛事是用未发表项目数据赛后揭盲的抗病毒挑战 |
| 30 | PLINDER / PINDER / Runs N' Poses | 参考答案 2 | 2 | 新版本†(未核实) | ● 活跃 | 5 | ▣ 榜单 | 把训练集相似度作为一等切分标准的对接与共折叠泛化评测基础设施。 |
| 31 | FoldBench | 参考答案 6 | 6 | 榜单条目 | ◐ 低频 | 12 | ▣ 榜单 | 低同源 PDB 组装体上的全原子共折叠评测;抗体-抗原是最常被引用的区分项。 |
| 33 | PoseX | 参考答案 2 | 2 | 论文修订 | ● 活跃 | 6 | ◌ 第三方 | 同一协议比较物理对接、AI 对接与共折叠共 23 个方法,并分开自对接与交叉对接 |
| 35 | FLAb / FLAb2 | 参考答案 1 | 1 | 仅维护 | ● 活跃 | 1 | ◌ 第三方 | 治疗性抗体可开发性的聚合回顾基准,结论偏负面。 |
| 43 | Ginkgo GDPa1 | 参考答案 1 | 1 | 数据发布†(未核实) | ◐ 低频 | 0 | ▣ 榜单 | 246 个临床抗体的统一 assay 可开发性数据,加 80 个私有留出抗体的一次性盲测。 |
| 46 | FEP 相对结合自由能基准 | 参考答案 2 | 2 | 仅维护 | ○ 冻结 | 1 | ≠ 不可比 | 按靶排序同系列化合物:对标物理自由能方法的两套公开配体集 |
| 47 | PoseBench / DockGen | 参考答案 2 | 2 | 新版本 | ● 活跃 | 5 | ◌ 第三方 | 同一套输入与脚本下,对接与共折叠方法在四套难度递增集上的位姿准确度 |
| 51 | OpenADMET 盲测系列 | 盲测 3 | 3 | 结果公布 | ● 活跃 | 0 | ▣ 榜单 | 用未公开的药企与高通量实测数据,做 ADMET 预测的盲测打榜 |
| 52 | Biogen ADME | 参考答案 1 | 1 | 新版本 | ○ 冻结 | 1 | ▣ 榜单 | 药企公开的六个体外 ADME 终点,按时间切分做回顾评测 |
| 53 | UNICORNE-BENCH | 参考答案 1 | 1 | 仅维护 | ● 活跃 | 1 | ▣ 榜单 | 一条序列要给出多个构象:八个工具在 829 组实验系综上的恢复率 |
| 54 | OMol25 + FAIR Chemistry 榜单 | 参考答案 1 | 1 | 榜单条目 | ● 活跃 | 0 | ▣ 榜单 | 机器学习势能:在上亿次量化计算上复现能量与受力的常设榜单 |
| 55 | PDBbind-CleanSplit / LP-PDBBind | 参考答案 1 | 1 | 作者更正 | ◐ 低频 | 0 | ≠ 不可比 | 把高度相似的训练样本剔掉以后,亲和力模型还剩多少准确度 |
| 57 | CatPred-DB | 参考答案 1 | 1 | 仅维护 | ○ 冻结 | 0 | ○ 自报 | 酶动力学常数预测数据集:kcat、Km、Ki 三套,带同一性分档 |
| 66 | MassSpecGym | 参考答案 1 | 1 | 数据发布 | ● 活跃 | 0 | ▣ 榜单 | 从串联质谱反推分子结构:生成、检索、谱模拟三项挑战 |
提出候选(生成与设计)(7)
| NN | Benchmark | 谁判对错(协议数) | 协议 | 最近更新 | 状态 | 报告模型数 | 排名 | 一句定位 |
|---|---|---|---|---|---|---|---|---|
| 19 | PMO (Practical Molecular Optimization) | 函数打分 2 | 2 | 新版本†(未核实) | ◐ 低频 | 2 | ○ 自报 | 在 10,000 次 oracle 调用预算内比较分子优化的样本效率 |
| 20 | CACHE | — | 0 | 数据发布†(未核实) | ● 活跃 | 0 | — 无排名 | 计算团队提交可购化合物,组织方实测结合,是真做湿实验的盲测 |
| 28 | Adaptyv competitions / BenchBB | 新做实验 3 | 3 | 新一轮 | ● 活跃 | 4 | — 无排名 | 连续多轮、公开数据的前瞻蛋白设计评测;主办方为商业服务商,非可刷分榜单。 |
| 36 | AIntibody | 新做实验 1 | 1 | 数据发布 | ◐ 低频 | 1 | ▣ 榜单 | 抗体侧的前瞻盲测:设计提交后统一测亲和力与可开发性。 |
| 40 | MotifBench | 函数打分 1 | 1 | 榜单条目 | ● 活跃 | 3 | ▣ 榜单 | 30 道固定 motif scaffolding 题目,统一流水线判定,附提交制榜单;真值仍是计算的。 |
| 50 | 蛋白 motif scaffolding 基准 | 函数打分 2 | 2 | 仅维护 | ○ 冻结 | 1 | ≠ 不可比 | 蛋白 motif 支架生成的历史题集,以回折自洽判成功 |
| 56 | Protein Engineering Tournament | 新做实验 1 | 1 | 数据发布 | ◔ 本轮进行中 | 0 | — 无排名 | 酶工程竞赛:提交后由合作实验室新测活性、稳定性与表达 |
多步分析与问答(agent)(14)
| NN | Benchmark | 谁判对错(协议数) | 协议 | 最近更新 | 状态 | 报告模型数 | 排名 | 一句定位 |
|---|---|---|---|---|---|---|---|---|
| 14 | PubMedQA | 参考答案 1 | 1 | 仅维护 | ○ 冻结 | 2 | ▣ 榜单 | 给定 PubMed 摘要回答是/否/也许的 500 题测试集;头部分数已挤在噪声内 |
| 18 | LAB-Bench / LABBench2 | 参考答案 3 | 3 | 仅维护 | ● 活跃 | 3 | ▣ 榜单 | 生物研究基础能力题库;原版多选已部分饱和,作者以 LABBench2 取代 |
| 23 | BioASQ | 盲测 1 | 1 | 结果公布 | ● 活跃 | 0 | ▣ 榜单 | 唯一年度滚动、专家出新题并人工评分的生物医学检索与问答挑战 |
| 29 | BixBench | 参考答案 3 | 3 | 榜单条目†(未核实) | ● 活跃 | 3 | ▣ 榜单 | 让 agent 在容器里对真实数据写代码做生信分析,并按结论判分 |
| 42 | BioMysteryBench | 参考答案 2 | 2 | 榜单条目†(未核实) | ● 活跃 | 1 | ◌ 第三方 | 真实测序数据剥离元数据后出题,只判最终答案;由模型厂商自己出题,公开部分仅 5 题。 |
| 58 | ChemBench | 参考答案 1 | 1 | 榜单条目 | ● 活跃 | 1 | ▣ 榜单 | 化学知识与推理问答评测:2,788 道选择与开放题,附人类化学家对照与公开榜单 |
| 59 | LifeSciBench | 参考答案 1 | 1 | 论文 v1 | ◐ 低频 | 2 | ○ 自报 | 生命科学研究级开放任务:750 题、专家 rubric 评分,出题方与榜首同属 OpenAI |
| 60 | Terminal-Bench-Science | 参考答案 1 | 1 | 仅维护 | ● 活跃 | 1 | ▣ 榜单 | 科学家贡献的终端科研工作流:70 题、程序化测试判分,持续发版 |
| 61 | BiomniBench / Biomni-Eval1 | 参考答案 2 | 2 | 榜单条目 | ● 活跃 | 2 | ≠ 不可比 | 生物医学 agent 评测家族:Eval1 确定性判分,DA 用过程级 rubric 评整条分析轨迹 |
| 62 | HeurekaBench | 参考答案 1 | 1 | 仅维护 | ◐ 低频 | 3 | ≠ 不可比 | 单细胞科研 agent 评测:从已发表研究复现洞见,开放题与选择题各 50 道 |
| 63 | scBench | 参考答案 1 | 1 | 榜单条目 | ● 活跃 | 1 | ▣ 榜单 | 给 agent 真实单细胞测序数据快照,用确定性判分器检验每一步分析结果 |
| 64 | ScienceAgentBench | 参考答案 1 | 1 | 新版本 | ◐ 低频 | 1 | ▣ 榜单 | 从 44 篇论文提取 102 个数据驱动任务,要求 agent 写出可运行的完整 Python 程序 |
| 65 | SciReasoner / Biology-Instructions | 参考答案 1 | 1 | 结果公布 | ◐ 低频 | 2 | ≠ 不可比 | 把 DNA、RNA、蛋白与分子序列任务改写成文本问答,测大模型的序列理解 |
| 68 | BioDesignBench | 参考答案 1 | 1 | 论文修订 | ◐ 低频 | 1 | ▣ 榜单 | 给 LLM 智能体一套蛋白设计工具,按计算指标与流程评分看能否完成设计任务 |
已停更的 7 个 benchmark
2026 年内没有检出实质更新(新版本、新数据、新一轮赛事或论文修订)。它们仍被大量论文引用,档案页保留,但不进上面的统计与总表。
| NN | Benchmark | 最后一次实质更新 | 一句定位 |
|---|---|---|---|
| 07 | USPTO family (+PaRoutes) | PaRoutes:2024-08-05;USPTO-50k为静态数据集 | 逆合成与反应预测的默认数据口径;测的是能否复现专利记录,不是路线能否做成。 |
| 08 | Basenji/Enformer test set | 2022-05-26 | 序列到功能模型的事实口径:固定留出区域上的表观与表达轨迹预测 |
| 10 | GuacaMol (+MOSES) | GuacaMol:2024-02-11;MOSES:2024-07-08 | 分子生成的入场券式口径;真值全为计算 oracle,已停更,优化侧被 PMO 取代。 |
| 12 | DUD-E / LIT-PCBA | DUD-E:2012;LIT-PCBA:2020 | 虚拟筛选富集的两代静态集:DUD-E 用构造诱饵,LIT-PCBA 用 PubChem 实测非活性;二者都有已知偏置或泄漏 |
| 32 | CrossDocked2020 | 2022-11 | 口袋条件分子生成的事实默认评测集,分数由对接软件给出 |
| 41 | BioML-bench | 2025-09-14 | 让 agent 端到端跑生物医学 ML 流水线,与人类公开榜单成绩比较;被测 agent 平均低于人类基线。 |
| 44 | FS-Mol | 2023-02-03 | 在全新 assay 上只给 16–256 个标签,预测其余分子活性;填补少样本适配场景。 |
十条核心判断
- 能证明"方法进步"的只有少数几个盲测。 CASP、CAPRI、CAFA、CAGI、CAMEO、CACHE 加上抗体侧新出现的 AIntibody,是全领域仅有的制度化"提交时真值不存在"评测。其余各项的隔离与泛化控制都要弱一档。
- 影响力最高的一批,质量往往最差。 MoleculeNet、USPTO、CASF-2016、DUD-E、GuacaMol 的成绩有相当部分来自记忆与构造性捷径。能被无限刷的静态集才积累得起影响力。
- 简单基线追平深度模型,是跨领域反复出现的结果。 CASF-2016 上不训练、只取最相似训练复合物均值的检索基线即可接近早期深度模型(CASF);TDC 的 ADMET 分任务榜上梯度提升加指纹基线胜过多数预训练模型(TDC);25 个预训练分子嵌入模型除 1 个外都不优于 ECFP(MoleculeNet);一项独立研究报告 Enformer 的跨个体平均表达相关接近零(Enformer);扰动预测中 mean、no-change 与线性基线未被稳定超越(扰动评测);DNA 语言模型被随机初始化的同架构模型追平(GUE/NT);RNA 3D 的 Kaggle 头名是非深度学习的模板检索管线(RNA-Puzzles);非编码因果变异上,基于比对的方法(CADD 为孟德尔集零样本第 1)仍在孟德尔与复杂疾病性状上占优(TraitGym)。
- 指标效度是全领域共性短板。 多数 benchmark 不报置信区间,而头部差距常小于样本噪声:PubMedQA 500 题的二项标准误约 ±1.9 个百分点,而前五名只差约 1.4 点;PoseBusters V2 只有 308 个体系,头部几个百分点的差距不足以支撑排名;FoldBench 的 RNA、DNA 单体任务只有 14–15 个目标,蛋白-肽 51 个,论文本身提示差距小的排名不应解读。
- 泄漏问题已从"随机 split 不够"升级为"相似度必须成为一等公民",而共折叠模型在低相似度档会塌陷。 一项 2025 年去泄漏研究称 CASF-2016 约 49% 的测试复合物在训练集中有相似对;一份报告称 USPTO-50K 约 94% 的测试反应可由训练集模板匹配(USPTO);PLINDER 家族 把隔离单位升级为多维相似度后,共折叠模型在低相似度档显著掉分;FoldBench 独立复现了同一现象:配体与训练集越不相似、成功率越低,蛋白-蛋白界面同理,而且训练截止越晚的模型越需要只报后段子集。
- 抗体评测刚刚起步,而起步的结论是负面的。 四项抗体基准都是 2024 年以后才出现的:AIntibody 发现成绩不跨任务迁移、多数设计并未胜过传统筛选;GDPa1 的论文显示交叉验证与私有留出集两种口径的结果系统性不同;FLAb2 在约八成数据集上零样本相关不显著,起作用的多是胚系偏差;AbBiBench 的结论是结构条件的反折叠模型最稳、抗体专用微调并不稳定带来提升。与此同时,按本轮关系口径,7 个抗体专用模型里只有 1 个(IgGM / IgGM-FM)在这四项上有成立的配对,其余成绩都来自自建测试集(见配对矩阵)。
- 新一批 benchmark 大多是静态集,趋势在抗体之外停住了。 补充收录的 14 项里 11 项不产生新实验数据,CrossDocked2020 与 MotifBench 的真值干脆是对接打分与折叠回读;定期产生新实验真值的只有 AIntibody 与 GDPa1 这两项抗体基准。被广泛采用的主要是 FoldBench(12 个模型有成立配对,补充 14 项中最多),原因是它有维护方统一运行的榜单、覆盖抗体-抗原等最想比的界面、而且不用等窗口。
- 约一半的"官方榜单"条目是维护方自己跑的,不是行业在提交。 本站 226 条模型 × benchmark 配对中成立 160 条,其中官方参赛 / 官方榜单类 48 条,24 条(恰好一半)集中在 ProteinGym、FoldBench、AbBiBench 与 NTv3 Benchmark 四项,而这四项的条目都由基准方运行(AbBiBench 的条目还是从论文图读出的打分相关性,并非重跑;NTv3 Benchmark 由模型方自建自评)。真正提交制的只有 MotifBench 与 LABBench2 等少数几处。
- agent 与 LLM 侧现在有了官方榜,但口径管理成了新问题。 LABBench2 有官方榜并标注更新日期(2026-03-23),BixBench 的后继版本 BixBench3 也有持续更新的官方榜,这比过去各家自报是进步;但 BixBench3 由另一家机构运营、任务与指标都与原版不同,不可同列,厂商系统卡的同一子项有多套复述口径,而 BioMysteryBench 由模型厂商自己出题、完整集不对外、公开部分仅 5 题。同时 PubMedQA 已饱和(官方榜最新条目为 2024-04-18),原版 LAB-Bench 的部分子集已饱和。
- 最被低估的不是题库,而是基础设施。 PoseBusters 的遗产是"RMSD 之外还要过物理有效性检查";PLINDER 的是相似度分层 split;PMO 的是"固定 oracle 预算";Polaris 的是 bootstrap 加 Tukey HSD 的排名统计协议;MotifBench 的是统一的生成-回读流水线。这几样比各自的排行榜更值得继承。另外,"榜上名次提升带来湿实验命中率提升"这条链,44 项里仍没有一项提供量化证据:CAFA3 做过前瞻实验验证,但实验命中率与 Fmax 的对应关系未量化,DREAM5 的 53 条预测中 23 条获支持,Adaptyv 的数据显示计算指标与实测亲和力仅弱相关。
按场景选型组合
通用原则:每个场景用"锚点 + 压力测试 + 真实验证"三层。锚点用于和文献对齐,压力测试用于暴露泄漏与捷径,真实验证用于回答能不能用。前两层不能替代第三层。
S1 蛋白单体与复合物结构
- 组合:CASP 当届分赛道 + CAMEO 滚动窗口 + CAPRI,横比加 FoldBench 的单体与界面任务。
- 控制变量:训练截止日与靶点释放日、模板与 MSA 的使用边界、采样数与 top-1/top-k、是否有人工干预。
- 能支持的结论:注明届次内的结构泛化能力。不能支持功能结论或药物设计可用性。
S2 共折叠与配体姿态
- 组合:PoseBusters V2 + Runs N' Poses 相似度分档 + PoseX 的 cross-docking + FoldBench 蛋白-配体子集;训练自有模型时加 PLINDER-PL50。
- 控制变量:版本(V1/V2、SD/CD)、训练截止、选姿规则;必报最近邻训练位姿拷贝与物理对接基线;手性与冲突单独报。
- 能支持的结论:按相似度分档的姿态正确率。不能支持亲和力结论。
S3 亲和力打分与虚拟筛选
- 组合:CASF-2016(只作历史对齐)+ 去泄漏重测(LP-PDBBind、CleanSplit)+ LIT-PCBA(去重后)+ CACHE 或 Polaris 承办的盲测。
- 控制变量:相似度检索基线、去重后的分子计数单位、训练集与评测集的库级重叠(公开亲和力模型几乎都吃 ChEMBL 与 BindingDB)。
- 能支持的结论:去泄漏后的相对增益,以及前瞻命中的定性证据。
S4 变异效应与蛋白工程
- 组合:ProteinGym(按 assay 类型分层,多指标同报)+ FLIP/FLIP2 外推 split + CAGI 的 MAVE 盲测。
- 控制变量:MSA 深度与分类群(病毒蛋白单独报);训练配方与随机种子(同一模型在某些 landscape 上波动极大);必报 RSALOR、EVE、one-hot 加 ridge 三个基线;区分榜单口径与自选 DMS 子集口径。
- 能支持的结论:assay 内排序与指定外推轴上的能力。不能支持"最佳工程模型"。
S5 变异致病性
- 组合:ClinVar 时间或基因留出 + ProteinGym 临床轨 + CAGI 临床类挑战。
- 控制变量:标签循环(训练特征与 ClinVar 证据重叠)、基因级标签失衡、零样本与有监督探针必须分开(在 Evo 2 这类基因组模型上,两者结论差别很大)。
- 能支持的结论:回顾性分类能力;盲测证据只能来自 CAGI。
S6 蛋白 binder 与 de novo 设计
- 组合:Adaptyv/BenchBB 历史轮次 + 自有或付费的前瞻 SPR/BLI + 靶点难度分层;motif scaffolding 另加 MotifBench。
- 控制变量:已知抗体改造与 de novo 分开;统一 hit 定义;每靶设计条数必须披露(公开的设计战役每靶常只有十几到几十条);不能单独用界面置信度指标筛选。
- 能支持的结论:指定靶点上命中率的定性比较。单轮结果不能用于排名。
S7 抗体设计与可开发性
- 组合:AIntibody(唯一的前瞻盲测,只能等下一届)+ GDPa1 留出集 + AbBiBench 零样本相关 + FLAb2 七类性质 + FoldBench 抗体-抗原界面。
- 控制变量:结构精度与功能预测分开(FoldBench 只测结构,AbBiBench 测打分相关);交叉验证结果与留出集结果必须并列报告;自定子集(例如各家论文自己切的抗体-抗原子集)不能与官方榜并排;胚系相似度要作为协变量。
- 能支持的结论:零样本打分与实测的相关强弱、留出集上的可开发性误差。不能支持"抗体设计已可用"。
S8 蛋白功能注释
- 组合:CAFA(no-knowledge 子集,按子本体分报)+ 自建时间切分。
- 控制变量:GO 版本与证据过滤;必报 Naive 与 BLAST 基线;文本挖掘方法与纯序列方法分区;自选的 GO 测试集不等于 CAFA 盲测。
- 能支持的结论:时间泛化。"未注释"不能当作错误。
S9 ADMET 与少样本新 assay
- 组合:TDC-ADMET(多种子)+ Polaris 承办的盲测(OpenADMET 的挑战在 Polaris 之外运行,本站不计入该条目) + 自有项目的时间前向回测;MoleculeNet 只作历史对齐;标签极少的新 assay 用 FS-Mol 的多支持集预算曲线加自有冻结样本。
- 控制变量:按实验室来源与时间分开留出;必报 XGBoost 加 ECFP 这类强基线;FS-Mol 要做靶家族隔离与二值化阈值说明;盲测里参赛条目常被匿名化,公开模型无法与之对应,不能据以认领名次。
- 能支持的结论:指定化学系列上的实用误差、低标签条件下的适配效率。榜单名次不能当研发决策依据。
S10 分子生成与优化
- 组合:PMO(多档预算曲线)+ 化学质量过滤后的得分 + 可合成性检查;GuacaMol 只作冒烟测试。
- 控制变量:oracle 调用次数与总计算、多个随机种子;PMO 的多数 oracle 来自 GuacaMol,两者不是两份独立证据;"不受约束的基线"要同时报(合成约束方法的卖点常是不掉分,而不是更高)。
- 能支持的结论:预算内的搜索效率。不能支持真实活性。
S11 结构条件分子生成
- 组合:CrossDocked2020 标准切分 + PoseBusters 有效率与相互作用恢复 + 自有口袋上的对接与合成评估。
- 控制变量:写清切分口径(原始数据集与生成任务子集完全不同);对接分是 oracle,不是真值;必报类药性与可合成性,避免只看对接分;口袋与训练集的相似度要报。
- 能支持的结论:生成分子在给定口袋上的几何与对接表现。不能支持活性或可成药性。
S12 逆合成与反应预测
- 组合:USPTO-50K/MIT(只作对齐)+ PaRoutes 路线 + 模板检索基线。
- 控制变量:同一专利的反应可能跨 split;round-trip 指标依赖正向模型,有代理偏倚。
- 能支持的结论:专利文本层面的复现。"能做成"需要合成验证。
S13 DNA 与调控基因组
- 组合:GUE/NT 修订版(冒烟测试,多种子)+ BEND 功能任务 + Enformer/Borzoi 跨基因与跨个体分报 + TraitGym 因果变异。
- 控制变量:组成匹配的负样本、染色体留出;必报小 CNN 与 PrediXcan 类基线,以及基于比对的方法;BEND 的两个版本不可混用;用了 TraitGym 的变异集不等于进了它的榜。
- 能支持的结论:表征质量与参考基因组拟合、匹配对照下的因果变异识别。个体级效应仍须单独验证。
S14 RNA
- 组合:RNA-Puzzles、CASP RNA 赛道与 Kaggle 轮次作 3D 盲测 + RNAGym 的适应度与结构任务 + 二级结构按家族切分。
- 控制变量:有无模板分层、家族泄漏;自建测试集里"含若干 RNA-Puzzles 靶点"不等于报了 RNA-Puzzles 成绩;规模口径要注明来源。
- 能支持的结论:3D 与 2D、结构与适应度的结论各自独立,不能互相替代。
S15 单细胞整合、扰动与调控网络
- 组合:scIB(零样本与现场拟合两种设置)+ PerturBench 协变量迁移 + VCC 多指标 + DREAM5/BEELINE 逐网络对照。
- 控制变量:mean、no-change、additive、线性模型、HVG 加 PCA、scVI 这组基线;在供体与批次层重采样;赛后补评与参赛条目必须分开标注;网络推断逐网络报、不聚合,未观察到的边不当阴性。
- 能支持的结论:相对这组基线的增益。不能支持"虚拟细胞可用"。
S16 文献助手、生信与科研 agent
- 组合:BioASQ 当届批次 + LABBench2(工具与无工具对照)+ BixBench 全集与子集同报 + BioML-bench 端到端流水线 + BioMysteryBench(注意出题方)。
- 控制变量:版本号与榜单更新日期、工具权限、token 与时间预算、评分模型、人类基线是下界还是上界;厂商自跑与第三方复跑分开;原版与后继版题库不可同列。
- 能支持的结论:工具带来的增益趋势。不能支持科研能力的绝对水平。前沿模型在 LABBench2 与 BixBench3 上的成绩以官方榜单为准(LABBench2、BixBench3),引用须注明榜单更新日期;聚合站口径不同。
方法说明
- 分类口径、活跃度标准与已知局限见方法与数据。
- 每个 benchmark 与模型是一条中英双语记录;本页、档案页、协议索引、配对矩阵都由同一批记录生成,数字不会互相打架。
- 未运行任何 benchmark,页内没有自测成绩;所有数字来自公开论文、官方仓库与榜单,未核实的日期标 †,未核实的分数不显示。
本文为个人研究笔记,结论基于成文时可获得的公开信息;带〔估算〕〔推断〕或⚠️的数字未经独立核实。