协议索引:113 条协议按谁判对错分组
60 个 benchmark 拆成 113 条协议,按"谁判对错"分四组列出。同一个 benchmark 可以出现在多组。截至 2026-11-18。
已有参考答案(88)
能回答:在这批已知对象上,谁的预测更贴近已有记录。不能回答:换一批新对象是否还成立;模型训练时是否见过答案。
| Benchmark | 协议 | 模型在做什么 | 已核实在用模型数 | 五维要点 |
|---|---|---|---|---|
| 01 CASP | 01d CASP 历届靶点回溯·蛋白结构/接触 | 预测给定对象的结果 | 5 | 真值高;基线未报基线;效度中;饱和接近饱和;泄漏风险中 |
| 01 CASP | 01e CASP 历届靶点回溯·RNA | 预测给定对象的结果 | 4 | 真值中;基线被追平或反超;效度中;饱和未饱和;泄漏风险中 |
| 01 CASP | 01f CASP 历届靶点回溯·亲和力 | 预测给定对象的结果 | 4 | 真值中;基线部分追平;效度低;饱和未饱和;泄漏风险高 |
| 02 ProteinGym | 02a ProteinGym 监督微调·随机划分 | 理解状态(表征与排序) | 0 | 头部分差落在统计误差内;随机划分让同一位点的其它替换进入训练集,位点无关的 one-hot 基线已几乎追平。 |
| 02 ProteinGym | 02b ProteinGym 监督微调·连续片段/模数划分 | 理解状态(表征与排序) | 0 | 按位点留出后 one-hot 基线几乎失效,深度模型显著领先,优势主要来自多序列比对与结构先验而非监督信号。 |
| 02 ProteinGym | 02c ProteinGym 零样本·替换型突变扫描(217 个数据集) | 理解状态(表征与排序) | 9 | 头部约 0.518 且近两年未再抬升,领先来自比对与结构检索增强;纯单序列模型与经典比对基线统计上难分。 |
| 02 ProteinGym | 02d ProteinGym 零样本·插入缺失与高阶突变 | 理解状态(表征与排序) | 1 | 头部比对齐基线高约 0.13,但与第二名的差距仅略大于统计误差,且榜首自 2023 年未被刷新。 |
| 02 ProteinGym | 02e ProteinGym 临床变异子集 | 理解状态(表征与排序) | 1 | 头部 AUC 0.920 且前四名差距小于统计误差,无训练参数的比对方法已追平;标签来源与模型训练存在循环。 |
| 03 MoleculeNet (+OGB) | 03a MoleculeNet 随机划分子集 | 预测给定对象的结果 | 0 | 真值低;基线被追平或反超;效度低;饱和接近饱和;泄漏风险高 |
| 03 MoleculeNet (+OGB) | 03b MoleculeNet scaffold 子集 / OGB 衍生 | 预测给定对象的结果 | 2 | 真值低;基线被追平或反超;效度低;饱和饱和;泄漏风险中 |
| 04 TDC (ADMET + DTI) | 04a TDC ADMET Benchmark Group(22 集,scaffold) | 预测给定对象的结果 | 4 | 真值低;基线被追平或反超;效度低;饱和接近饱和;泄漏风险高 |
| 04 TDC (ADMET + DTI) | 04d TDC 其他任务(非 ADMET 榜,推荐 split) | 预测给定对象的结果 | 0 | 真值中;基线无法判断;效度中;饱和无法判断;泄漏风险待核 |
| 05 PoseBusters | 05a PoseBusters V1(428) | 预测给定对象的结果 | 2 | 真值中;基线深度模型显著领先;效度中;饱和接近饱和;泄漏风险高 |
| 05 PoseBusters | 05b PoseBusters V2(308) | 预测给定对象的结果 | 9 | 真值中;基线深度模型显著领先;效度中;饱和接近饱和;泄漏风险高 |
| 06 CASF-2016 | 06a CASF-2016 标准核心集 | 预测给定对象的结果 | 1 | 真值中;基线被追平或反超;效度低;饱和接近饱和;泄漏风险高 |
| 09 scIB (+Open Problems) | 09a scIB 常规全数据整合(含零样本嵌入) | 理解状态(表征与排序) | 3 | 高变基因加主成分这类简单做法与现场拟合方法在细胞类型分离上胜过零样本基础模型,指标本身可被刷分。 |
| 09 scIB (+Open Problems) | 09b Open Problems 平台任务 | 理解状态(表征与排序) | 1 | 相对对照做缩放比原口径稳健,但大量指标结果缺失让聚合排名不可靠,零样本基础模型仍不及经典方法。 |
| 11 ClinVar hold-out protocol | 11c ClinVar 版本冻结与时间留出 | 理解状态(表征与排序) | 1 | 版本差集挡住了直接重叠,但新入库标签可能本身就用了计算证据,形成循环;基因内评估只覆盖少数基因。 |
| 11 ClinVar hold-out protocol | 11d ClinVar 自建或改编测试集(口径各异) | 理解状态(表征与排序) | 2 | 仅用基因身份的零模型就能拿到 AUROC 0.921;负例取常见变异,等位频率与保守性都能当捷径。 |
| 11 ClinVar hold-out protocol | 11e ClinVar 零样本打分(不做切分) | 理解状态(表征与排序) | 2 | 编码区上保守性与比对基线反超大模型,头部差 0.002–0.02 小于口径差异;标签部分由同源信号支撑,存在循环。 |
| 13 CAGI | 13b CAGI 历届挑战回放 | 理解状态(表征与排序) | 1 | 评估方剔除了已公开的标签以控直接泄漏,但旧题面数据多已流入公开库,晚于发布训练的模型回放即非盲。 |
| 14 PubMedQA | 14a PubMedQA PQA-L | 多步分析与问答(agent) | 2 | 头部分数已超过单个标注者的人类水平,彼此差距落在统计误差内,题目与答案长期公开。 |
| 15 CAMEO | 15c CAMEO 历史窗口回溯 | 预测给定对象的结果 | 2 | 真值中;基线未报基线;效度中;饱和接近饱和;泄漏风险中 |
| 16 GUE + Nucleotide Transformer 基准 | 16a GUE / NT 基准的随机与常规折分 | 理解状态(表征与排序) | 1 | 随机初始化的同架构模型常能追平预训练模型,多任务平均掩盖弱任务,头部零点几分的差距没有方差可依。 |
| 17 CAFA | 17b CAFA 历届回放 | 理解状态(表征与排序) | 0 | 题面、权重与答案全部公开可反复调参,新模型的训练语料已包含当年的答案,时间隔离没有机制保障。 |
| 18 LAB-Bench / LABBench2 | 18a LAB-Bench 原版·公开题 | 多步分析与问答(agent) | 1 | 多选形式使分数偏高,多个子类已接近或超过人类专家,是否给工具可带来约二十个百分点的差别。 |
| 18 LAB-Bench / LABBench2 | 18b LAB-Bench 原版·所谓隐藏测试集(自行切分的 315 题) | 多步分析与问答(agent) | 1 | 所谓隐藏题其实是从公开数据里自行切出的,成绩已与人类专家持平,差距落在统计误差内。 |
| 18 LAB-Bench / LABBench2 | 18c LABBench2(含官方榜) | 多步分析与问答(agent) | 2 | 改为开放作答并加可执行验证;代码工具把分数抬高十几到二十几个百分点,子任务难度从 0.36 到 0.95 差距极大。 |
| 21 DREAM5 / BEELINE / CausalBench | 21a DREAM5 网络推断挑战 | 理解状态(表征与排序) | 0 | 金标准不完整,未知真边被当成假阳性;2010 年的树模型至今仍是强基线,绝对分数很低。 |
| 21 DREAM5 / BEELINE / CausalBench | 21b BEELINE 单细胞网络推断评测 | 理解状态(表征与排序) | 1 | 真实单细胞数据上多数方法接近随机,基础模型的注意力推断也近随机;金标准不完整使分差难解释。 |
| 21 DREAM5 / BEELINE / CausalBench | 21c CausalBench 扰动数据因果推断 | 理解状态(表征与排序) | 0 | 留出的只是同一批扰动目标的部分细胞,与指标同构的简单均值差方法在统计评估上领先,代理库偏向研究充分的基因。 |
| 21 DREAM5 / BEELINE / CausalBench | 21d 其他基因调控网络评测口径(如 benGRN) | 理解状态(表征与排序) | 1 | 绝对分数很低、多处劣于随机;评测工具由被评模型的作者自建,还有用真值挑选模型内部结构的变体。 |
| 24 虚拟细胞挑战赛与扰动预测评测 | 24b VCC 2025 全集赛后补评 | 预测给定对象的结果 | 1 | 真值中;基线部分追平;效度低;饱和无法判断;泄漏风险高 |
| 24 虚拟细胞挑战赛与扰动预测评测 | 24c 公开扰动集(Norman/Adamson/Replogle,GEARS 口径) | 预测给定对象的结果 | 1 | 真值低;基线被追平或反超;效度低;饱和未饱和;泄漏风险中 |
| 24 虚拟细胞挑战赛与扰动预测评测 | 24d 自建扰动留出(Tahoe-100M、iPSC、DepMap 等) | 预测给定对象的结果 | 4 | 真值未知;基线部分追平;效度低;饱和无法判断;泄漏风险高 |
| 24 虚拟细胞挑战赛与扰动预测评测 | 24e PerturBench | 预测给定对象的结果 | 0 | 真值低;基线被追平或反超;效度中;饱和无法判断;泄漏风险中 |
| 25 RNA-Puzzles | 25b RNA-Puzzles 历届回溯 3D | 预测给定对象的结果 | 1 | 真值中;基线被追平或反超;效度中;饱和未饱和;泄漏风险高 |
| 25 RNA-Puzzles | 25c RNA 2D 静态集(bpRNA/ArchiveII 等) | 预测给定对象的结果 | 0 | 真值中;基线被追平或反超;效度中;饱和未饱和;泄漏风险高 |
| 25 RNA-Puzzles | 25e Kaggle RNA 3D 私榜赛后回溯 | 预测给定对象的结果 | 2 | 真值中;基线被追平或反超;效度中;饱和未饱和;泄漏风险高 |
| 26 FLIP / FLIP2 | 26a FLIP 随机与采样切分 | 理解状态(表征与排序) | 1 | 同一蛋白内的随机变体切分已经饱和,岭回归与小型卷积网络与预训练模型相当,训练配方差异造成的分差大于模型差。 |
| 26 FLIP / FLIP2 | 26b FLIP 外推切分(按突变数、位点、适应度等) | 理解状态(表征与排序) | 1 | 外推切分更贴近工程决策且远未饱和,但分数提升多来自重训配方而非新方法,低资源切分的训练样本极少。 |
| 27 Polaris / ASAP / OpenADMET | 27c Polaris 平台静态数据集 | 预测给定对象的结果 | 2 | 在一批中小规模分子性质数据集上,指纹加随机森林能赢下约七成任务,与新表征差距有限;真值公开、提交不限次。 |
| 29 BixBench | 29a BixBench 原版 v1/v1.5 全集 | 多步分析与问答(agent) | 4 | 抽样复审发现约三分之一题目的题干或答案需要修改,数值题的选项判分抬高了成绩,判分模型与被测同族。 |
| 29 BixBench | 29b BixBench Verified-50 | 多步分析与问答(agent) | 2 | 50 题经复审修订,去掉歧义与错误真值,更能反映分析能力;但题量小,修订与判分由同一利益相关方完成。 |
| 29 BixBench | 29c BixBench3(后继版官方榜) | 多步分析与问答(agent) | 2 | 按已发表论文的产物程序化判分,避开了模型打分;20 个任务等权平均,大数据任务仍几乎做不出来。 |
| 30 PLINDER / PINDER / Runs N' Poses | 30c Runs N' Poses 相似度分层评测 | 预测给定对象的结果 | 8 | 按与训练集的相似度分档看位姿:高相似档与最低相似档差距很大,最低档只有几十个体系,且未设模板或物理对接基线。 |
| 30 PLINDER / PINDER / Runs N' Poses | 30d PINDER 指定 split | 预测给定对象的结果 | 1 | 物理对接在该集上追平甚至反超深度方法;输入从结合态结构换成 apo 或预测单体后,成功率大幅下降。 |
| 31 FoldBench | 31a FoldBench 官方·蛋白单体 / 蛋白-蛋白 | 预测给定对象的结果 | 9 | 单体精度已接近实验误差限制,蛋白-蛋白头部差异无统计显著性;未设模板检索或同源建模这类简单基线。 |
| 31 FoldBench | 31b FoldBench 官方·抗体-抗原 | 预测给定对象的结果 | 7 | 头部分差大于统计误差,但失败率仍超过一半;没有非深度基线,采样预算与子集口径各家不同。 |
| 31 FoldBench | 31c FoldBench 官方·蛋白-配体 | 预测给定对象的结果 | 8 | 头部约 65%,领先幅度大于统计误差;去泄漏采用双重条件,成功率随配体与训练集的相似度上升。 |
| 31 FoldBench | 31d FoldBench 官方·蛋白-核酸 / RNA | 预测给定对象的结果 | 3 | 蛋白-DNA 好于蛋白-RNA,核酸单体远未解决;核酸侧只按完全相同序列聚类,隔离弱于蛋白侧。 |
| 31 FoldBench | 31e FoldBench 2024-01 后子集(晚截止模型) | 预测给定对象的结果 | 2 | 为训练截止更晚的模型单列的子集,思路正确但每项目标数未公布,部分成绩分母可能极小,与主表模型不可直接比。 |
| 31 FoldBench | 31f FoldBench-AB 自定子集 | 预测给定对象的结果 | 2 | 沿用原基准名但子集定义与目标数未公布;对照里旧模型取自已发表值、新模型为自跑,换到更严格的集后差距明显收窄。 |
| 33 PoseX | 33a PoseX self-docking | 预测给定对象的结果 | 2 | 真值过滤最严,含电子密度拟合门槛;深度对接显著领先物理对接,但共折叠模型在低相似口袋上成绩大幅下滑。 |
| 33 PoseX | 33b PoseX cross-docking | 预测给定对象的结果 | 1 | 深度对接显著领先物理对接;但共折叠模型并不读入给定受体构象,与对接方法并非同一口径。 |
| 34 AbBiBench | 34a AbBiBench 零样本结合打分(按实验分报) | 理解状态(表征与排序) | 6 | 最佳平均相关仅 0.29,而适应度任务常用的简单基线完全未设,领先幅度缺少参照;榜单口径本身混乱。 |
| 35 FLAb / FLAb2 | 35a FLAb / FLAb2 零样本相关性 | 预测给定对象的结果 | 1 | 约八成可开发性数据集上相关性不显著,全局最佳相关系数极低;胚系编辑距离这一捷径就解释了蛋白语言模型约四成表观预测力。 |
| 37 TraitGym | 37a TraitGym 孟德尔性状 | 理解状态(表征与排序) | 2 | 保守性基线不输任何 DNA 语言模型,监督组合分数最高;338 个正例下 0.03 的差距不足以排名。 |
| 37 TraitGym | 37b TraitGym 复杂性状 | 理解状态(表征与排序) | 2 | 头部约 0.362、单模型 0.30、零样本 0.25,远未饱和;几个大模型接近随机,而标签不进任何模型训练。 |
| 38 BEND | 38a BEND 染色体与区域留出任务 | 理解状态(表征与排序) | 2 | 冻结嵌入在染色质、组蛋白、甲基化上只与专用监督模型持平,增强子几乎无区分度,数据管线设置就能改变排名。 |
| 38 BEND | 38b BEND 其他任务 | 理解状态(表征与排序) | 2 | 基因发现上最佳语言模型仍落后传统注释工具,零样本变异打分多数接近随机,个别离群结果没有解释。 |
| 39 RNAGym | 39a RNAGym 零样本适应度 | 理解状态(表征与排序) | 2 | 全部对照都是基础模型,缺少位点独立或二级结构这类简单基线;头部约 0.28,一年半几乎没有抬升。 |
| 42 BioMysteryBench | 42a BioMysteryBench 人类可解题 | 多步分析与问答(agent) | 1 | 答案客观可验证,但判分全有或全无,头部已接近专家能解出的上限,主要成绩由厂商自测提供。 |
| 42 BioMysteryBench | 42b BioMysteryBench 人类未解题 | 多步分析与问答(agent) | 1 | 只有 23 题且成功很不稳定,最高约三成;专家全部未解,没有人类基线可比。 |
| 43 Ginkgo GDPa1 | 43a GDPa1 公开集(聚类 / 同型分层交叉验证) | 预测给定对象的结果 | 1 | 交叉验证分数系统性高于盲测,同一批方法换到留出集后普遍腰斩;热稳定一项几乎所有基线都接近零,没有排序信息。 |
| 45 DART-Eval | 45a DART-Eval 调控 DNA 任务套件 | 理解状态(表征与排序) | 3 | 从头训练的小型专用模型在定量可及性与调控变异上与微调语言模型相当或更好,零样本似然接近随机。 |
| 46 FEP 相对结合自由能基准 | 46a FEP+ 基准(八靶标) | 预测给定对象的结果 | 2 | 只评同系列排序、不评绝对误差;头部深度模型的总体相关性仍低于物理自由能方法,且各家是否剔除相似训练数据不一致。 |
| 46 FEP 相对结合自由能基准 | 46b Merck FEP 基准 | 预测给定对象的结果 | 2 | 来自真实工业项目的八个靶,头部深度模型的平均排序相关性在 0.4 量级,低于物理自由能方法;数据公开多年已进入公共活性库。 |
| 47 PoseBench / DockGen | 47a PoseBench 套件(Astex Diverse / PoseBusters / DockGen-E / CASP15) | 预测给定对象的结果 | 1 | 位姿准确度必须与物理有效性联读——有的模型 RMSD 分布最紧却很少通过物理检查;各方法的比对、模板与采样预算也不一致。 |
| 47 PoseBench / DockGen | 47b DockGen / DockGen-E 新口袋泛化集 | 预测给定对象的结果 | 1 | 口袋所属结构域完全未见过时成功率大幅下降,早期深度方法还不如搜索式对接;按结构域划分使它成为隔离最强的泛化集之一。 |
| 49 NTv3 Benchmark | 49a NTv3 Benchmark(2026-10-29 版:155 条轨道、11 个物种;初版 106 个任务、7 个物种) | 理解状态(表征与排序) | 4 | 序列到功能模型明显高于语言模型,而语言模型不高于从头训练的卷积基线;基准由其中一个模型的团队自建自评。 |
| 52 Biogen ADME | 52a Biogen ADME 各终点 | 预测给定对象的结果 | 2 | 终点贴近真实药代决策,但切分口径跨论文分裂,单终点测试集小到误差棒足以吞掉名次差,榜单条目也极少。 |
| 53 UNICORNE-BENCH | 53a UNICORNE-BENCH | 预测给定对象的结果 | 7 | 最强工具只完整复现约 8% 的构象集合,构象差异越大越差,各工具失败的靶重叠而非互补;分模型得分与隔离方式均未公开。 |
| 54 OMol25 + FAIR Chemistry 榜单 | 54a OMol25 与 FAIR Chemistry 榜单 | 预测给定对象的结果 | 4 | 标签是计算结果而非实验值;能量与受力已接近化学精度,但电离能、自旋间隙等下游化学任务误差仍大,两者明显脱节。 |
| 55 PDBbind-CleanSplit / LP-PDBBind | 55a PDBbind-CleanSplit / LP-PDBBind | 预测给定对象的结果 | 2 | 剔除近重复后,同一批模型的相关性从 0.8 量级掉到 0.4–0.5;按旧口径做出的架构选择在严格无泄漏档上会被推翻。 |
| 57 CatPred-DB | 57a CatPred-DB | 预测给定对象的结果 | 3 | 标签来自混源文献汇编,预测质量主要被实验不确定度限制;主表用随机划分,同源性降到 40% 这一档成绩大幅下滑。 |
| 58 ChemBench | 58a ChemBench | 多步分析与问答(agent) | 1 | 九成题目是多选,总分还掺进一千道偏好匹配题;榜单头部两条是未核验的自报成绩。 |
| 59 LifeSciBench | 59a LifeSciBench(OpenAI) | 多步分析与问答(agent) | 2 | 由出题方自行评测,榜首模型与出题方同属一家;评分模型未披露,且评测允许无限制联网。 |
| 60 Terminal-Bench-Science | 60a Terminal-Bench-Science | 多步分析与问答(agent) | 2 | 结果由程序化验证判定,比模型打分可靠;但一个条目把模型、智能体外壳与推理强度混在一起,分数上升很快。 |
| 61 BiomniBench / Biomni-Eval1 | 61a BiomniBench-DA(过程级评分细则,由模型评分) | 多步分析与问答(agent) | 3 | 按细则评整条分析轨迹,比只看最终答案更贴近质量;但评分由模型完成,换外壳的影响大于换模型。 |
| 61 BiomniBench / Biomni-Eval1 | 61b Biomni-Eval1(433 题,确定性判分) | 多步分析与问答(agent) | 0 | 未评估 |
| 62 HeurekaBench | 62a HeurekaBench | 多步分析与问答(agent) | 5 | 真值是人工复现过的论文洞见;题目经对抗过滤偏向两款模型,系统间比较只在十几到二十几题的小子集上。 |
| 63 scBench | 63a scBench(Latch) | 多步分析与问答(agent) | 0 | 完整题集不公开、答案按特定参数重算,泄漏风险低;但平台之间的差异比模型之间还大,题集已更换过。 |
| 64 ScienceAgentBench | 64a ScienceAgentBench | 多步分析与问答(agent) | 1 | 成功与否由可执行脚本判定,自调试能把成绩抬高近一倍;官方榜停在 2025 年条目,生物类题只占一部分。 |
| 65 SciReasoner / Biology-Instructions | 65a SciReasoner / Biology-Instructions | 多步分析与问答(agent) | 4 | 评测集与训练集同分布,分差主要反映是否见过同类训练数据;多数任务仍低于专用序列小模型。 |
| 66 MassSpecGym | 66a MassSpecGym | 预测给定对象的结果 | 3 | 划分严格切断了相似分子;检索式注释明显优于从头生成,而标准从头赛道所有方法的首选命中率几乎为零。 |
| 67 VenusX | 67a VenusX 功能位点与片段注释 | 理解状态(表征与排序) | 1 | 结构对齐工具在多个设置下居首而序列对齐基线大幅落后;跨家族切分下残基级预测大幅下降,表位几乎无区分度。 |
| 68 BioDesignBench | 68a BioDesignBench | 多步分析与问答(agent) | 1 | 没有实验终点,质量分由结构预测器算出,而同样的预测器就在被测工具箱里;人类专家仍高于所有模型。 |
计算函数打分(5)
能回答:谁更会优化这个计算函数。不能回答:函数给高分的对象在实验里是否真的好。
| Benchmark | 协议 | 模型在做什么 | 已核实在用模型数 | 五维要点 |
|---|---|---|---|---|
| 19 PMO (Practical Molecular Optimization) | 19a PMO 23 任务标准协议 | 提出候选(生成与设计) | 1 | 打分用的是廉价计算函数而非实测,遗传算法等老方法仍居前列,任务名本身就提示了答案。 |
| 19 PMO (Practical Molecular Optimization) | 19b PMO 自选子集 | 提出候选(生成与设计) | 1 | 任务集与预算由各自选定,求和分数与标准协议同名不同义,跨报告的排名没有意义。 |
| 40 MotifBench | 40a MotifBench 30 题 | 提出候选(生成与设计) | 3 | 成功与否由计算自洽判据决定,换一个结构预测器结论就变;榜首一年多翻了一倍以上,远未触顶。 |
| 50 蛋白 motif scaffolding 基准 | 50a RFdiffusion 原论文 25 题 motif-scaffolding 基准(Scaffold-Lab 版为 24 题) | 提出候选(生成与设计) | 1 | 判据来自结构预测的自洽性而非实验,而该判据连天然长序列也大面积判为不可设计;原题集已被视作饱和。 |
| 50 蛋白 motif scaffolding 基准 | 50b Scaffold-Lab | 提出候选(生成与设计) | 2 | 固定回折流程统一了口径,并同时报多样性与新颖性;长蛋白上成功率明显下降,参评的全是深度生成模型。 |
先交卷后公布答案(15)
能回答:对当届新题的真实预测力。不能回答:结果公开以后,同一套题对后来的模型只相当于已有参考答案。
| Benchmark | 协议 | 模型在做什么 | 已核实在用模型数 | 五维要点 |
|---|---|---|---|---|
| 01 CASP | 01a CASP 实时盲测·蛋白单体/复合物 | 预测给定对象的结果 | 2 | 真值高;基线深度模型显著领先;效度中;饱和接近饱和;泄漏风险低 |
| 01 CASP | 01b CASP 实时盲测·RNA | 预测给定对象的结果 | 1 | 真值中;基线被追平或反超;效度中;饱和未饱和;泄漏风险中 |
| 01 CASP | 01c CASP16 药企赛道:配体位姿 + 亲和力(RFAA 为评估方基线,非参赛组) | 预测给定对象的结果 | 2 | 真值中;基线部分追平;效度低;饱和未饱和;泄漏风险中 |
| 13 CAGI | 13a CAGI 当届盲测 | 理解状态(表征与排序) | 0 | 提交时真值未公开,头部平均 AUC 0.83,距经验上限 0.98 仍远;但各挑战规模小、指标不一,数值校准差。 |
| 15 CAMEO | 15b CAMEO 每周滚动·复合物/配体 | 预测给定对象的结果 | 1 | 真值中;基线深度模型显著领先;效度中;饱和未饱和;泄漏风险中 |
| 17 CAFA | 17a CAFA 当届盲测 | 理解状态(表征与排序) | 1 | 真值在提交之后才积累,时间隔离成立;但对已有部分注释的蛋白分数低得多,离天花板仍远。 |
| 22 CAPRI | 22a CAPRI 当届盲测(CASP16-CAPRI) | 预测给定对象的结果 | 2 | 真值中;基线部分追平;效度中;饱和未饱和;泄漏风险低 |
| 23 BioASQ | 23a BioASQ 当届 Task b 批次 | 多步分析与问答(agent) | 2 | 提交时答案尚未公开,泄漏风险低;是非题已接近满分,文档检索与列表类仍有较大空间。 |
| 24 虚拟细胞挑战赛与扰动预测评测 | 24a VCC 2025 当届盲测 | 预测给定对象的结果 | 3 | 真值中;基线部分追平;效度低;饱和无法判断;泄漏风险中 |
| 24 虚拟细胞挑战赛与扰动预测评测 | 24f VCC 2026 零样本轮(2026-08启动,新版cell-eval,6指标聚合) | 预测给定对象的结果 | 0 | 真值未知;基线无法判断;效度中;饱和无法判断;泄漏风险中 |
| 25 RNA-Puzzles | 25d Kaggle Stanford RNA 3D 当届赛 | 预测给定对象的结果 | 0 | 真值中;基线被追平或反超;效度中;饱和未饱和;泄漏风险中 |
| 27 Polaris / ASAP / OpenADMET | 27a ASAP-Polaris antiviral 2025 盲测(效力 / ADMET / 结构) | 预测给定对象的结果 | 2 | 头部分差落在统计误差内;指纹线性回归明显落后,位姿赛道已接近上限,效力与溶解度仍未解决。 |
| 51 OpenADMET 盲测系列 | 51a ExpansionRx 盲测(9 个终点) | 预测给定对象的结果 | 1 | 用项目早期分子训练、对更晚期分子前瞻预测;头部明显优于指纹基线,但范围限于单一化学系列,且允许外部与专有数据。 |
| 51 OpenADMET 盲测系列 | 51b PXR 诱导盲测(活性 / 结构两榜) | 预测给定对象的结果 | 1 | 最终榜前列大量条目在统计上不可区分;测试集是训练命中物的类似物扩展,结构赛道的蛋白本身早已公开,只有配体位姿是盲的。 |
| 51 OpenADMET 盲测系列 | 51c CYP 抑制盲测 | 预测给定对象的结果 | 2 | 头部明显领先组织方的树模型与表格模型基线;但测试化合物是训练命中物的近邻类似物,外部公开数据通道完全开放。 |
按提交新做实验(5)
能回答:这一批提交在该实验终点上表现如何。不能回答:单轮结果能否代表持续的设计能力;样本通常很小。
| Benchmark | 协议 | 模型在做什么 | 已核实在用模型数 | 五维要点 |
|---|---|---|---|---|
| 28 Adaptyv competitions / BenchBB | 28a Adaptyv 公开竞赛轮次 | 提出候选(生成与设计) | 2 | 按提交后新做的实验判分,但不限新颖性:改造已知结合物的方案已经夺冠,单队送测条数也太少。 |
| 28 Adaptyv competitions / BenchBB | 28b BenchBB 靶点集 | 提出候选(生成与设计) | 1 | 口径统一为实测结合阈值,但命中率的分母各家不同,同一方法重测可差约两倍,靶点难度主导分数。 |
| 28 Adaptyv competitions / BenchBB | 28c Adaptyv 主办方外部评测(非公开赛) | 提出候选(生成与设计) | 1 | 设计匿名送测、统一实验口径是正向设计,但没有同期对照臂,也不限新颖性。 |
| 36 AIntibody | 36a AIntibody 当届竞赛 | 提出候选(生成与设计) | 2 | 盲测前瞻、同一实验室统一测量并设可开发性门槛,真值条件很强;但只做了单一靶点,每队送测序列极少。 |
| 56 Protein Engineering Tournament | 56a Protein Engineering Tournament(公开结果仅 2023 试点轮,PETase 轮尚未公布) | 提出候选(生成与设计) | 1 | 前瞻湿实验、活性与稳定性与表达的多目标约束,接近真实工程决策;但只有一届公开结果,按名次而非效应量计分。 |
本文为个人研究笔记,结论基于成文时可获得的公开信息;带〔估算〕〔推断〕或⚠️的数字未经独立核实。