模型与 Benchmark板块首页
怎么读
怎么给 benchmark 分类一个分数能信到哪一步:真值噪声、简单基线、泄漏与饱和协议索引:113 条协议按谁判对错分组方法与数据:分类口径、收录与停更标准、已知局限
模型与数据
模型索引:112 个模型按领域分组模型 × benchmark 配对矩阵训练数据从哪来:公开库、私有授权、自产 wet lab 与…benchmark 的规模、更新与 wet lab 数据
Benchmark:理解状态(表征与排序)
02 ProteinGym09 scIB11 ClinVar hold-out protocol13 CAGI16 GUE + Nucleotide Transform…17 CAFA21 DREAM5 / BEELINE / CausalB…26 FLIP / FLIP234 AbBiBench37 TraitGym38 BEND39 RNAGym45 DART-Eval49 NTv3 Benchmark67 VenusX
Benchmark:预测给定对象的结果
01 CASP03 MoleculeNet04 TDC05 PoseBusters06 CASF-201615 CAMEO22 CAPRI24 虚拟细胞挑战赛与扰动预测评测25 RNA-Puzzles27 Polaris / ASAP / OpenADMET30 PLINDER / PINDER / Runs N'…31 FoldBench33 PoseX35 FLAb / FLAb243 Ginkgo GDPa146 FEP 相对结合自由能基准47 PoseBench / DockGen51 OpenADMET 盲测系列52 Biogen ADME53 UNICORNE-BENCH54 OMol25 + FAIR Chemistry 榜单55 PDBbind-CleanSplit / LP-PD…57 CatPred-DB66 MassSpecGym
Benchmark:提出候选(生成与设计)
19 PMO20 CACHE28 Adaptyv competitions / Ben…36 AIntibody40 MotifBench50 蛋白 motif scaffolding 基准56 Protein Engineering Tourna…
Benchmark:多步分析与问答(agent)
14 PubMedQA18 LAB-Bench / LABBench223 BioASQ29 BixBench42 BioMysteryBench58 ChemBench59 LifeSciBench60 Terminal-Bench-Science61 BiomniBench / Biomni-Eval162 HeurekaBench63 scBench64 ScienceAgentBench65 SciReasoner / Biology-Inst…68 BioDesignBench
Benchmark:已停更
07 USPTO family08 Basenji/Enformer test set10 GuacaMol12 DUD-E / LIT-PCBA32 CrossDocked202041 BioML-bench44 FS-Mol
相邻领域
相邻领域:不在主分类内的评测
模型:结构/共折叠
AF2-Multimer:Google DeepMindAlphaFold 3BioEmu-2Boltz-1 / Boltz-1xBoltz-2:MIT、Recursion、Boltz P…Chai-1:Chai DiscoveryChai-2:Chai DiscoveryDiffDock:MIT CSAILESMFold2HelixFold-S1:BaiduIntelliFold-2:IntelliGen AIIsoDDE:Isomorphic LabsMassiveFoldNeuralPLexer3OpenComplex2OpenDDE:Aureka AI Research、Au…OpenFold3Pearl:Genesis Molecular AIProtenixRF3:University of Washington …RhoFold+ / DRfold2 / trRosett…RNAPro:NVIDIA、Stanford Univer…SeedFold:ByteDance SeedVina:Scripps Research
模型:小分子
ADMET-AIAQAffinity:SandboxAQBeacon:Inductive BioChemformer:AstraZenecaChemprop v2:MITEnchant v1 / v2ether0:FutureHouseKERMT:Merck & Co.、NVIDIAMiniMol:Valence LabsMolE:RecursionMoLFormer-XL:IBM ResearchNesso-1:Valence Labs、Recursio…ReaSyn v2:NVIDIA、KAISTREINVENT 4RetroDFM-RSaturn:EPFLTamGen:Microsoft Research AI …TerraBind:Terray TherapeuticsTxGemma:Google DeepMind、Googl…Uni-Mol2Uni-Mol3
模型:蛋白
AlphaProteoAMPLIFY:Mila、Polytechnique Mo…BindCraftBoltzGenChai-3:Chai DiscoveryClaude 蛋白设计研究DPLM-2:ByteDance Research、Nan…Dyno Psi-1 / Psi-PhiESM C:Evolutionary Scale、Chan…ESM3:Evolutionary Scale、Chan …EVOLVEproLa-Proteina:NVIDIALatent-X / X2:Latent LabsLucaOne:Alibaba Cloud、Sun Yat…Mosaic:Escalante BioPinal:Westlake UniversityPoET-2:OpenProtein.AIProfluent-E1:ProfluentProGen3:ProfluentProSST:Shanghai Jiao Tong Uni…Proteina-Complexa:NVIDIARFdiffusion2 / 3SaProt:Westlake University、We…SeedProteo:ByteDance SeedVenusREMxTrimoPGLM
模型:抗体
GerminalHCAbLM:Nona Biosciences、HBM H…IgGM / IgGM-FMJAM / JAM-2:Nabla BioOrigin-1:AbsciRFantibodytFold:Tencent AI for Life Sci…
模型:基因组/RNA
AlphaGenome:Google DeepMindAlphaMissense:Google DeepMindBioReasonBorzoi:Calico Life SciencesBulkFormerEvo 2:Arc Institute、NVIDIA、St…NTv3:InstaDeeppopEVE:Harvard Medical School…RIBOSPAN
模型:单细胞
AIDO Cell:GenBio AIC2S-ScaleCellFM:Sun Yat-sen University…Lingshu-CellscGPT / GeneformerscPRINT-2Stack:Arc InstituteSTATE:Arc InstituteTahoe-x1:Tahoe TherapeuticsTranscriptFormerX-Cell:Xaira TherapeuticsxTrimoSCPerturb / scFoundation
模型:分子生成
GenMol:NVIDIA
模型:文本与 agent
Biomni:Stanford University、Ph…Co-ScientistGPT-Rosalind:OpenAIIntern-SKosmos / Edison AnalysisMedGemma / Med-GeminiQuine:Microsoft ResearchRobin:FutureHouseSciReasonerTxAgent:Harvard Medical SchoolVERID:Google Research前沿通用大模型:Anthropic、OpenAI、Goog…

一个分数能信到哪一步:真值噪声、简单基线、泄漏与饱和

整理 2026-11-18 · 来源与可靠度标注见正文
本文目录
  1. 生物 benchmark 的根本问题:真值本身有噪声
  2. 不一致的五个来源与对应解法
  3. 和 LLM、计算机视觉等领域比
  4. 本板块 75 条协议的五维调研结果
  5. 业内怎么做:Polaris 的方法比较规范
  6. 读一个 AI for Bio 分数时的五个问题

生物 benchmark 上的一个分数,要先过四道关才能算作能力证据:真值本身有多少噪声,是否打过简单基线,测试集有没有泄进训练数据,题库是否已经饱和。本页把这几件事拆开讲,给出本板块 75 条评测协议的逐条调研结果,最后附一份读分数时可以直接套用的清单。表格中标"已核"的数字已对照原文,标"经验量级"或"未核"的只作量级参考。

生物 benchmark 的根本问题:真值本身有噪声

LLM benchmark 的真值大多是确定的,难点在于测的东西对不对、题目是否泄进了训练数据;测量本身噪声小,重跑几乎免费。生物 benchmark 不同:**标签来自实验,而实验本身有噪声,测一次又贵又慢。**这些噪声是分层的,越往外越大。

层级 典型一致性 出处 核对状态
技术重复(同人、同板、同天) CV 约 2–10%(qPCR、ELISA 板内) 行业经验 经验量级
生物学重复(不同批细胞或动物) CV 约 20–50% 行业经验 经验量级
同一方法换实验室 IC50 常差 2–3 倍(0.3–0.5 log);同一批小鼠在三个实验室做行为实验,结论可以相反 Crabbe 1999, Science 未核
换实验室同时换方法 公开数据中 Ki 跨来源标准差约 0.5 log Kramer 2012, JCIM 未核
汇总 ChEMBL 中不同检测方法的数据 IC50 最少清洗时约 65% 的数据点差 >0.3 log,27% 差 >1 log,Kendall τ=0.51;最大清洗后为 48% / 13%,τ=0.71,但丢掉大量数据。Ki 的噪声同样大 Landrum & Riniker 2024, JCIM 已核
大规模细胞系药敏 GDSC 与 CCLE 早期对同一批药物的敏感性相关很差 Haibe-Kains 2013, Nature 未核
已发表结论在药企内部的复现 Amgen 复现 53 篇里程碑论文成功 6 篇(约 11%);Bayer 约 20–25% Begley & Ellis 2012;Prinz 2011 未核
癌症生物学复现项目(RPCB) 原计划 53 篇论文的 193 个实验,只做完 23 篇的 50 个;阳性效应的效应量中位数比原文小 85%;按五条标准满足 ≥3 条计,合计成功 46%(51/112) Errington 2021, eLife 已核
巴西复现计划(常规方法,三家实验室独立盲测) 按五条预设标准复现率 15–45%;只有 26% 的复现估计落在原文 95% 置信区间内 bioRxiv 2025;eLife RP 已核

噪声的来源大致有四类:试剂(商用抗体验证不过关、细胞系误认或污染)、系统漂移(细胞代次、血清批次、操作手法)、报告偏差(偏好阳性结果、样本量小),以及大量从未被完整写下来的实验"隐性知识"。

**真值噪声给分数设了上限。**标签之间的重复性只有约 0.5 log 时,亲和力预测的 R² 理论上到不了 1,粗略估算的实际上限在 0.6–0.8 之间(估算,未核)。论文里常见的模型间 0.02–0.05 的 Pearson 差距,往往落在这个噪声范围之内。蛋白适应度方向,ProteinGym 收录的深度突变扫描数据,不同实验方法之间的一致性本身就不高;本板块调研时只能用跨 assay 一致性约 0.66 作为噪声上限的近似。

反例是 CASP:它是前瞻盲测,用尚未公布的结构,不存在泄漏;结构测定的误差又相对小,AlphaFold2 的领先明显大于实验误差(具体的 Å 级数值为经验量级,未核)。这是生物 benchmark 结论能站住的少数场景之一。另一端是湿实验挑战赛,例如 Adaptyv 的结合物设计比赛:每个设计通常只测一次,命中与否还受表达和检测条件影响,排名大致能分出档次,相邻名次往往没有统计学意义。

不一致的五个来源与对应解法

"同一个模型、同一个 benchmark,分数却对不上"的情况,大多数并不是真值问题,而是前三类:

类别 例子 解法
① 协议与报告噪声 同一模型在不同发布面上数字冲突:Runs N' Poses 上的 AlphaFold3,论文报 74.4%,Polaris 页面为 15.07% 数据冻结并带版本号与哈希;官方统一评测脚本;只认第三方复跑
② 抽样噪声 PubMedQA 500 题,二项标准误约 ±1.9 个百分点 报置信区间、做配对检验、按统计显著性分档
③ 训练配方噪声 同一模型在 FLIP 的部分任务上,换训练配方或随机种子,结果大幅波动;复评与原报的差距已足以改变排名 多随机种子、固定调参预算、报方差
④ 真值噪声 跨来源 IC50 的 Kendall τ 只有 0.51–0.71;实验复现率 15–46% 重复测量、噪声上限、参照物、同源同检测方法、前瞻盲测
⑤ 泄漏 co-folding 模型主要靠记忆训练集中的配体姿态 按与训练集的相似度分档报告;时间切分;去泄漏的数据切分

几个具体例子:

  • 协议噪声还包括"自定子集沿用原名":例如自行切出的 FoldBench 抗体子集,或从 LAB-Bench 公开题里自切 315 题却称作"隐藏集"。出题方自己运营榜单也属此类:BixBench3 与 LABBench2 都由同一家机构运行。
  • 泄漏最清楚的证据来自 Runs N' Poses(Škrinjar 等, 2025):用 AlphaFold3 训练截止之后的约 2,600 个体系测试,与训练集越不相似,成功率几乎线性下降,最低降到约 20%。另一种泄漏是标签可以溯源查表:TDC 的 Lipophilicity 任务中 99.6% 的行来自同一个 ChEMBL assay,按源 assay 查中位数,MAE 只有 0.0069(核到摘要级)。
  • 提示词泄露答案:PMO 上去掉参考分子后,一个 LLM 方法的分数从 14.44 掉到 4.85;只隐藏任务名时仅降到 13.98;只用参考分子加单原子编辑、完全不用 LLM 的基线也能得 12.16(该组数字经博客转述核到出处,原文未读)。

简单基线是贯穿五类的检验。Arc 的 Virtual Cell Challenge 2025 中,没有一个模型在 MAE 上超过"预测为训练集平均扰动效应"这一基线;指标还把负分截断为 0,留下了刷分空间,组织方也承认模型"尚未在所有指标上持续超过朴素基线"(参赛方复盘)。单细胞扰动预测中大模型大多赢不了线性基线的结论另见 Ahlmann-Eltze 2025(Nature Methods,未核)。

和 LLM、计算机视觉等领域比

领域 真值噪声 主要问题 重测成本
LLM 低。MMLU 估计约 6.5% 的题有错,病毒学子集超过 57% 有错,修正后模型排名会变(MMLU-Redux,已核) 污染与泄漏、提示词格式敏感、小题库方差大(AIME 只有 30 题,±1 题即 ±3.3 个百分点)、分数饱和、效度存疑 几乎为零,可以多次重跑给误差棒(Miller 2024, "Adding Error Bars to Evals")
计算机视觉 低到中。ImageNet 标签错误约 6%(Northcutt 2021,未核) 按原流程重新采集测试集(ImageNetV2),准确率明显下降,但模型排名基本不变(跌幅数字未核) 低
心理学、社会科学 高 复现率:心理学约 36–39%(OSC 2015),经济学实验约 61%(Camerer 2016)(均未核) 中
材料、化学 中 同一批 18 条吸附等温线发给 61 个实验室,只做 BET 面积计算这一步结果就分散很大(Osterrieth 2022, Adv. Mater.,已核) 中
物理 很低 系统误差导致长期"张力"(哈勃常数、质子半径) 高,但流程标准化
生物(体外) 中到高 上文全部问题,加上标签噪声大、数据来源杂 高(周到月级,且要花钱)
生物(体内、临床) 很高 转化失败 极高

本质差别在于:LLM benchmark 的难点是测的东西对不对,题目答案明确,但高分不等于真实能力;生物 benchmark 的难点是真值本身靠不住,测量既有噪声又难重测,同时还有效度问题。计算机视觉介于两者之间,它说明即使绝对分数不可靠,排名仍可以稳定;生物 benchmark 往往连排名都不稳。

本板块 75 条协议的五维调研结果

本板块把收录的 benchmark 拆成 75 条实际被使用的评测协议(同一 benchmark 的不同赛道、不同切分算不同协议),逐条按统一口径评估真值可靠性、头部分差与噪声的关系、基线状况、指标效度、饱和度,并加评泄漏与捷径风险。证据等级:原文核到 49 条,二手或部分核到 26 条。

维度 分布
真值可靠性 中 52 · 低 20 · 高 2(CASP 实时蛋白、CASP 回溯蛋白)· 未知 1
头部分差 vs 噪声 落在噪声或统计误差内 47 · 无法判断 25 · 显著大于噪声仅 3
基线状况 未报基线 20 · 部分追平 20 · 被追平或反超 19 · 深度模型显著领先 12 · 无法判断 4
指标效度 中 44 · 低 29 · 高仅 2(Runs N' Poses 相似度分层、AIntibody)
饱和度 未饱和 39 · 接近饱和 23 · 饱和 4 · 无法判断 9
泄漏/捷径风险 中 35 · 高 31 · 低仅 5 · 待核 4

按证据类型看泄漏风险:固定参考集 61 条中高 25、中 30、低 2;以模型打分代替真值的 oracle 类 4 条全部为高;当届盲测 7 条中低 3、中 4;前瞻湿实验 3 条中高 2(Adaptyv 没有新颖性约束,改造已知结合物即可夺冠)、中 1。

主要结论:

  1. **能用来给模型排名的协议极少。**头部分差明显超过噪声的只有 3 条:FoldBench 抗体-抗原、FoldBench 蛋白-配体、MotifBench(后者是 oracle 评分)。
  2. "真值低 + 被简单基线追平"同时出现的有 9 条:MoleculeNet、TDC ADMET、LIT-PCBA、PMO、BEELINE、GEARS 口径的扰动预测、CrossDocked、FLAb 等。这些协议上的分数基本说明不了什么,更适合降级为冒烟测试。
  3. **简单基线追平是普遍现象。**19 条被追平或反超,另有 20 条根本没报基线,两者合计超过一半。
  4. **盲测不等于没有泄漏。**当届盲测里只有 3 条泄漏风险为低:CASP 实时蛋白、CAPRI、BioASQ 当届。CASP 实时 RNA 主要靠模板拿分;CASP 回溯、Kaggle RNA 回溯、RNA-Puzzles 回溯的泄漏风险都被评为高。
  5. 饱和集中在老牌静态集和临床子集:ProteinGym 临床子集、MoleculeNet 骨架切分、PubMedQA、FLIP sampled 切分。抗体-抗原、低相似度对接、RNA 3D、扰动预测、复杂性状变异则远未饱和,是目前仍有区分力的方向。

需要说明的局限:噪声上限普遍缺一手数字(复合物 DockQ、轨迹级重复都没找到),因此"分差 vs 噪声"有相当一部分是按测试集规模推算的统计误差,而不是实验重复给出的上限。

业内怎么做:Polaris 的方法比较规范

小分子性质预测方向,Polaris 联合 J&J、Novartis、Bayer、Merck、Pfizer、AstraZeneca 等公司的计算部门,发布了一份方法比较规范(Ash, Wognum 等, JCIM 2025, 65(18):9398;预印本;代码)。它的出发点是:化学信息学文献普遍只报多次重复的平均分,忽略了比较的其实是两个分布;数据集小(多在 10⁴ 以下)、类别不平衡、噪声大,加减几个样本就能改变结论。文章把可复现性分为技术复现、统计复现、概念复现三层,只处理统计复现。要点如下:

  • 重采样用 5×5 重复交叉验证,得到 25 个分布样本,各折单独计分、不合并;适用于 500 到 10 万个分子的数据集。调参在每次交叉验证的训练集内部再切验证集;可与骨架、相似度、时间切分配合,但要检查各折不重叠、目标值分布相近;训练随机种子和数据重采样两种方差应同时引入。
  • 多模型两两比较用 Tukey HSD(参数路线为重复测量 ANOVA 加 Tukey HSD),前提不满足时有非参数替代流程。
  • **实际显著性是核心。**指标按决策设计:"做哪些分子"用 recall@precision,"不做哪些分子"用 TNR@recall;回归模型先按业务阈值转成分类,例如溶解度以 100 μM 为线。误差用药化团队能听懂的单位:MAE 用 log 单位(0.3 log 即 2 倍误差),以及误差在 2 倍、3 倍以内的样本占比。还要警惕动态范围:MoleculeNet 的 Delaney 溶解度数据跨 13 个 log 单位,用 LogP 预测 LogS 的 r² 有 0.68;只看药物项目常见的 1 μM 到 1 mM 区间,r² 降到 0.33。
  • **给出上下限。**下限是 null 模型(回归预测训练集均值,分类预测多数类);上限由实验噪声决定,IC50 检测噪声常取 0.3 log,模型 MAE 低于 0.3 时应当怀疑结果;相关系数的上限可以给真值加上实验噪声、重复模拟 1000 次求平均来估计。文中案例:2,173 个溶解度数据上,LightGBM 与两种 ChemProp 在 MAE、R² 上差异统计显著,但按 100 μM 阈值转成分类后,三者精确率几乎一样。
  • 呈现方式用同时置信区间图或多重比较相似度图;有合理理由可以偏离规范,但要透明说明。

这份规范的局限也很明确:它是观点文章,属自愿采纳,采纳程度尚无数据;数据清洗、切分与泛化评估留给后续工作;协议噪声和真值噪声只通过"上限"间接提醒;25 个交叉验证样本并不严格独立。

业内信任度:用得多,信得少

没有找到系统性问卷,以下是根据发表惯例、公开批评和工业界做法做的判断。结构预测(CASP、CAMEO、PoseBusters)信任度高,但 co-folding 被指出主要靠记忆;ProteinGym 是事实标准,Spearman 绝对值意义有限,排名有参考价值;MoleculeNet、TDC 使用很多、信任低,药企决策只认内部检测数据;结合亲和力(CASF、LIT-PCBA)存在泄漏、样本数各处不一致;单细胞基础模型多篇工作显示打不过简单基线;生物问答类老题库已饱和,新题库题量小、自报与复测有差距。整体上,学界"用但不信",工业界真正的基准是内部检测数据和前瞻实验。

新的方向是评测方自己产数据。例如 OpenBind 在 2026 年 5 月发布首批数据:EV-A71 2A 蛋白酶的 925 个晶体结合事件,其中 601 个化合物带亲和力,并计划举办社区盲测(牛津大学新闻)。

读一个 AI for Bio 分数时的五个问题

  1. **真值的噪声上限是多少?**有没有重复实验或跨来源一致性数据?分数占上限的多少?如果 MAE 已经低于检测噪声(例如 IC50 的 0.3 log),先怀疑泄漏或查表。
  2. **头部差距有没有超出误差?**是否给了置信区间、多种子方差、配对检验?几百题、几百个体系的测试集上,一两个百分点的差距通常不足以排名。
  3. **和简单基线比过吗?**均值或 no-change 预测、指纹加梯度提升、最近邻检索、one-hot 加 ridge、模板检索,这类基线如果没报或已追平,分数说明不了方法进步。
  4. **测试集和训练集隔离到什么程度?**是随机切分、骨架切分、时间切分还是前瞻盲测?按与训练集的相似度分档后,低相似度档还剩多少?提示词或标签来源里有没有答案的线索?
  5. **这个数字是谁、在哪个版本上跑的,还能不能区分模型?**论文自报、维护方运行还是第三方复跑;数据版本、子集是否与官方一致;题库是否已饱和;指标能否对应真实决策(命中率、富集、按阈值的精确率),而不只是全局相关系数。

本文为个人研究笔记,结论基于成文时可获得的公开信息;带〔估算〕〔推断〕或⚠️的数字未经独立核实。