一个分数能信到哪一步:真值噪声、简单基线、泄漏与饱和
本文目录
生物 benchmark 上的一个分数,要先过四道关才能算作能力证据:真值本身有多少噪声,是否打过简单基线,测试集有没有泄进训练数据,题库是否已经饱和。本页把这几件事拆开讲,给出本板块 75 条评测协议的逐条调研结果,最后附一份读分数时可以直接套用的清单。表格中标"已核"的数字已对照原文,标"经验量级"或"未核"的只作量级参考。
生物 benchmark 的根本问题:真值本身有噪声
LLM benchmark 的真值大多是确定的,难点在于测的东西对不对、题目是否泄进了训练数据;测量本身噪声小,重跑几乎免费。生物 benchmark 不同:**标签来自实验,而实验本身有噪声,测一次又贵又慢。**这些噪声是分层的,越往外越大。
| 层级 | 典型一致性 | 出处 | 核对状态 |
|---|---|---|---|
| 技术重复(同人、同板、同天) | CV 约 2–10%(qPCR、ELISA 板内) | 行业经验 | 经验量级 |
| 生物学重复(不同批细胞或动物) | CV 约 20–50% | 行业经验 | 经验量级 |
| 同一方法换实验室 | IC50 常差 2–3 倍(0.3–0.5 log);同一批小鼠在三个实验室做行为实验,结论可以相反 | Crabbe 1999, Science | 未核 |
| 换实验室同时换方法 | 公开数据中 Ki 跨来源标准差约 0.5 log | Kramer 2012, JCIM | 未核 |
| 汇总 ChEMBL 中不同检测方法的数据 | IC50 最少清洗时约 65% 的数据点差 >0.3 log,27% 差 >1 log,Kendall τ=0.51;最大清洗后为 48% / 13%,τ=0.71,但丢掉大量数据。Ki 的噪声同样大 | Landrum & Riniker 2024, JCIM | 已核 |
| 大规模细胞系药敏 | GDSC 与 CCLE 早期对同一批药物的敏感性相关很差 | Haibe-Kains 2013, Nature | 未核 |
| 已发表结论在药企内部的复现 | Amgen 复现 53 篇里程碑论文成功 6 篇(约 11%);Bayer 约 20–25% | Begley & Ellis 2012;Prinz 2011 | 未核 |
| 癌症生物学复现项目(RPCB) | 原计划 53 篇论文的 193 个实验,只做完 23 篇的 50 个;阳性效应的效应量中位数比原文小 85%;按五条标准满足 ≥3 条计,合计成功 46%(51/112) | Errington 2021, eLife | 已核 |
| 巴西复现计划(常规方法,三家实验室独立盲测) | 按五条预设标准复现率 15–45%;只有 26% 的复现估计落在原文 95% 置信区间内 | bioRxiv 2025;eLife RP | 已核 |
噪声的来源大致有四类:试剂(商用抗体验证不过关、细胞系误认或污染)、系统漂移(细胞代次、血清批次、操作手法)、报告偏差(偏好阳性结果、样本量小),以及大量从未被完整写下来的实验"隐性知识"。
**真值噪声给分数设了上限。**标签之间的重复性只有约 0.5 log 时,亲和力预测的 R² 理论上到不了 1,粗略估算的实际上限在 0.6–0.8 之间(估算,未核)。论文里常见的模型间 0.02–0.05 的 Pearson 差距,往往落在这个噪声范围之内。蛋白适应度方向,ProteinGym 收录的深度突变扫描数据,不同实验方法之间的一致性本身就不高;本板块调研时只能用跨 assay 一致性约 0.66 作为噪声上限的近似。
反例是 CASP:它是前瞻盲测,用尚未公布的结构,不存在泄漏;结构测定的误差又相对小,AlphaFold2 的领先明显大于实验误差(具体的 Å 级数值为经验量级,未核)。这是生物 benchmark 结论能站住的少数场景之一。另一端是湿实验挑战赛,例如 Adaptyv 的结合物设计比赛:每个设计通常只测一次,命中与否还受表达和检测条件影响,排名大致能分出档次,相邻名次往往没有统计学意义。
不一致的五个来源与对应解法
"同一个模型、同一个 benchmark,分数却对不上"的情况,大多数并不是真值问题,而是前三类:
| 类别 | 例子 | 解法 |
|---|---|---|
| ① 协议与报告噪声 | 同一模型在不同发布面上数字冲突:Runs N' Poses 上的 AlphaFold3,论文报 74.4%,Polaris 页面为 15.07% | 数据冻结并带版本号与哈希;官方统一评测脚本;只认第三方复跑 |
| ② 抽样噪声 | PubMedQA 500 题,二项标准误约 ±1.9 个百分点 | 报置信区间、做配对检验、按统计显著性分档 |
| ③ 训练配方噪声 | 同一模型在 FLIP 的部分任务上,换训练配方或随机种子,结果大幅波动;复评与原报的差距已足以改变排名 | 多随机种子、固定调参预算、报方差 |
| ④ 真值噪声 | 跨来源 IC50 的 Kendall τ 只有 0.51–0.71;实验复现率 15–46% | 重复测量、噪声上限、参照物、同源同检测方法、前瞻盲测 |
| ⑤ 泄漏 | co-folding 模型主要靠记忆训练集中的配体姿态 | 按与训练集的相似度分档报告;时间切分;去泄漏的数据切分 |
几个具体例子:
- 协议噪声还包括"自定子集沿用原名":例如自行切出的 FoldBench 抗体子集,或从 LAB-Bench 公开题里自切 315 题却称作"隐藏集"。出题方自己运营榜单也属此类:BixBench3 与 LABBench2 都由同一家机构运行。
- 泄漏最清楚的证据来自 Runs N' Poses(Škrinjar 等, 2025):用 AlphaFold3 训练截止之后的约 2,600 个体系测试,与训练集越不相似,成功率几乎线性下降,最低降到约 20%。另一种泄漏是标签可以溯源查表:TDC 的 Lipophilicity 任务中 99.6% 的行来自同一个 ChEMBL assay,按源 assay 查中位数,MAE 只有 0.0069(核到摘要级)。
- 提示词泄露答案:PMO 上去掉参考分子后,一个 LLM 方法的分数从 14.44 掉到 4.85;只隐藏任务名时仅降到 13.98;只用参考分子加单原子编辑、完全不用 LLM 的基线也能得 12.16(该组数字经博客转述核到出处,原文未读)。
简单基线是贯穿五类的检验。Arc 的 Virtual Cell Challenge 2025 中,没有一个模型在 MAE 上超过"预测为训练集平均扰动效应"这一基线;指标还把负分截断为 0,留下了刷分空间,组织方也承认模型"尚未在所有指标上持续超过朴素基线"(参赛方复盘)。单细胞扰动预测中大模型大多赢不了线性基线的结论另见 Ahlmann-Eltze 2025(Nature Methods,未核)。
和 LLM、计算机视觉等领域比
| 领域 | 真值噪声 | 主要问题 | 重测成本 |
|---|---|---|---|
| LLM | 低。MMLU 估计约 6.5% 的题有错,病毒学子集超过 57% 有错,修正后模型排名会变(MMLU-Redux,已核) | 污染与泄漏、提示词格式敏感、小题库方差大(AIME 只有 30 题,±1 题即 ±3.3 个百分点)、分数饱和、效度存疑 | 几乎为零,可以多次重跑给误差棒(Miller 2024, "Adding Error Bars to Evals") |
| 计算机视觉 | 低到中。ImageNet 标签错误约 6%(Northcutt 2021,未核) | 按原流程重新采集测试集(ImageNetV2),准确率明显下降,但模型排名基本不变(跌幅数字未核) | 低 |
| 心理学、社会科学 | 高 | 复现率:心理学约 36–39%(OSC 2015),经济学实验约 61%(Camerer 2016)(均未核) | 中 |
| 材料、化学 | 中 | 同一批 18 条吸附等温线发给 61 个实验室,只做 BET 面积计算这一步结果就分散很大(Osterrieth 2022, Adv. Mater.,已核) | 中 |
| 物理 | 很低 | 系统误差导致长期"张力"(哈勃常数、质子半径) | 高,但流程标准化 |
| 生物(体外) | 中到高 | 上文全部问题,加上标签噪声大、数据来源杂 | 高(周到月级,且要花钱) |
| 生物(体内、临床) | 很高 | 转化失败 | 极高 |
本质差别在于:LLM benchmark 的难点是测的东西对不对,题目答案明确,但高分不等于真实能力;生物 benchmark 的难点是真值本身靠不住,测量既有噪声又难重测,同时还有效度问题。计算机视觉介于两者之间,它说明即使绝对分数不可靠,排名仍可以稳定;生物 benchmark 往往连排名都不稳。
本板块 75 条协议的五维调研结果
本板块把收录的 benchmark 拆成 75 条实际被使用的评测协议(同一 benchmark 的不同赛道、不同切分算不同协议),逐条按统一口径评估真值可靠性、头部分差与噪声的关系、基线状况、指标效度、饱和度,并加评泄漏与捷径风险。证据等级:原文核到 49 条,二手或部分核到 26 条。
| 维度 | 分布 |
|---|---|
| 真值可靠性 | 中 52 · 低 20 · 高 2(CASP 实时蛋白、CASP 回溯蛋白)· 未知 1 |
| 头部分差 vs 噪声 | 落在噪声或统计误差内 47 · 无法判断 25 · 显著大于噪声仅 3 |
| 基线状况 | 未报基线 20 · 部分追平 20 · 被追平或反超 19 · 深度模型显著领先 12 · 无法判断 4 |
| 指标效度 | 中 44 · 低 29 · 高仅 2(Runs N' Poses 相似度分层、AIntibody) |
| 饱和度 | 未饱和 39 · 接近饱和 23 · 饱和 4 · 无法判断 9 |
| 泄漏/捷径风险 | 中 35 · 高 31 · 低仅 5 · 待核 4 |
按证据类型看泄漏风险:固定参考集 61 条中高 25、中 30、低 2;以模型打分代替真值的 oracle 类 4 条全部为高;当届盲测 7 条中低 3、中 4;前瞻湿实验 3 条中高 2(Adaptyv 没有新颖性约束,改造已知结合物即可夺冠)、中 1。
主要结论:
- **能用来给模型排名的协议极少。**头部分差明显超过噪声的只有 3 条:FoldBench 抗体-抗原、FoldBench 蛋白-配体、MotifBench(后者是 oracle 评分)。
- "真值低 + 被简单基线追平"同时出现的有 9 条:MoleculeNet、TDC ADMET、LIT-PCBA、PMO、BEELINE、GEARS 口径的扰动预测、CrossDocked、FLAb 等。这些协议上的分数基本说明不了什么,更适合降级为冒烟测试。
- **简单基线追平是普遍现象。**19 条被追平或反超,另有 20 条根本没报基线,两者合计超过一半。
- **盲测不等于没有泄漏。**当届盲测里只有 3 条泄漏风险为低:CASP 实时蛋白、CAPRI、BioASQ 当届。CASP 实时 RNA 主要靠模板拿分;CASP 回溯、Kaggle RNA 回溯、RNA-Puzzles 回溯的泄漏风险都被评为高。
- 饱和集中在老牌静态集和临床子集:ProteinGym 临床子集、MoleculeNet 骨架切分、PubMedQA、FLIP sampled 切分。抗体-抗原、低相似度对接、RNA 3D、扰动预测、复杂性状变异则远未饱和,是目前仍有区分力的方向。
需要说明的局限:噪声上限普遍缺一手数字(复合物 DockQ、轨迹级重复都没找到),因此"分差 vs 噪声"有相当一部分是按测试集规模推算的统计误差,而不是实验重复给出的上限。
业内怎么做:Polaris 的方法比较规范
小分子性质预测方向,Polaris 联合 J&J、Novartis、Bayer、Merck、Pfizer、AstraZeneca 等公司的计算部门,发布了一份方法比较规范(Ash, Wognum 等, JCIM 2025, 65(18):9398;预印本;代码)。它的出发点是:化学信息学文献普遍只报多次重复的平均分,忽略了比较的其实是两个分布;数据集小(多在 10⁴ 以下)、类别不平衡、噪声大,加减几个样本就能改变结论。文章把可复现性分为技术复现、统计复现、概念复现三层,只处理统计复现。要点如下:
- 重采样用 5×5 重复交叉验证,得到 25 个分布样本,各折单独计分、不合并;适用于 500 到 10 万个分子的数据集。调参在每次交叉验证的训练集内部再切验证集;可与骨架、相似度、时间切分配合,但要检查各折不重叠、目标值分布相近;训练随机种子和数据重采样两种方差应同时引入。
- 多模型两两比较用 Tukey HSD(参数路线为重复测量 ANOVA 加 Tukey HSD),前提不满足时有非参数替代流程。
- **实际显著性是核心。**指标按决策设计:"做哪些分子"用 recall@precision,"不做哪些分子"用 TNR@recall;回归模型先按业务阈值转成分类,例如溶解度以 100 μM 为线。误差用药化团队能听懂的单位:MAE 用 log 单位(0.3 log 即 2 倍误差),以及误差在 2 倍、3 倍以内的样本占比。还要警惕动态范围:MoleculeNet 的 Delaney 溶解度数据跨 13 个 log 单位,用 LogP 预测 LogS 的 r² 有 0.68;只看药物项目常见的 1 μM 到 1 mM 区间,r² 降到 0.33。
- **给出上下限。**下限是 null 模型(回归预测训练集均值,分类预测多数类);上限由实验噪声决定,IC50 检测噪声常取 0.3 log,模型 MAE 低于 0.3 时应当怀疑结果;相关系数的上限可以给真值加上实验噪声、重复模拟 1000 次求平均来估计。文中案例:2,173 个溶解度数据上,LightGBM 与两种 ChemProp 在 MAE、R² 上差异统计显著,但按 100 μM 阈值转成分类后,三者精确率几乎一样。
- 呈现方式用同时置信区间图或多重比较相似度图;有合理理由可以偏离规范,但要透明说明。
这份规范的局限也很明确:它是观点文章,属自愿采纳,采纳程度尚无数据;数据清洗、切分与泛化评估留给后续工作;协议噪声和真值噪声只通过"上限"间接提醒;25 个交叉验证样本并不严格独立。
业内信任度:用得多,信得少
没有找到系统性问卷,以下是根据发表惯例、公开批评和工业界做法做的判断。结构预测(CASP、CAMEO、PoseBusters)信任度高,但 co-folding 被指出主要靠记忆;ProteinGym 是事实标准,Spearman 绝对值意义有限,排名有参考价值;MoleculeNet、TDC 使用很多、信任低,药企决策只认内部检测数据;结合亲和力(CASF、LIT-PCBA)存在泄漏、样本数各处不一致;单细胞基础模型多篇工作显示打不过简单基线;生物问答类老题库已饱和,新题库题量小、自报与复测有差距。整体上,学界"用但不信",工业界真正的基准是内部检测数据和前瞻实验。
新的方向是评测方自己产数据。例如 OpenBind 在 2026 年 5 月发布首批数据:EV-A71 2A 蛋白酶的 925 个晶体结合事件,其中 601 个化合物带亲和力,并计划举办社区盲测(牛津大学新闻)。
读一个 AI for Bio 分数时的五个问题
- **真值的噪声上限是多少?**有没有重复实验或跨来源一致性数据?分数占上限的多少?如果 MAE 已经低于检测噪声(例如 IC50 的 0.3 log),先怀疑泄漏或查表。
- **头部差距有没有超出误差?**是否给了置信区间、多种子方差、配对检验?几百题、几百个体系的测试集上,一两个百分点的差距通常不足以排名。
- **和简单基线比过吗?**均值或 no-change 预测、指纹加梯度提升、最近邻检索、one-hot 加 ridge、模板检索,这类基线如果没报或已追平,分数说明不了方法进步。
- **测试集和训练集隔离到什么程度?**是随机切分、骨架切分、时间切分还是前瞻盲测?按与训练集的相似度分档后,低相似度档还剩多少?提示词或标签来源里有没有答案的线索?
- **这个数字是谁、在哪个版本上跑的,还能不能区分模型?**论文自报、维护方运行还是第三方复跑;数据版本、子集是否与官方一致;题库是否已饱和;指标能否对应真实决策(命中率、富集、按阈值的精确率),而不只是全局相关系数。
本文为个人研究笔记,结论基于成文时可获得的公开信息;带〔估算〕〔推断〕或⚠️的数字未经独立核实。