55 PDBbind-CleanSplit / LP-PDBBind
把高度相似的训练样本剔掉以后,亲和力模型还剩多少准确度。改的是切分不是标签:公开库里混合的测定值本身仍限制相关系数的上限。
bench-55 · 模型在做什么:预测给定对象的结果 · 谁判对错:已有参考答案 · 小分子 · 2026-11 新收录 · 截至 2026-11-18
概况
| 字段 | 内容 |
|---|---|
| 名称 / 别名 | PDBbind-CleanSplit / LP-PDBBind;全称:两套为消除训练-测试泄漏而重做的蛋白-配体亲和力数据切分;别名:PDBbind CleanSplit、PDBbind-CleanSplit、LP-PDBBind、Leak Proof PDBBind;有歧义、不自动链接:PDBbind、CleanSplit、LP |
| 家族 | 家族条目:LP-PDBBind (leave-cluster-out re-split) ;PDBbind CleanSplit (structure-similarity filtered split) 。边界:两套都重切同一个亲和力数据库,但去泄漏规则不同,分数不可互换。 |
| 模型在做什么 | 预测给定对象的结果 |
| 谁判对错 | 已有参考答案(1 条协议,逐条见下) |
| 领域 | 小分子(次领域:结构/共折叠) |
| 发布方 | ETH Zurich、University of California, Berkeley(学术实验室) |
| 首次发布 | (依据:去泄漏切分的首篇预印本 arXiv 2308.09639 v1) |
| 其他里程碑 | 预印本 v1 (arXiv 2308.09639 v1(去泄漏切分));期刊上线 (另一套切分的期刊论文在线);代码发布 (该切分配套模型仓库的首个标签版本) |
| 最近更新 | ,作者更正:其中一套切分的期刊论文增补附录;另一套的期刊版本同月上线,两套切分本身未变。此为最近一次有出处的事件,不代表此后没有更新 |
| 下一次预期 | 无公告(两方都未公告新版切分或新一轮评测。) |
| 规模 | 一套按结构相似度联合过滤,一套按聚类留出分三档;训练规模万条量级。 明细:按聚类留出切分训练的复合物数(某 1D 模型口径)(LP-PDBBind) 11,513;无泄漏留出档数(LP-PDBBind) 3;联合过滤用到的相似度口径(配体指纹、蛋白结构比对、口袋对齐后配体 RMSD)(PDBbind CleanSplit) 3 |
| 状态 | ◐ 低频:切分已稳定,更新多为论文版本与附录,采用者仍少 |
| wet lab 更新 | 静态:不做新实验;复用公开库里已有的亲和力测定值。 |
| 需自补 wet lab | 断言真实泛化时需要 |
| 报告模型数 | 0 个计入 |
| 当前排名 | ≠ 不可比(见当前排名) |
| 全站实体页 | 无(全站 /entities/ 体系中没有该 benchmark 的页面。) |
| 截至 | 2026-11-18 |
协议拆分与读法
同一个 benchmark 名下常有多场规则不同的考试。下表把它拆成 1 条协议,逐条写明谁判对错、在用的模型和这个分数能回答什么。分类口径见怎么给 benchmark 分类。
| 协议 | 谁判对错 | 隔离 | 在用模型(已核实) | 五维要点 | 能回答 | 不能回答 |
|---|---|---|---|---|---|---|
| 55a PDBbind-CleanSplit / LP-PDBBind | 已有参考答案 | — | GEMS(自/三)、HonestAffinity(自) | 剔除近重复后,同一批模型的相关性从 0.8 量级掉到 0.4–0.5;按旧口径做出的架构选择在严格无泄漏档上会被推翻。 | 剔除与测试复合物高度相似的训练样本后,亲和力模型还剩多少准确度,旧口径的架构选择是否被推翻。 | 这里的分数不能与其他 PDBbind 切分并列;也不能代表未按这两套切分训练或报告的模型。 |
在用模型括号内:榜 = 主办方榜单,自 = 开发方自报,三 = 第三方评测;只列已核实的配对。五维 = 真值可靠性、基线状况、指标效度、饱和度、泄漏风险;"未评估"表示该协议尚未完成五维评审。
测什么、怎么测
- 任务:在剔除与测试集高度相似的训练样本后,用结构预测蛋白-配体结合强度。
- 真值:公开库中的混合实验亲和力,来源与测定条件不统一。
- 主指标:测试集上的 Pearson 相关系数
- 次指标:均方根误差 RMSE;新靶标外推切分上的平均相关
- 版本陷阱:两套对无泄漏的定义不同(结构相似度过滤与聚类留出),分数不可互换;不少模型既没按这两套训练也没报分,并表就是混口径。
当前排名
状态:≠ 不可比
- 指标:Pearson 相关系数(测试集随切分而异)
- 评测集 / 口径:Mixed: CASF-2016 under CleanSplit training vs new-target OOD splits vs LP-PDBBind no-leak tiers
- 快照日期:
排名行不显示分数:3 个口径,无统一排名
说明:两套切分的无泄漏定义不同,测试集也不同;本站清单内没有按这两套报分的模型。
不可比:下表按条目列出,不排名次。
| 模型 | 名次 | 数值 | 指标 | 评测集 / 口径 | 来源类型 | 日期 | 出处 | 说明 |
|---|---|---|---|---|---|---|---|---|
| GEMS(非本站模型) | — | Pearson 0.815; RMSE 1.274 | 标准核心集上的 Pearson 与 RMSE | CASF-2016, trained on PDBbind CleanSplit | 第三方 | 出处 | 非本站模型;由第三方评测论文重跑,同表另一方法 0.807/1.280 | |
| GEMS(非本站模型) | — | Pearson 0.470 | 新靶标外推切分上的平均 Pearson | New-target OOD split built by a third party | 第三方 | 出处 | 同一模型换到未见靶标后从 0.815 掉到 0.470,是本条最该看的数字 | |
| HonestAffinity (Pocket-NoESM variant)(非本站模型) | — | 不显示:原文摘要未给数值,不作为排名数字显示。†(未核实) | 三档严格无泄漏留出上的平均 Pearson | LP-PDBBind no-leak tiers 1-3 | 自报 | 出处 | 非本站模型;原文只给定性结论:去掉蛋白语言模型输入的变体在三档上全部最好 |
排名数据读取于 2026-11-18。分数原样照录,不换算、不跨 benchmark 比较。
报告过的模型
按关系类型分组;计数口径见配对矩阵。0 个计入。
暂无模型与本 benchmark 构成配对。
提及但不构成配对
局限与注意
- 改的是切分不是标签:公开库里混合的测定值本身仍限制相关系数的上限。
- 两套对无泄漏的定义不同,分数不可互换,也不能与标准核心集的分数并列。
- 同一架构先验在核心集上有利、在严格无泄漏档上有害,按核心集做的模型选择会被推翻。
- 过滤只在结构、序列与指纹层面,靶特异的构效先验仍可能经公共活性库进入训练。
- 采用者仍少:多数流行模型没按这两套训练或报分,横比容易混口径。
新模型怎么用
取官方切分文件,用指定训练集重训模型,再在对应测试档上报 Pearson 与 RMSE,并与未去泄漏的标准核心集结果并列,显示落差。报告须写明用的是哪一套切分、哪一档测试集,以及模型选择是在哪套切分上做的——按未去泄漏的核心集挑出的架构先验,在严格无泄漏档上可能反而更差。可搭配 CASF 与 FEP 基准。
搭配:CASF-2016 · FEP 相对结合自由能基准 · PLINDER / PINDER / Runs N' Poses · DUD-E / LIT-PCBA
来源
- 提出其中一套切分的期刊论文(期刊)
- 该论文的附录更正(期刊)
- 该切分与配套模型的官方仓库(仓库)
- 切分与预计算数据集存档(存档)
- 另一套切分的预印本(预印本)
- 该切分的期刊版本(期刊)
- 该切分的官方仓库(仓库)
- 在两种切分口径上重跑多模型的第三方评测(第三方论文)
- 只用聚类留出切分做先验消融的模型论文(预印本)
更正记录
无。
本文为个人研究笔记,结论基于成文时可获得的公开信息;带〔估算〕〔推断〕或⚠️的数字未经独立核实。