模型与 Benchmark板块首页
怎么读
怎么给 benchmark 分类一个分数能信到哪一步:真值噪声、简单基线、泄漏与饱和协议索引:113 条协议按谁判对错分组方法与数据:分类口径、收录与停更标准、已知局限
模型与数据
模型索引:112 个模型按领域分组模型 × benchmark 配对矩阵训练数据从哪来:公开库、私有授权、自产 wet lab 与…benchmark 的规模、更新与 wet lab 数据
Benchmark:理解状态(表征与排序)
02 ProteinGym09 scIB11 ClinVar hold-out protocol13 CAGI16 GUE + Nucleotide Transform…17 CAFA21 DREAM5 / BEELINE / CausalB…26 FLIP / FLIP234 AbBiBench37 TraitGym38 BEND39 RNAGym45 DART-Eval49 NTv3 Benchmark67 VenusX
Benchmark:预测给定对象的结果
01 CASP03 MoleculeNet04 TDC05 PoseBusters06 CASF-201615 CAMEO22 CAPRI24 虚拟细胞挑战赛与扰动预测评测25 RNA-Puzzles27 Polaris / ASAP / OpenADMET30 PLINDER / PINDER / Runs N'…31 FoldBench33 PoseX35 FLAb / FLAb243 Ginkgo GDPa146 FEP 相对结合自由能基准47 PoseBench / DockGen51 OpenADMET 盲测系列52 Biogen ADME53 UNICORNE-BENCH54 OMol25 + FAIR Chemistry 榜单55 PDBbind-CleanSplit / LP-PD…57 CatPred-DB66 MassSpecGym
Benchmark:提出候选(生成与设计)
19 PMO20 CACHE28 Adaptyv competitions / Ben…36 AIntibody40 MotifBench50 蛋白 motif scaffolding 基准56 Protein Engineering Tourna…
Benchmark:多步分析与问答(agent)
14 PubMedQA18 LAB-Bench / LABBench223 BioASQ29 BixBench42 BioMysteryBench58 ChemBench59 LifeSciBench60 Terminal-Bench-Science61 BiomniBench / Biomni-Eval162 HeurekaBench63 scBench64 ScienceAgentBench65 SciReasoner / Biology-Inst…68 BioDesignBench
Benchmark:已停更
07 USPTO family08 Basenji/Enformer test set10 GuacaMol12 DUD-E / LIT-PCBA32 CrossDocked202041 BioML-bench44 FS-Mol
相邻领域
相邻领域:不在主分类内的评测
模型:结构/共折叠
AF2-Multimer:Google DeepMindAlphaFold 3BioEmu-2Boltz-1 / Boltz-1xBoltz-2:MIT、Recursion、Boltz P…Chai-1:Chai DiscoveryChai-2:Chai DiscoveryDiffDock:MIT CSAILESMFold2HelixFold-S1:BaiduIntelliFold-2:IntelliGen AIIsoDDE:Isomorphic LabsMassiveFoldNeuralPLexer3OpenComplex2OpenDDE:Aureka AI Research、Au…OpenFold3Pearl:Genesis Molecular AIProtenixRF3:University of Washington …RhoFold+ / DRfold2 / trRosett…RNAPro:NVIDIA、Stanford Univer…SeedFold:ByteDance SeedVina:Scripps Research
模型:小分子
ADMET-AIAQAffinity:SandboxAQBeacon:Inductive BioChemformer:AstraZenecaChemprop v2:MITEnchant v1 / v2ether0:FutureHouseKERMT:Merck & Co.、NVIDIAMiniMol:Valence LabsMolE:RecursionMoLFormer-XL:IBM ResearchNesso-1:Valence Labs、Recursio…ReaSyn v2:NVIDIA、KAISTREINVENT 4RetroDFM-RSaturn:EPFLTamGen:Microsoft Research AI …TerraBind:Terray TherapeuticsTxGemma:Google DeepMind、Googl…Uni-Mol2Uni-Mol3
模型:蛋白
AlphaProteoAMPLIFY:Mila、Polytechnique Mo…BindCraftBoltzGenChai-3:Chai DiscoveryClaude 蛋白设计研究DPLM-2:ByteDance Research、Nan…Dyno Psi-1 / Psi-PhiESM C:Evolutionary Scale、Chan…ESM3:Evolutionary Scale、Chan …EVOLVEproLa-Proteina:NVIDIALatent-X / X2:Latent LabsLucaOne:Alibaba Cloud、Sun Yat…Mosaic:Escalante BioPinal:Westlake UniversityPoET-2:OpenProtein.AIProfluent-E1:ProfluentProGen3:ProfluentProSST:Shanghai Jiao Tong Uni…Proteina-Complexa:NVIDIARFdiffusion2 / 3SaProt:Westlake University、We…SeedProteo:ByteDance SeedVenusREMxTrimoPGLM
模型:抗体
GerminalHCAbLM:Nona Biosciences、HBM H…IgGM / IgGM-FMJAM / JAM-2:Nabla BioOrigin-1:AbsciRFantibodytFold:Tencent AI for Life Sci…
模型:基因组/RNA
AlphaGenome:Google DeepMindAlphaMissense:Google DeepMindBioReasonBorzoi:Calico Life SciencesBulkFormerEvo 2:Arc Institute、NVIDIA、St…NTv3:InstaDeeppopEVE:Harvard Medical School…RIBOSPAN
模型:单细胞
AIDO Cell:GenBio AIC2S-ScaleCellFM:Sun Yat-sen University…Lingshu-CellscGPT / GeneformerscPRINT-2Stack:Arc InstituteSTATE:Arc InstituteTahoe-x1:Tahoe TherapeuticsTranscriptFormerX-Cell:Xaira TherapeuticsxTrimoSCPerturb / scFoundation
模型:分子生成
GenMol:NVIDIA
模型:文本与 agent
Biomni:Stanford University、Ph…Co-ScientistGPT-Rosalind:OpenAIIntern-SKosmos / Edison AnalysisMedGemma / Med-GeminiQuine:Microsoft ResearchRobin:FutureHouseSciReasonerTxAgent:Harvard Medical SchoolVERID:Google Research前沿通用大模型:Anthropic、OpenAI、Goog…

30 PLINDER / PINDER / Runs N' Poses

整理 2026-11-18 · 来源与可靠度标注见正文
本文目录
  1. 概况
  2. 协议拆分与读法
  3. 测什么、怎么测
  4. 当前排名
  5. 报告过的模型
  6. 局限与注意
  7. 新模型怎么用
  8. 来源
  9. 更正记录

把训练集相似度作为一等切分标准的对接与共折叠泛化评测基础设施。分档数字多为开发方自报且口径不一;系统定义在版本间有变;最低相似度档仅 76 个系统。

bench-30 · 模型在做什么:预测给定对象的结果 · 谁判对错:已有参考答案 · 结构/共折叠 · 核心 30 项 · 截至 2026-11-16

概况

字段 内容
名称 / 别名 PLINDER / PINDER / Runs N' Poses;全称:PLINDER(蛋白-配体相互作用数据集与评测)、PINDER(蛋白-蛋白相互作用数据集与评测)与 Runs N' Poses(共折叠泛化测试集);别名:PLINDER、PINDER、Runs N' Poses、RnP、PLINDER-PL50、PLINDER-TIME、PLINDER-ECOD、plinder、pinder;有歧义、不自动链接:runs-n-poses
家族 家族条目:PLINDER †(未核实);PINDER †(未核实);Runs N' Poses †(未核实)。边界:三者同属一个组织的防泄漏评测基础设施:PLINDER、PINDER 提供训练与评测切分,Runs N' Poses 对已训练的共折叠模型做事后分层测试。
模型在做什么 预测给定对象的结果
谁判对错 已有参考答案(2 条协议,逐条见下)
领域 结构/共折叠
发布方 VantAI、NVIDIA、MIT CSAIL、University of Basel、SIB Swiss Institute of Bioinformatics(多类机构联合)
首次发布 †(未核实)(依据:族内最早成员 PLINDER 的 bioRxiv v1;PINDER 记录为 2024-07-19,Runs N' Poses 为 2025-02-07。) 成员日期依赖动态页面,见 unverified_fields
其他里程碑 预印本 v1 †(未核实)(PLINDER bioRxiv v1);期刊上线 (Runs N' Poses 正式版刊于 Nature Structural & Molecular Biology);代码发布 (plinder 包首次上传 PyPI(pinder 首次上传为 2024-07-19))
最近更新 †(未核实),新版本:plinder 1.0.0 发布(移除 Metaflow),之后提交仅涉及文档;pinder 0.6.0(2026-09-14)把数据托管迁至 R2。此为最近一次有出处的事件,不代表此后没有更新
下一次预期 无公告(维护方未公告下一版本或新一届挑战的日期。)
规模 PLINDER 449,383 个系统;PINDER 2,319,564 个二聚体;Runs N' Poses 2,073–2,600 个系统。 明细:PLINDER 蛋白-配体系统 449,383 systems;PLINDER 每系统注释项 >500 annotations;PINDER 二聚体 2,319,564 dimers;PINDER apo 单体 47,717 monomers;PINDER AFDB 单体 42,827 monomers;PINDER 测试集 1,955 systems;Runs N' Poses 预印本系统数(preprint) 2,600 systems;Runs N' Poses 公开版系统数(Polaris) 2,073 systems;最低相似度档(0–20)系统数 76 systems
状态 ● 活跃:活跃;plinder 1.0.0 于 2026-10-09 发布
wet lab 更新 累积:不产生新实验数据;随 PDB 周更新复用实验结构。
需自补 wet lab 不需要
报告模型数 5 个计入(自报 3 · 改协议 2);另 4 条不计入(仅引用 4)
当前排名 ▣ 榜单(见当前排名)
全站实体页 无(全站 /entities/ 体系中没有该 benchmark 的页面。)
截至 2026-11-16

协议拆分与读法

同一个 benchmark 名下常有多场规则不同的考试。下表把它拆成 2 条协议,逐条写明谁判对错、在用的模型和这个分数能回答什么。分类口径见怎么给 benchmark 分类。

协议 谁判对错 隔离 在用模型(已核实) 五维要点 能回答 不能回答
30c Runs N' Poses 相似度分层评测 已有参考答案 待核 AlphaFold3(三)、Boltz-1/1x(三)、Boltz-2(三)、Chai-1(三)、IsoDDE(自)、OpenFold3(自)、Pearl(自)、Protenix(自/三) 按与训练集的相似度分档看位姿:高相似档与最低相似档差距很大,最低档只有几十个体系,且未设模板或物理对接基线。 共折叠方法的位姿成功率如何随复合物与训练集的相似度下降。 各家数字不可并列——训练截止、评测子集与取最优 N 个的口径各不相同,最低相似档样本也太少。
30d PINDER 指定 split 已有参考答案 — AF2Dock(自) 物理对接在该集上追平甚至反超深度方法;输入从结合态结构换成 apo 或预测单体后,成功率大幅下降。 在按界面聚类并与训练集隔离的二体复合物上,给定不同质量的单体输入时,各对接方法的成功率排序。 方法在只有 apo 或预测单体、且需界面构象变化的真实场景中的可用性——该条件下成绩明显下降且样本少。

在用模型括号内:榜 = 主办方榜单,自 = 开发方自报,三 = 第三方评测;只列已核实的配对。五维 = 真值可靠性、基线状况、指标效度、饱和度、泄漏风险;"未评估"表示该协议尚未完成五维评审。

测什么、怎么测

  • 任务:在与训练集在蛋白、口袋、相互作用和配体上都不相似的新系统上,评估对接与共折叠的泛化能力,并按相似度分档报告。
  • 真值:PDB 中已发表的实验结构;Runs N' Poses 取 2021-09-30 之后发布的高分辨率系统。
  • 主指标:位姿成功率(LDDT-PLI>0.8 且 BiSyRMSD<2 Å)
  • 次指标:PINDER:DockQ 与 iRMSD 类指标;按训练集相似度 8 档分层报告
  • 版本陷阱:PL50 切分在 v1(2024-04)与 MLSB 挑战所用 v2(2024-06)中系统定义不同,v2 改为只依赖配体距离;不同版本数字不可直接比。

当前排名

状态:▣ 榜单

  • 指标:success_rate:LDDT-PLI>0.8 且 BiSyRMSD<2 的预测占比;页面另列 rmsd_success_rate、mean_lddt_pli、coverage
  • 评测集 / 口径:Runs N' Poses (Polaris preview benchmark, plinder-org/runs-n-poses)
  • 快照日期:
  • 榜单页面

当前第一:AlphaFold3,success_rate 15.068; rmsd_success_rate 17.808; mean_lddt_pli 0.304; coverage 96.053(success_rate:LDDT-PLI>0.8 且 BiSyRMSD<2 的预测占比;页面另列 rmsd_success_rate、mean_lddt_pli、coverage;Runs N' Poses (Polaris preview benchmark, plinder-org/runs-n-poses);榜单;)

说明:PLINDER、PINDER 本身无榜单;唯一榜单是 Polaris 上的 Runs N' Poses 预览基准,绝对值远低于论文叙事且分档计数自相矛盾,不宜读作真实排序。较新模型均为自报或二手,在各自子集上评测,未排名。

模型 名次 数值 指标 评测集 / 口径 来源类型 日期 出处 说明
AlphaFold3 1 success_rate 15.068; rmsd_success_rate 17.808; mean_lddt_pli 0.304; coverage 96.053 success_rate:LDDT-PLI>0.8 且 BiSyRMSD<2 的预测占比;页面另列 rmsd_success_rate、mean_lddt_pli、coverage Runs N' Poses (Polaris preview benchmark, plinder-org/runs-n-poses) 榜单 出处 榜单第一;基准创建于 2025-02-03,图表更新于 2025-02-04,条目无单独日期
Boltz-1 2 success_rate 5.556; rmsd_success_rate 9.259; mean_lddt_pli 0.250; coverage 71.053 success_rate:LDDT-PLI>0.8 且 BiSyRMSD<2 的预测占比;页面另列 rmsd_success_rate、mean_lddt_pli、coverage Runs N' Poses (Polaris preview benchmark, plinder-org/runs-n-poses) 榜单 出处 —
Chai-1 3 success_rate 4.688; rmsd_success_rate 18.750; mean_lddt_pli 0.281; coverage 84.211 success_rate:LDDT-PLI>0.8 且 BiSyRMSD<2 的预测占比;页面另列 rmsd_success_rate、mean_lddt_pli、coverage Runs N' Poses (Polaris preview benchmark, plinder-org/runs-n-poses) 榜单 出处 —
Protenix 4 success_rate 1.471; rmsd_success_rate 11.765; mean_lddt_pli 0.251; coverage 89.474 success_rate:LDDT-PLI>0.8 且 BiSyRMSD<2 的预测占比;页面另列 rmsd_success_rate、mean_lddt_pli、coverage Runs N' Poses (Polaris preview benchmark, plinder-org/runs-n-poses) 榜单 出处 —
Pearl — 85.2% (<2 Å, PoseBusters-valid, best@5); 70.0% at <1 Å RMSD<2 Å 且通过 PoseBusters 有效性检查的比例(best@5) Runs N' Poses (702-structure filtered subset, Pearl paper) 自报 出处 口径不同(best@5,过滤后的 702 个结构子集),不能与 Polaris 榜单数字比较
AlphaFold3 — 74.4% (<2 Å, best@5); 61.5% at <1 Å RMSD<2 Å 的比例(best@5) Runs N' Poses (702-structure filtered subset, Pearl paper) 第三方(二手) 出处 二手数字,引自 Pearl 论文对照表;同表另有 Boltz、Chai-1、Protenix 结果

排名数据读取于 2026-11-16。分数原样照录,不换算、不跨 benchmark 比较。

报告过的模型

按关系类型分组;计数口径见配对矩阵。5 个计入(自报 3 · 改协议 2);另 4 条不计入(仅引用 4)。

开发方按官方口径自报(3)

  • IsoDDE:技术报告在 Runs N' Poses 按训练相似度分桶自报,重点是最难的相似度桶;厂商自述,无第三方复现(自报,置信度中,未核实†;出处)
  • OpenFold3:README 仅柱状图,无文本数值;方法见 preview2 技术报告(自报,置信度中,未核实†;出处)
  • Pearl:论文自报;对比基线由 Pearl 团队自行重跑(自报,置信度中,未核实†;出处)

开发方自报,协议有改动(2)

  • Nesso-1:同句点名的第三个结构 benchmark,指标与基线来源、过滤限定相同(自报,置信度高;出处)
  • Protenix:v1 只给按训练相似度分桶的图、无汇总值;另有第三方论文给出汇总数字(自报,置信度中,未核实†;出处)

仅被引用作比较(4,不计数)

  • AlphaFold 3:二手转引(第三方论文),非开发方自报(第三方,置信度中,未核实†;出处)
  • Boltz-1 / Boltz-1x:依据只是本站自己的页面(未核实):转引第三方论文的数字(第三方,置信度中,未核实†;—)
  • Boltz-2:依据只是本站自己的页面(未核实):转引第三方论文,并注明不可直接比(第三方,置信度中,未核实†;—)
  • Chai-1:依据只是本站自己的页面(未核实):转引第三方论文(第三方,置信度中,未核实†;—)

提及但不构成配对

局限与注意

  1. 分档数字多为开发方自报且口径不一;系统定义在版本间有变;最低相似度档仅 76 个系统。
  2. PLINDER 切分只能约束自训模型;对训练集已固定的共折叠模型只能事后分层,相似度按共同近似训练集计算,存在轻微错配。
  3. Polaris 预览榜单数值与论文差距大且分档计数矛盾,不能当真实排序引用。
  4. 同名下并存多个子集与 best@5、best@15 等口径,跨论文数字不可横比。
  5. 高相似档已近饱和;无直接证据表明分数提升能转化为湿实验成功。

新模型怎么用

静态运行,无需自建湿实验。自训模型用 PLINDER-PL50 切分训练并按相似度分档报告,不只报总体;已训练的共折叠模型用 Runs N' Poses 分档。须写明数据版本与切分文件、采样种子数、选姿策略(置信度 top-1 或 best-of-N)及外部预训练模型的训练截止日,并联用 PoseBusters 的有效性检查。不适用于虚筛富集、亲和力排序与 ADMET。

搭配:PoseBusters · FoldBench · PoseX · CAPRI · CASF-2016

来源

  1. PLINDER 预印本(bioRxiv)(预印本)
  2. PINDER 预印本(bioRxiv)(预印本)
  3. Runs N' Poses 预印本(bioRxiv v3)(预印本)
  4. Runs N' Poses 正式版(Nature Structural & Molecular Biology 2026)(期刊)
  5. PLINDER 数据集文档(官方网站)
  6. PLINDER 官方仓库(仓库)
  7. plinder(PyPI)(包仓库)
  8. pinder(PyPI)(包仓库)
  9. Polaris 上的 Runs N' Poses 预览基准(榜单)
  10. MLSB 2024 挑战说明(官方网站)
  11. Pearl 模型论文(含 Runs N' Poses 对照表)(第三方论文)
  12. DockGen 论文(前身 ECOD 去泄漏切分)(第三方论文)

更正记录

以下为本轮核对中改过的字段,原值按记录照录。

字段 原 现 原因 出处 发现日期
n_models_reported 8 5 counted under the new relation taxonomy (4 comparison-only citations excluded) 报告模型数按新关系口径重算,仅作比较引用的条目不计入。 依据 2026-11-16
models_reported (Nesso-1) not listed self-reported-modified-protocol 复核确认该模型报告自承过滤条件与被引论文不同,归为改协议自报,离开零配对名单。 依据 2026-11-16
non_pairings (Proteina-Complexa) candidate pairing non-pairing: used only as training data 本基准族在该模型论文中仅作为训练数据出现,记为非配对。 依据 2026-11-16

本文为个人研究笔记,结论基于成文时可获得的公开信息;带〔估算〕〔推断〕或⚠️的数字未经独立核实。