模型与 Benchmark板块首页
怎么读
怎么给 benchmark 分类一个分数能信到哪一步:真值噪声、简单基线、泄漏与饱和协议索引:113 条协议按谁判对错分组方法与数据:分类口径、收录与停更标准、已知局限
模型与数据
模型索引:112 个模型按领域分组模型 × benchmark 配对矩阵训练数据从哪来:公开库、私有授权、自产 wet lab 与…benchmark 的规模、更新与 wet lab 数据
Benchmark:理解状态(表征与排序)
02 ProteinGym09 scIB11 ClinVar hold-out protocol13 CAGI16 GUE + Nucleotide Transform…17 CAFA21 DREAM5 / BEELINE / CausalB…26 FLIP / FLIP234 AbBiBench37 TraitGym38 BEND39 RNAGym45 DART-Eval49 NTv3 Benchmark67 VenusX
Benchmark:预测给定对象的结果
01 CASP03 MoleculeNet04 TDC05 PoseBusters06 CASF-201615 CAMEO22 CAPRI24 虚拟细胞挑战赛与扰动预测评测25 RNA-Puzzles27 Polaris / ASAP / OpenADMET30 PLINDER / PINDER / Runs N'…31 FoldBench33 PoseX35 FLAb / FLAb243 Ginkgo GDPa146 FEP 相对结合自由能基准47 PoseBench / DockGen51 OpenADMET 盲测系列52 Biogen ADME53 UNICORNE-BENCH54 OMol25 + FAIR Chemistry 榜单55 PDBbind-CleanSplit / LP-PD…57 CatPred-DB66 MassSpecGym
Benchmark:提出候选(生成与设计)
19 PMO20 CACHE28 Adaptyv competitions / Ben…36 AIntibody40 MotifBench50 蛋白 motif scaffolding 基准56 Protein Engineering Tourna…
Benchmark:多步分析与问答(agent)
14 PubMedQA18 LAB-Bench / LABBench223 BioASQ29 BixBench42 BioMysteryBench58 ChemBench59 LifeSciBench60 Terminal-Bench-Science61 BiomniBench / Biomni-Eval162 HeurekaBench63 scBench64 ScienceAgentBench65 SciReasoner / Biology-Inst…68 BioDesignBench
Benchmark:已停更
07 USPTO family08 Basenji/Enformer test set10 GuacaMol12 DUD-E / LIT-PCBA32 CrossDocked202041 BioML-bench44 FS-Mol
相邻领域
相邻领域:不在主分类内的评测
模型:结构/共折叠
AF2-Multimer:Google DeepMindAlphaFold 3BioEmu-2Boltz-1 / Boltz-1xBoltz-2:MIT、Recursion、Boltz P…Chai-1:Chai DiscoveryChai-2:Chai DiscoveryDiffDock:MIT CSAILESMFold2HelixFold-S1:BaiduIntelliFold-2:IntelliGen AIIsoDDE:Isomorphic LabsMassiveFoldNeuralPLexer3OpenComplex2OpenDDE:Aureka AI Research、Au…OpenFold3Pearl:Genesis Molecular AIProtenixRF3:University of Washington …RhoFold+ / DRfold2 / trRosett…RNAPro:NVIDIA、Stanford Univer…SeedFold:ByteDance SeedVina:Scripps Research
模型:小分子
ADMET-AIAQAffinity:SandboxAQBeacon:Inductive BioChemformer:AstraZenecaChemprop v2:MITEnchant v1 / v2ether0:FutureHouseKERMT:Merck & Co.、NVIDIAMiniMol:Valence LabsMolE:RecursionMoLFormer-XL:IBM ResearchNesso-1:Valence Labs、Recursio…ReaSyn v2:NVIDIA、KAISTREINVENT 4RetroDFM-RSaturn:EPFLTamGen:Microsoft Research AI …TerraBind:Terray TherapeuticsTxGemma:Google DeepMind、Googl…Uni-Mol2Uni-Mol3
模型:蛋白
AlphaProteoAMPLIFY:Mila、Polytechnique Mo…BindCraftBoltzGenChai-3:Chai DiscoveryClaude 蛋白设计研究DPLM-2:ByteDance Research、Nan…Dyno Psi-1 / Psi-PhiESM C:Evolutionary Scale、Chan…ESM3:Evolutionary Scale、Chan …EVOLVEproLa-Proteina:NVIDIALatent-X / X2:Latent LabsLucaOne:Alibaba Cloud、Sun Yat…Mosaic:Escalante BioPinal:Westlake UniversityPoET-2:OpenProtein.AIProfluent-E1:ProfluentProGen3:ProfluentProSST:Shanghai Jiao Tong Uni…Proteina-Complexa:NVIDIARFdiffusion2 / 3SaProt:Westlake University、We…SeedProteo:ByteDance SeedVenusREMxTrimoPGLM
模型:抗体
GerminalHCAbLM:Nona Biosciences、HBM H…IgGM / IgGM-FMJAM / JAM-2:Nabla BioOrigin-1:AbsciRFantibodytFold:Tencent AI for Life Sci…
模型:基因组/RNA
AlphaGenome:Google DeepMindAlphaMissense:Google DeepMindBioReasonBorzoi:Calico Life SciencesBulkFormerEvo 2:Arc Institute、NVIDIA、St…NTv3:InstaDeeppopEVE:Harvard Medical School…RIBOSPAN
模型:单细胞
AIDO Cell:GenBio AIC2S-ScaleCellFM:Sun Yat-sen University…Lingshu-CellscGPT / GeneformerscPRINT-2Stack:Arc InstituteSTATE:Arc InstituteTahoe-x1:Tahoe TherapeuticsTranscriptFormerX-Cell:Xaira TherapeuticsxTrimoSCPerturb / scFoundation
模型:分子生成
GenMol:NVIDIA
模型:文本与 agent
Biomni:Stanford University、Ph…Co-ScientistGPT-Rosalind:OpenAIIntern-SKosmos / Edison AnalysisMedGemma / Med-GeminiQuine:Microsoft ResearchRobin:FutureHouseSciReasonerTxAgent:Harvard Medical SchoolVERID:Google Research前沿通用大模型:Anthropic、OpenAI、Goog…

22 CAPRI

整理 2026-11-18 · 来源与可靠度标注见正文
本文目录
  1. 概况
  2. 协议拆分与读法
  3. 测什么、怎么测
  4. 当前排名
  5. 报告过的模型
  6. 局限与注意
  7. 新模型怎么用
  8. 来源
  9. 更正记录

蛋白复合物预测最早的前瞻盲测,其分级与 DockQ 是通用口径。每轮只有数十个靶点,类别分布不受控制,单靶点易主导聚合分,通常无置信区间。

bench-22 · 模型在做什么:预测给定对象的结果 · 谁判对错:先交卷后公布答案 · 结构/共折叠 · 核心 30 项 · 截至 2026-11-16

概况

字段 内容
名称 / 别名 CAPRI;全称:Critical Assessment of PRedicted Interactions;别名:CAPRI Round 57、CAPRI Round 65、CASP16-CAPRI、CASP15-CAPRI;有歧义、不自动链接:DockQ
家族 否(单一挑战的历届轮次,不是家族条目;与 CASP 的联合轮次共用靶点但各自评估。)
模型在做什么 预测给定对象的结果
谁判对错 先交卷后公布答案(1 条协议,逐条见下)
领域 结构/共折叠(次领域:蛋白)
发布方 CAPRI management group、EMBL-EBI Protein Data Bank in Europe(多类机构联合)
首次发布 †(未核实)(依据:官方站只能证实首轮年份;月份不可证(二手论文写 2001-07,设计会议在 2001-06))
其他里程碑 最早公开证据 †(未核实)(官方站轮次列表未给早期轮次日期);开赛 / 首批题目 †(未核实)(首轮年份(官方站))
最近更新 ,新一轮:Round 66 开放预测(报名至 2026-11-19,提交截止 11-20,评分 11-23 至 11-27),三个纳米抗体靶点,与一场 2026 年会议联合举办。此为最近一次有出处的事件,不代表此后没有更新
下一次预期 (官方轮次页公布的 Round 66 评分窗口起始日)
规模 累计 60 多轮、160 多个靶点;CASP16-CAPRI(Round 57)34 个靶点,Round 65 为 54 个靶点。 明细:累计轮次 60+;累计靶点(组织方 2020 年自述) 160+;靶点数(Round 54 (CASP15-CAPRI)) 37;提交模型数(Round 54 (CASP15-CAPRI)) 21941;靶点数(Round 57 (CASP16-CAPRI)) 34;靶点数(Round 65 (CASP17-CAPRI)) 54
状态 ◔ 本轮进行中:本轮进行中:Round 65 已截止待公布,Round 66 预测开放
wet lab 更新 新:随联合轮次约每两年一轮,每轮 30–40 个靶点;真值是结构生物学家发表前提供的实验结构,非专门测定。
需自补 wet lab 不需要
报告模型数 2 个计入(榜 2);另 1 条不计入(未证实 1)
当前排名 — 无排名(见当前排名)
全站实体页 无(全站 /entities/ 体系中没有该 benchmark 的页面。)
截至 2026-11-16

协议拆分与读法

同一个 benchmark 名下常有多场规则不同的考试。下表把它拆成 1 条协议,逐条写明谁判对错、在用的模型和这个分数能回答什么。分类口径见怎么给 benchmark 分类。

协议 谁判对错 隔离 在用模型(已核实) 五维要点 能回答 不能回答
22a CAPRI 当届盲测(CASP16-CAPRI) 先交卷后公布答案 盲测(提交时真值未公开) AlphaFold3(三)、MassiveFold(自) 真值中;基线部分追平;效度中;饱和未饱和;泄漏风险低 — —

在用模型括号内:榜 = 主办方榜单,自 = 开发方自报,三 = 第三方评测;只列已核实的配对。五维 = 真值可靠性、基线状况、指标效度、饱和度、泄漏风险;"未评估"表示该协议尚未完成五维评审。

测什么、怎么测

  • 任务:两条赛道:给组分序列预测复合物结构;或从所有提交的模型池中挑出近天然模型(评分赛道)。
  • 真值:预测时未公开的 X 射线或冷冻电镜结构,由结构生物学家提供。
  • 主指标:CAPRI 四级分级(Fnat、L-RMSD、i-RMSD)
  • 次指标:DockQ(0–1 连续分);每轮各级模型的靶点计数
  • 版本陷阱:必须写明轮次、靶点类别与提交模型数;协议不限外部 MSA、模板与算力,名次混有采样量因素。

当前排名

状态:— 无排名

  • 指标:CAPRI 分级与 DockQ
  • 评测集 / 口径:Round 65 (CASP17-CAPRI) closed in Aug 2026 with results unpublished; Round 66 open with scoring 2026-11-23 to 11-27; entries come from Round 57 (CASP16-CAPRI, 2024)
  • 快照日期:(旧:早于截至日 12 个月以上)
  • 榜单页面

说明:Round 65 的评估结果将随 CASP17 专刊发表,目前尚无排名;CAPRI 公布的是逐靶点分级计数,不是单一榜单。

模型 名次 数值 指标 评测集 / 口径 来源类型 日期 出处 说明
AF3-server 10 rank 10 of 81 (CASP16 protein multimers); avg DockQ 0.53 first-ranked CAPRI 分级与 DockQ Round 65 (CASP17-CAPRI) closed in Aug 2026 with results unpublished; Round 66 open with scoring 2026-11-23 to 11-27; entries come from Round 57 (CASP16-CAPRI, 2024) 第三方 出处 来自与 CAPRI 联合评估的 CASP16 寡聚体排名,不是 CAPRI 自身排名。
MassiveFold 30 rank 30 of 81 (CASP16 protein multimers) CAPRI 分级与 DockQ Round 65 (CASP17-CAPRI) closed in Aug 2026 with results unpublished; Round 66 open with scoring 2026-11-23 to 11-27; entries come from Round 57 (CASP16-CAPRI, 2024) 第三方 出处 同一第三方评估表;MassiveFold 自己的 CASP16-CAPRI 论文(31 靶点、65 个界面)不给名次。
Top-performing academic group (CASP16 oligomers)(非本站模型) — 不显示:数值只见二手摘要,未在一手材料复核,不显示。†(未核实) CAPRI 分级与 DockQ Round 65 (CASP17-CAPRI) closed in Aug 2026 with results unpublished; Round 66 open with scoring 2026-11-23 to 11-27; entries come from Round 57 (CASP16-CAPRI, 2024) 第三方(二手) †(未核实) 出处 非本站模型;官方评估称复合物预测仍未解决,超过 30% 的靶点(尤其抗体-抗原)高度困难。

排名数据读取于 2026-11-16。分数原样照录,不换算、不跨 benchmark 比较。

报告过的模型

按关系类型分组;计数口径见配对矩阵。2 个计入(榜 2);另 1 条不计入(未证实 1)。

官方参赛 / 官方榜单(2)

  • AF2-Multimer:官方评估中由评估方自行运行的标尺基线,原文无单独数值;本轮因此离开零配对名单(榜单,置信度中,未核实†;出处)
  • MassiveFold:参赛成立,但官方评估名次论文与汇报均未报告(榜单,置信度中;出处)

未证实(1,不计数)

  • AlphaFold 3:官方评估材料无独立条目,说法为二手(未核实)(未知,置信度中,未核实†;出处)

局限与注意

  1. 每轮只有数十个靶点,类别分布不受控制,单靶点易主导聚合分,通常无置信区间。
  2. 与 CASP 复合物赛道共享靶点与提交,不能视为独立证据。
  3. 协议不限外部 MSA、模板与算力,名次混有采样量与算力因素,无统一简单基线。
  4. 易类同/异二聚体接近饱和;抗体-抗原、柔性复合物与大组装体长期未解。
  5. 分数与亲和力、特异性、设计命中率的关联未被研究;靶点与提交数据分散,无统一版本化数据集。

新模型怎么用

真盲测只能参加下一轮。历史靶点可静态回放:选训练截止后释放的联合轮次靶点,出 5 个模型,用 DockQ 打分,按靶点报告而不只报均值,抗体-抗原单列。训练集含完整 PDB 的模型在旧靶点上有泄漏风险,去泄漏的静态补充见 PLINDER 家族。

搭配:CASP · PLINDER / PINDER / Runs N' Poses · FoldBench · CAMEO

来源

  1. CAPRI 官方页(轮次列表)(官方网站)
  2. Round 65 轮次页(官方网站)
  3. CASP15-CAPRI(Round 54)评估论文(期刊)
  4. CASP16 结构预测评估论文(第三方)(第三方论文),
  5. DockQ 论文(期刊)
  6. DockQ v2(预印本)
  7. CAPRI 起源综述(期刊)

更正记录

以下为本轮核对中改过的字段,原值按记录照录。

字段 原 现 原因 出处 发现日期
first_release 2001-07 2001 官方站只能证实首轮年份;月份(2001-06 与 2001-07 两说)不可证,不得按可信度升格。 依据 2026-11-16
first_release_basis Round 1 began soon after Charleston meeting (2001-06-16..19) per CAPRI site; a paper says July 2001; EBI round page shows odd 2000-11-29 registration, unreconciled first CAPRI round, 2001 (year-only evidence on the official site). Month unverifiable: a secondary paper says July 2001, the Charleston design meeting was 2001-06-16..19, and the EBI round-1 page shows placeholder 2000 dates. 依据随之降精度,并写明三处相互矛盾的线索。 依据 2026-11-16
first_release 2001-06 2001-07 上一轮曾把首发从 2001-06 改为 2001-07;本轮进一步降为年份。 依据 2026-11-16
latest_update Round 57 (CASP16-CAPRI, 2024) described as the latest round 2026-11-02: Round 66 opened for predictions; Round 65 (54 targets) closed in Aug 2026 with results unpublished 站上把 2024 年的联合轮次当作最近事件,实际已进行到 Round 65 与 66。 依据 2026-11-16
models_reported AF2-Multimer listed as having no CAPRI pairing official-participation: the assessors' baseline in the official round assessment 该模型因此离开零配对名单;评估者运行的标尺基线按组织方确认计为官方条目。 依据 2026-11-16
ranking.entries a top group's success rate above 60% shown as a number withheld: the figure appears only in a secondary summary 二手数值不得作为排名格显示,且组织方未公布该名次。 依据 2026-11-16
status active round-in-progress (Round 66 predictions open, scoring 2026-11-23 to 11-27) 状态按本轮进行中的事实改写。 依据 2026-11-16

本文为个人研究笔记,结论基于成文时可获得的公开信息;带〔估算〕〔推断〕或⚠️的数字未经独立核实。