模型与 Benchmark板块首页
怎么读
怎么给 benchmark 分类一个分数能信到哪一步:真值噪声、简单基线、泄漏与饱和协议索引:113 条协议按谁判对错分组方法与数据:分类口径、收录与停更标准、已知局限
模型与数据
模型索引:112 个模型按领域分组模型 × benchmark 配对矩阵训练数据从哪来:公开库、私有授权、自产 wet lab 与…benchmark 的规模、更新与 wet lab 数据
Benchmark:理解状态(表征与排序)
02 ProteinGym09 scIB11 ClinVar hold-out protocol13 CAGI16 GUE + Nucleotide Transform…17 CAFA21 DREAM5 / BEELINE / CausalB…26 FLIP / FLIP234 AbBiBench37 TraitGym38 BEND39 RNAGym45 DART-Eval49 NTv3 Benchmark67 VenusX
Benchmark:预测给定对象的结果
01 CASP03 MoleculeNet04 TDC05 PoseBusters06 CASF-201615 CAMEO22 CAPRI24 虚拟细胞挑战赛与扰动预测评测25 RNA-Puzzles27 Polaris / ASAP / OpenADMET30 PLINDER / PINDER / Runs N'…31 FoldBench33 PoseX35 FLAb / FLAb243 Ginkgo GDPa146 FEP 相对结合自由能基准47 PoseBench / DockGen51 OpenADMET 盲测系列52 Biogen ADME53 UNICORNE-BENCH54 OMol25 + FAIR Chemistry 榜单55 PDBbind-CleanSplit / LP-PD…57 CatPred-DB66 MassSpecGym
Benchmark:提出候选(生成与设计)
19 PMO20 CACHE28 Adaptyv competitions / Ben…36 AIntibody40 MotifBench50 蛋白 motif scaffolding 基准56 Protein Engineering Tourna…
Benchmark:多步分析与问答(agent)
14 PubMedQA18 LAB-Bench / LABBench223 BioASQ29 BixBench42 BioMysteryBench58 ChemBench59 LifeSciBench60 Terminal-Bench-Science61 BiomniBench / Biomni-Eval162 HeurekaBench63 scBench64 ScienceAgentBench65 SciReasoner / Biology-Inst…68 BioDesignBench
Benchmark:已停更
07 USPTO family08 Basenji/Enformer test set10 GuacaMol12 DUD-E / LIT-PCBA32 CrossDocked202041 BioML-bench44 FS-Mol
相邻领域
相邻领域:不在主分类内的评测
模型:结构/共折叠
AF2-Multimer:Google DeepMindAlphaFold 3BioEmu-2Boltz-1 / Boltz-1xBoltz-2:MIT、Recursion、Boltz P…Chai-1:Chai DiscoveryChai-2:Chai DiscoveryDiffDock:MIT CSAILESMFold2HelixFold-S1:BaiduIntelliFold-2:IntelliGen AIIsoDDE:Isomorphic LabsMassiveFoldNeuralPLexer3OpenComplex2OpenDDE:Aureka AI Research、Au…OpenFold3Pearl:Genesis Molecular AIProtenixRF3:University of Washington …RhoFold+ / DRfold2 / trRosett…RNAPro:NVIDIA、Stanford Univer…SeedFold:ByteDance SeedVina:Scripps Research
模型:小分子
ADMET-AIAQAffinity:SandboxAQBeacon:Inductive BioChemformer:AstraZenecaChemprop v2:MITEnchant v1 / v2ether0:FutureHouseKERMT:Merck & Co.、NVIDIAMiniMol:Valence LabsMolE:RecursionMoLFormer-XL:IBM ResearchNesso-1:Valence Labs、Recursio…ReaSyn v2:NVIDIA、KAISTREINVENT 4RetroDFM-RSaturn:EPFLTamGen:Microsoft Research AI …TerraBind:Terray TherapeuticsTxGemma:Google DeepMind、Googl…Uni-Mol2Uni-Mol3
模型:蛋白
AlphaProteoAMPLIFY:Mila、Polytechnique Mo…BindCraftBoltzGenChai-3:Chai DiscoveryClaude 蛋白设计研究DPLM-2:ByteDance Research、Nan…Dyno Psi-1 / Psi-PhiESM C:Evolutionary Scale、Chan…ESM3:Evolutionary Scale、Chan …EVOLVEproLa-Proteina:NVIDIALatent-X / X2:Latent LabsLucaOne:Alibaba Cloud、Sun Yat…Mosaic:Escalante BioPinal:Westlake UniversityPoET-2:OpenProtein.AIProfluent-E1:ProfluentProGen3:ProfluentProSST:Shanghai Jiao Tong Uni…Proteina-Complexa:NVIDIARFdiffusion2 / 3SaProt:Westlake University、We…SeedProteo:ByteDance SeedVenusREMxTrimoPGLM
模型:抗体
GerminalHCAbLM:Nona Biosciences、HBM H…IgGM / IgGM-FMJAM / JAM-2:Nabla BioOrigin-1:AbsciRFantibodytFold:Tencent AI for Life Sci…
模型:基因组/RNA
AlphaGenome:Google DeepMindAlphaMissense:Google DeepMindBioReasonBorzoi:Calico Life SciencesBulkFormerEvo 2:Arc Institute、NVIDIA、St…NTv3:InstaDeeppopEVE:Harvard Medical School…RIBOSPAN
模型:单细胞
AIDO Cell:GenBio AIC2S-ScaleCellFM:Sun Yat-sen University…Lingshu-CellscGPT / GeneformerscPRINT-2Stack:Arc InstituteSTATE:Arc InstituteTahoe-x1:Tahoe TherapeuticsTranscriptFormerX-Cell:Xaira TherapeuticsxTrimoSCPerturb / scFoundation
模型:分子生成
GenMol:NVIDIA
模型:文本与 agent
Biomni:Stanford University、Ph…Co-ScientistGPT-Rosalind:OpenAIIntern-SKosmos / Edison AnalysisMedGemma / Med-GeminiQuine:Microsoft ResearchRobin:FutureHouseSciReasonerTxAgent:Harvard Medical SchoolVERID:Google Research前沿通用大模型:Anthropic、OpenAI、Goog…

25 RNA-Puzzles

整理 2026-11-18 · 来源与可靠度标注见正文
本文目录
  1. 概况
  2. 协议拆分与读法
  3. 测什么、怎么测
  4. 当前排名
  5. 报告过的模型
  6. 局限与注意
  7. 新模型怎么用
  8. 来源
  9. 更正记录

RNA 三维结构社区盲测;准确率取决于有无近缘模板,而非模型范式。准确率取决于可用模板而非模型类型;2025 年 Kaggle 头名为非深度学习的模板管线;二级结构集存在同家族序列泄漏。

bench-25 · 模型在做什么:预测给定对象的结果 · 谁判对错:已有参考答案、先交卷后公布答案 · 结构/共折叠 · 核心 30 项 · 截至 2026-11-16

概况

字段 内容
名称 / 别名 RNA-Puzzles;全称:RNA-Puzzles:RNA 三维结构预测社区盲测;别名:RNA-Puzzles Round V、Stanford RNA 3D Folding;有歧义、不自动链接:Ribonanza、bpRNA、ArchiveII
家族 否(RNA-Puzzles 各轮是同一盲测的届次;Kaggle 与 CASP RNA 赛道为相关评测,记在规模与注释中,不作家族成员。)
模型在做什么 预测给定对象的结果
谁判对错 已有参考答案、先交卷后公布答案(4 条协议,逐条见下)
领域 结构/共折叠
发布方 RNA-Puzzles consortium (academic groups)、Stanford University (Kaggle RNA 3D Folding)(学术实验室)
首次发布 (依据:RNA-Puzzles 创立论文(RNA 2012,PubMed 在线 2012-02-23);puzzle 约 2010-11 起开始运行)
其他里程碑 期刊上线 (创立论文在线(RNA 2012));开赛 / 首批题目 †(未核实)(首批 puzzle 开始运行(据创立论文与站内笔记))
最近更新 †(未核实),新一轮:官网 PZ74–PZ79 的 DNA 残基名更新,日期仅由 URL 推得、未核实;最近正式一轮为 Round V(论文 2024-12-02 在线)。(复查时官网未复现该日期;最近一轮 Round V 论文 2024-12-02 在线)。此为最近一次有出处的事件,不代表此后没有更新
下一次预期 无公告(截至 2026-11-16 未见 Round VI 公告。)
规模 Round V:23 个 puzzle、18 组;CASP16 核酸 42 靶;Kaggle 私榜 20 靶。 明细:Puzzle 数(Round V) 23 puzzles;参赛组(Round V) 18 groups;CASP15 RNA 靶 / 组(CASP15) 12 / 42;CASP16 核酸靶 / 组(CASP16) 42 / 65;Kaggle 私榜靶(含 10 个 RNA-Puzzles)(Kaggle RNA 3D Folding Part 1) 20 targets;Kaggle 参赛队(Kaggle RNA 3D Folding Part 1) 1,700+ teams
状态 ◐ 低频:Round V 已于 2025 年发表;CASP RNA 与 Kaggle 轮次继续
wet lab 更新 新:轮次制,每轮 12–42 靶,真值为发表前提供的实验结构;新真值只能通过参加下一轮获得。
需自补 wet lab 不需要
报告模型数 3 个计入(改协议 2 · 赛后复用 1);另 1 条不计入(仅引用 1)
当前排名 ▣ 榜单(见当前排名)
全站实体页 无(全站 /entities/ 体系中没有该 benchmark 的页面。)
截至 2026-11-16

协议拆分与读法

同一个 benchmark 名下常有多场规则不同的考试。下表把它拆成 4 条协议,逐条写明谁判对错、在用的模型和这个分数能回答什么。分类口径见怎么给 benchmark 分类。

协议 谁判对错 隔离 在用模型(已核实) 五维要点 能回答 不能回答
25b RNA-Puzzles 历届回溯 3D 已有参考答案 待核 RhoFold+/DRfold2/trRosettaRNA(自/三) 真值中;基线被追平或反超;效度中;饱和未饱和;泄漏风险高 — —
25c RNA 2D 静态集(bpRNA/ArchiveII 等) 已有参考答案 — 暂无已核实的模型 真值中;基线被追平或反超;效度中;饱和未饱和;泄漏风险高 能回答:在与训练数据同家族的 RNA 上,模型复现已知二级结构碱基对的能力,以及把切分方式换成跨家族后还剩多少。 不能回答:不能回答模型对全新 RNA 家族的二级结构预测能力;标准切分上的 F1 高低不能当作该能力的证据。
25d Kaggle Stanford RNA 3D 当届赛 先交卷后公布答案 — 暂无已核实的模型 真值中;基线被追平或反超;效度中;饱和未饱和;泄漏风险中 能回答:在一次离线、序列不公开的当届盲测里,自动化方法相对'检索最相似已知结构'这一基线还差多少。 不能回答:不能回答无模板 RNA 的从头三维折叠能力——该届 95% 的靶都有可用模板;也不能把赛后回溯分数与盲测分数并列比较。
25e Kaggle RNA 3D 私榜赛后回溯 已有参考答案 待核 AlphaFold3(三)、RNAPro(自) 真值中;基线被追平或反超;效度中;饱和未饱和;泄漏风险高 — —

在用模型括号内:榜 = 主办方榜单,自 = 开发方自报,三 = 第三方评测;只列已核实的配对。五维 = 真值可靠性、基线状况、指标效度、饱和度、泄漏风险;"未评估"表示该协议尚未完成五维评审。

测什么、怎么测

  • 任务:从序列预测 RNA 三维结构,另有二级结构与化学反应性的相关静态集。
  • 真值:评估前未公开的 X 射线、冷冻电镜或 NMR 实验结构。
  • 主指标:RMSD、INF 与 DI(RNA-Puzzles)
  • 次指标:TM-score(US-align,C1′);GDT_TS、lDDT(CASP 与 Kaggle)
  • 版本陷阱:RNA-Puzzles、CASP RNA 与 Kaggle 的靶集、指标与赛制不同;人工组可用文献与实验约束,与服务器不是同一赛道。

当前排名

状态:▣ 榜单

  • 指标:平均 TM-align(US-align,C1′)
  • 评测集 / 口径:Kaggle Stanford RNA 3D Folding Part 1 private board: 20 targets incl. 10 RNA-Puzzles
  • 快照日期:
  • 榜单页面

当前第一:Kaggle private-board rank 1 team,0.578 (all, n=20); 0.491 (RNA-Puzzles, n=10)(平均 TM-align(US-align,C1′);Kaggle Stanford RNA 3D Folding Part 1 private board: 20 targets incl. 10 RNA-Puzzles;榜单;)

本站最佳:AlphaFold 3

说明:数字取自竞赛论文表 2(预印本),复现 Kaggle Part 1 私榜;Part 2 榜单未能读取,名次未知;RNA-Puzzles 本身无常设榜单。

模型 名次 数值 指标 评测集 / 口径 来源类型 日期 出处 说明
Kaggle private-board rank 1 team(非本站模型) 1 0.578 (all, n=20); 0.491 (RNA-Puzzles, n=10) 平均 TM-align(US-align,C1′) Kaggle Stanford RNA 3D Folding Part 1 private board: 20 targets incl. 10 RNA-Puzzles 榜单 出处 非本站模型;总榜第一,为不用深度学习的模板发现管线。
Kaggle private-board rank 2 team(非本站模型) 2 0.562 (all, n=20); 0.418 (RNA-Puzzles, n=10) 平均 TM-align(US-align,C1′) Kaggle Stanford RNA 3D Folding Part 1 private board: 20 targets incl. 10 RNA-Puzzles 榜单 出处 非本站模型。
AlphaFold 3 — 0.464 (all, n=20); 0.396 (RNA-Puzzles, n=10) 平均 TM-align(US-align,C1′) Kaggle Stanford RNA 3D Folding Part 1 private board: 20 targets incl. 10 RNA-Puzzles 第三方 出处 论文表 2 的参照对比行,不是参赛排名条目。
trRosettaRNA server — 0.438 (all, n=20); 0.340 (RNA-Puzzles, n=10) 平均 TM-align(US-align,C1′) Kaggle Stanford RNA 3D Folding Part 1 private board: 20 targets incl. 10 RNA-Puzzles 第三方 出处 论文表 2 的参照对比行,不是参赛排名条目。
RNAPro — 0.648 (all, n=20); 0.541 (RNA-Puzzles, n=10) 平均 TM-align(US-align,C1′) Kaggle Stanford RNA 3D Folding Part 1 private board: 20 targets incl. 10 RNA-Puzzles 自报 出处 赛后回溯模型,不是榜单条目,需前瞻验证。
NeuralPLexer3 — mean RNA lDDT 46.5 (AF3 47.3, AIchemy_RNA2 54.8) 平均 RNA lDDT CASP15 RNA, 8-target subset used in the AlphaFold 3 paper 自报 出处 CASP15 RNA 8 靶子集,协议与指标不同,不可与 Kaggle TM-align 列比较。

排名数据读取于 2026-11-16。分数原样照录,不换算、不跨 benchmark 比较。

报告过的模型

按关系类型分组;计数口径见配对矩阵。3 个计入(改协议 2 · 赛后复用 1);另 1 条不计入(仅引用 1)。

开发方自报,协议有改动(2)

  • NeuralPLexer3:用某届 CASP 的 RNA 8 靶子集,基线数字引自另一论文而非同条件重跑(自报,置信度高;出处)
  • RNAPro:开发方自报,口径为竞赛私有榜内的 RNA-Puzzles 子集,与官方赛制不同(自报,置信度中,未核实†;出处)

赛后数据复用(1)

  • RhoFold+/DRfold2/trRosettaRNA:DRfold2 与 trRosettaRNA2 的 RNA-Puzzles 成绩未证实:前者把靶点与其他集合混并汇总,后者的成绩属前代(未核实 / unverified)(第三方,置信度中,未核实†;出处)

仅被引用作比较(1,不计数)

  • AlphaFold 3:数字取自它自己的论文、被第三方转引,不是该赛事条目(第三方,置信度中,未核实†;出处)

局限与注意

  1. 准确率取决于可用模板而非模型类型;2025 年 Kaggle 头名为非深度学习的模板管线;二级结构集存在同家族序列泄漏。
  2. 靶点极少(一轮最多 23 个,Kaggle 私榜 20 个),无置信区间。
  3. CASP16 评估称控制模板后无显著进步,无模板靶几乎无成功;RNA-蛋白复合物仍失败。
  4. TM-score 只用 C1′ 原子,忽略非典型相互作用。
  5. 最近更新日期仅由 URL 推得,未核实;Kaggle Part 2 结果未取到。

新模型怎么用

用 RNA_assessment 脚本与 US-align 静态跑已揭盲的历史靶点;真盲测只能等下一届 CASP 或 Kaggle。报告须按有无近缘模板分层,附"检索最近 PDB 模板"基线,写明靶点集与每靶模型数;不要用随机切分的二级结构集宣称泛化。

搭配:CASP · RNAGym · FoldBench

来源

  1. RNA-Puzzles 创立论文(RNA 2012)(期刊)
  2. RNA-Puzzles Round V(Nat Methods 2025)(期刊)
  3. RNA-Puzzles 官网(官方网站)
  4. Kaggle Stanford RNA 3D Folding 竞赛论文(预印本)(预印本)
  5. Kaggle RNA 3D Folding Part 1(榜单)
  6. Kaggle RNA 3D Folding Part 2(榜单)
  7. CASP15 RNA 评估(第三方论文)
  8. CASP16 核酸评估(第三方论文)
  9. RNA_assessment 评估脚本(仓库)

更正记录

以下为本轮核对中改过的字段,原值按记录照录。

字段 原 现 原因 出处 发现日期
latest_update_desc Kaggle Stanford RNA 3D Folding Part 2 final submission deadline; RNA-Puzzles proper last round V paper (online 2024-12-02). No Round VI announced. Site item 'PZ74-PZ79 update: DNA residue names' dated 2026-04-02 from its URL only; the official site did not return this date or a dated news entry on re-check, so the date must display as unverified. Last RNA-Puzzles round proper: Round V paper online 2024-12-02. The 2026-03-25 Kaggle deadline belongs to the Kaggle component, not RNA-Puzzles. 审阅:该日期在官网无法复现,由 URL 推得的日期不算证据。 依据 2026-11-16
latest_update 2026-03-25 2026-04-02 2026-03-25 是 Kaggle 组件的截止日,不是 RNA-Puzzles 轮次;改为官网条目日期,但该日期仅由 URL 推得,显示为未核实。 依据 2026-11-16

本文为个人研究笔记,结论基于成文时可获得的公开信息;带〔估算〕〔推断〕或⚠️的数字未经独立核实。