模型与 Benchmark板块首页
怎么读
怎么给 benchmark 分类一个分数能信到哪一步:真值噪声、简单基线、泄漏与饱和协议索引:113 条协议按谁判对错分组方法与数据:分类口径、收录与停更标准、已知局限
模型与数据
模型索引:112 个模型按领域分组模型 × benchmark 配对矩阵训练数据从哪来:公开库、私有授权、自产 wet lab 与…benchmark 的规模、更新与 wet lab 数据
Benchmark:理解状态(表征与排序)
02 ProteinGym09 scIB11 ClinVar hold-out protocol13 CAGI16 GUE + Nucleotide Transform…17 CAFA21 DREAM5 / BEELINE / CausalB…26 FLIP / FLIP234 AbBiBench37 TraitGym38 BEND39 RNAGym45 DART-Eval49 NTv3 Benchmark67 VenusX
Benchmark:预测给定对象的结果
01 CASP03 MoleculeNet04 TDC05 PoseBusters06 CASF-201615 CAMEO22 CAPRI24 虚拟细胞挑战赛与扰动预测评测25 RNA-Puzzles27 Polaris / ASAP / OpenADMET30 PLINDER / PINDER / Runs N'…31 FoldBench33 PoseX35 FLAb / FLAb243 Ginkgo GDPa146 FEP 相对结合自由能基准47 PoseBench / DockGen51 OpenADMET 盲测系列52 Biogen ADME53 UNICORNE-BENCH54 OMol25 + FAIR Chemistry 榜单55 PDBbind-CleanSplit / LP-PD…57 CatPred-DB66 MassSpecGym
Benchmark:提出候选(生成与设计)
19 PMO20 CACHE28 Adaptyv competitions / Ben…36 AIntibody40 MotifBench50 蛋白 motif scaffolding 基准56 Protein Engineering Tourna…
Benchmark:多步分析与问答(agent)
14 PubMedQA18 LAB-Bench / LABBench223 BioASQ29 BixBench42 BioMysteryBench58 ChemBench59 LifeSciBench60 Terminal-Bench-Science61 BiomniBench / Biomni-Eval162 HeurekaBench63 scBench64 ScienceAgentBench65 SciReasoner / Biology-Inst…68 BioDesignBench
Benchmark:已停更
07 USPTO family08 Basenji/Enformer test set10 GuacaMol12 DUD-E / LIT-PCBA32 CrossDocked202041 BioML-bench44 FS-Mol
相邻领域
相邻领域:不在主分类内的评测
模型:结构/共折叠
AF2-Multimer:Google DeepMindAlphaFold 3BioEmu-2Boltz-1 / Boltz-1xBoltz-2:MIT、Recursion、Boltz P…Chai-1:Chai DiscoveryChai-2:Chai DiscoveryDiffDock:MIT CSAILESMFold2HelixFold-S1:BaiduIntelliFold-2:IntelliGen AIIsoDDE:Isomorphic LabsMassiveFoldNeuralPLexer3OpenComplex2OpenDDE:Aureka AI Research、Au…OpenFold3Pearl:Genesis Molecular AIProtenixRF3:University of Washington …RhoFold+ / DRfold2 / trRosett…RNAPro:NVIDIA、Stanford Univer…SeedFold:ByteDance SeedVina:Scripps Research
模型:小分子
ADMET-AIAQAffinity:SandboxAQBeacon:Inductive BioChemformer:AstraZenecaChemprop v2:MITEnchant v1 / v2ether0:FutureHouseKERMT:Merck & Co.、NVIDIAMiniMol:Valence LabsMolE:RecursionMoLFormer-XL:IBM ResearchNesso-1:Valence Labs、Recursio…ReaSyn v2:NVIDIA、KAISTREINVENT 4RetroDFM-RSaturn:EPFLTamGen:Microsoft Research AI …TerraBind:Terray TherapeuticsTxGemma:Google DeepMind、Googl…Uni-Mol2Uni-Mol3
模型:蛋白
AlphaProteoAMPLIFY:Mila、Polytechnique Mo…BindCraftBoltzGenChai-3:Chai DiscoveryClaude 蛋白设计研究DPLM-2:ByteDance Research、Nan…Dyno Psi-1 / Psi-PhiESM C:Evolutionary Scale、Chan…ESM3:Evolutionary Scale、Chan …EVOLVEproLa-Proteina:NVIDIALatent-X / X2:Latent LabsLucaOne:Alibaba Cloud、Sun Yat…Mosaic:Escalante BioPinal:Westlake UniversityPoET-2:OpenProtein.AIProfluent-E1:ProfluentProGen3:ProfluentProSST:Shanghai Jiao Tong Uni…Proteina-Complexa:NVIDIARFdiffusion2 / 3SaProt:Westlake University、We…SeedProteo:ByteDance SeedVenusREMxTrimoPGLM
模型:抗体
GerminalHCAbLM:Nona Biosciences、HBM H…IgGM / IgGM-FMJAM / JAM-2:Nabla BioOrigin-1:AbsciRFantibodytFold:Tencent AI for Life Sci…
模型:基因组/RNA
AlphaGenome:Google DeepMindAlphaMissense:Google DeepMindBioReasonBorzoi:Calico Life SciencesBulkFormerEvo 2:Arc Institute、NVIDIA、St…NTv3:InstaDeeppopEVE:Harvard Medical School…RIBOSPAN
模型:单细胞
AIDO Cell:GenBio AIC2S-ScaleCellFM:Sun Yat-sen University…Lingshu-CellscGPT / GeneformerscPRINT-2Stack:Arc InstituteSTATE:Arc InstituteTahoe-x1:Tahoe TherapeuticsTranscriptFormerX-Cell:Xaira TherapeuticsxTrimoSCPerturb / scFoundation
模型:分子生成
GenMol:NVIDIA
模型:文本与 agent
Biomni:Stanford University、Ph…Co-ScientistGPT-Rosalind:OpenAIIntern-SKosmos / Edison AnalysisMedGemma / Med-GeminiQuine:Microsoft ResearchRobin:FutureHouseSciReasonerTxAgent:Harvard Medical SchoolVERID:Google Research前沿通用大模型:Anthropic、OpenAI、Goog…

17 CAFA

整理 2026-11-18 · 来源与可靠度标注见正文
本文目录
  1. 概况
  2. 协议拆分与读法
  3. 测什么、怎么测
  4. 当前排名
  5. 报告过的模型
  6. 局限与注意
  7. 新模型怎么用
  8. 来源
  9. 更正记录

蛋白功能(GO)预测的时间延迟前瞻盲测,真值为提交后新增的实验注释。未注释的术语被当作负例(开放世界问题);CAFA5/6 改为 Kaggle 竞赛,分数不能跨届比较;允许文本挖掘类参赛

bench-17 · 模型在做什么:理解状态(表征与排序) · 谁判对错:已有参考答案、先交卷后公布答案 · 蛋白 · 核心 30 项 · 截至 2026-11-16

概况

字段 内容
名称 / 别名 CAFA;全称:蛋白功能注释关键评估;别名:CAFA1、CAFA2、CAFA3、CAFA4、CAFA5、CAFA6、Critical Assessment of Functional Annotation
家族 否(单一周期性挑战;CAFA1–6 是同一挑战的各届,不是家族成员。)
模型在做什么 理解状态(表征与排序)
谁判对错 已有参考答案、先交卷后公布答案(2 条协议,逐条见下)
领域 蛋白
发布方 CAFA organisers (ISCB Automated Function Prediction SIG)(学术实验室)
首次发布 †(未核实)(依据:开赛:CAFA1 目标于 2010-09-15 发布(组织方论文第 9 页)。2010-07-15 开放报名另列,不作首发。) 日级 2010-09-15 来自组织方论文,按月保留
其他里程碑 最早公开证据 †(未核实)(开放报名(2010 年公告的二手引述));期刊上线 †(未核实)(CAFA1 结果论文 Nature Methods 在线(二手引述));开赛 / 首批题目 †(未核实)(开赛:CAFA1 目标于 2010-09-15 发布(组织方论文第 9 页)。2010-07-15 开放报名另列,不作首发。)
最近更新 †(未核实),新一轮:CAFA6 在 Kaggle 开赛(奖金 5 万美元,据组织方邮件列表);最终结果未检出(无官方带日期记录,显示为未核实)。此为最近一次有出处的事件,不代表此后没有更新
下一次预期 无公告(CAFA6 终评时间仅见聚合站(约 2026-05),组织方未公告。)
规模 CAFA2:126 个方法、3,681 个蛋白;CAFA5:1,600 余队;CAFA6 评估集规模未公布 明细:方法数(CAFA2) 126;评估蛋白(CAFA2) 3,681;参赛队(CAFA5) 1,600+;提交数(CAFA5) 2,850;评估集规模(CAFA6) not published
状态 ● 活跃:CAFA6 于 2025-10-16 在 Kaggle 开赛;截至 2026-11-16 官方结果未公布
wet lab 更新 累积:每 2–3 年一届;新真值是数据库积累的实验 GO 注释,非新实验,只能通过参加下一届获得
需自补 wet lab 不需要
报告模型数 0 个计入;另 1 条不计入(未证实 1)
当前排名 — 无排名(见当前排名)
全站实体页 无(全站 /entities/ 体系中没有该 benchmark 的页面。)
截至 2026-11-16

协议拆分与读法

同一个 benchmark 名下常有多场规则不同的考试。下表把它拆成 2 条协议,逐条写明谁判对错、在用的模型和这个分数能回答什么。分类口径见怎么给 benchmark 分类。

协议 谁判对错 隔离 在用模型(已核实) 五维要点 能回答 不能回答
17a CAFA 当届盲测 先交卷后公布答案 — StarFunc(自) 真值在提交之后才积累,时间隔离成立;但对已有部分注释的蛋白分数低得多,离天花板仍远。 能回答:在一批刚获得实验注释的蛋白上,谁的功能预测更接近后来积累的实验证据。 不能回答:为已有部分注释的蛋白补全剩余功能时够不够用——那一档分数低得多且不可比。
17b CAFA 历届回放 已有参考答案 — 暂无已核实的模型 题面、权重与答案全部公开可反复调参,新模型的训练语料已包含当年的答案,时间隔离没有机制保障。 能回答:在固定的历史题面上复现结果、比较实现细节、做方法消融。 不能回答:今天训练的模型在当年能不能做到这个分——训练数据已包含当年的答案。

在用模型括号内:榜 = 主办方榜单,自 = 开发方自报,三 = 第三方评测;只列已核实的配对。五维 = 真值可靠性、基线状况、指标效度、饱和度、泄漏风险;"未评估"表示该协议尚未完成五维评审。

测什么、怎么测

  • 任务:时间延迟的蛋白功能预测:给定序列预测 GO 术语,按提交后新增的实验注释评分
  • 真值:t0 至 t1 之间新入 UniProt/GOA 的实验证据 GO 注释,沿 GO 层级传播
  • 主指标:Fmax
  • 次指标:Smin(IA 加权);IA 加权 F-measure(CAFA5/6 Kaggle)
  • 版本陷阱:CAFA1–4 为学术提交加独立评估,CAFA5/6 为 Kaggle 竞赛,指标与榜单不同,分数不可跨届比较;须区分 no-knowledge 与 limited-knowledge

当前排名

状态:— 无排名

  • 指标:IA 加权 F-measure(CAFA-evaluator,Kaggle)
  • 评测集 / 口径:CAFA6 (Kaggle, launched 2025-10-16)
  • 快照日期:
  • 榜单页面

说明:CAFA6 最终榜单与获胜者无法获取;本站模型均未报 CAFA(SciReasoner 配对未证实);CAFA5 分数不可比

模型 名次 数值 指标 评测集 / 口径 来源类型 日期 出处 说明
(individual Kaggle participant; interim)(非本站模型) 1 不显示†(未核实) IA 加权 F-measure(CAFA-evaluator,Kaggle) CAFA6 (Kaggle, launched 2025-10-16) 榜单 出处 非本站模型;剩余 57 天时经第三方聚合站抓取的临时公开榜快照,非最终;参赛者名省略

排名数据读取于 2026-11-16。分数原样照录,不换算、不跨 benchmark 比较。

报告过的模型

按关系类型分组;计数口径见配对矩阵。0 个计入;另 1 条不计入(未证实 1)。

未证实(1,不计数)

  • SciReasoner:基因本体预测的主测试集是一个第三方整理的集合,不是该赛事的官方盲测;赛事名称只出现在一处图注且无独立分数,若保留应按改动协议计(自报,置信度中;出处)

局限与注意

  1. 未注释的术语被当作负例(开放世界问题);CAFA5/6 改为 Kaggle 竞赛,分数不能跨届比较;允许文本挖掘类参赛
  2. Fmax 偏向浅层高频术语,排名随指标变化大
  3. CAFA5 头部队伍用文本挖掘把新论文当特征,时间上合法,但改变了任务含义
  4. CAFA2 到 CAFA3 头部改进小于前一届,CCO 无进步,瓶颈在标注而非模型
  5. CAFA3 有前瞻实验验证,但实验命中率与 Fmax 的对应关系未量化

新模型怎么用

只能参加下一届,或自建'旧快照训练、新快照评估'的时间切分,用 CAFA-evaluator 计算 Fmax 与 Smin,与 Naive、BLAST 基线同表,分别报告 no-knowledge 与 limited-knowledge 及 IA 加权版本。无需自补湿实验,但分数只反映已文献化的功能。

搭配:CASP · CAGI · ProteinGym

来源

  1. CAFA6 Kaggle 赛页(官方网站)
  2. CAFA6 组织方邮件列表公告(官方网站)
  3. CAFA 官网(官方网站)
  4. CAFA1 结果论文(Nature Methods 2013)(期刊)
  5. CAFA2 论文(PubMed)(期刊)
  6. CAFA3 论文(Genome Biology 2019)(期刊)
  7. 组织方论文存档(含 CAFA1 日期)(存档)
  8. ProtBoost(CAFA5 参赛队论文)(第三方论文)
  9. CAFA6 临时榜聚合页(二手)(二手)

更正记录

以下为本轮核对中改过的字段,原值按记录照录。

字段 原 现 原因 出处 发现日期
first_release 2010-09 (challenge began 2010-09-15; registration 2010-07-15) 2010-09 组织方存档论文(第 9 页)支持目标发布日 2010-09-15;7 月是报名,不是开赛。 依据 2026-11-16
first_release_basis CAFA1 organized fall 2010 to spring 2012 per secondary summaries; month not found challenge_open: CAFA1 targets released 2010-09-15 (organisers' paper, p. 9). Registration opened 2010-07-15, stored separately and not used as first release. basis 写明实际采用的里程碑。 依据 2026-11-16
first_release 2010-fall 2010-09 (challenge began 2010-09-15; registration 2010-07-15) 旧值'2010 秋'不是规范日期;按组织方资料细化到月份。 依据 2026-11-16

本文为个人研究笔记,结论基于成文时可获得的公开信息;带〔估算〕〔推断〕或⚠️的数字未经独立核实。