模型与 Benchmark板块首页
怎么读
怎么给 benchmark 分类一个分数能信到哪一步:真值噪声、简单基线、泄漏与饱和协议索引:113 条协议按谁判对错分组方法与数据:分类口径、收录与停更标准、已知局限
模型与数据
模型索引:112 个模型按领域分组模型 × benchmark 配对矩阵训练数据从哪来:公开库、私有授权、自产 wet lab 与…benchmark 的规模、更新与 wet lab 数据
Benchmark:理解状态(表征与排序)
02 ProteinGym09 scIB11 ClinVar hold-out protocol13 CAGI16 GUE + Nucleotide Transform…17 CAFA21 DREAM5 / BEELINE / CausalB…26 FLIP / FLIP234 AbBiBench37 TraitGym38 BEND39 RNAGym45 DART-Eval49 NTv3 Benchmark67 VenusX
Benchmark:预测给定对象的结果
01 CASP03 MoleculeNet04 TDC05 PoseBusters06 CASF-201615 CAMEO22 CAPRI24 虚拟细胞挑战赛与扰动预测评测25 RNA-Puzzles27 Polaris / ASAP / OpenADMET30 PLINDER / PINDER / Runs N'…31 FoldBench33 PoseX35 FLAb / FLAb243 Ginkgo GDPa146 FEP 相对结合自由能基准47 PoseBench / DockGen51 OpenADMET 盲测系列52 Biogen ADME53 UNICORNE-BENCH54 OMol25 + FAIR Chemistry 榜单55 PDBbind-CleanSplit / LP-PD…57 CatPred-DB66 MassSpecGym
Benchmark:提出候选(生成与设计)
19 PMO20 CACHE28 Adaptyv competitions / Ben…36 AIntibody40 MotifBench50 蛋白 motif scaffolding 基准56 Protein Engineering Tourna…
Benchmark:多步分析与问答(agent)
14 PubMedQA18 LAB-Bench / LABBench223 BioASQ29 BixBench42 BioMysteryBench58 ChemBench59 LifeSciBench60 Terminal-Bench-Science61 BiomniBench / Biomni-Eval162 HeurekaBench63 scBench64 ScienceAgentBench65 SciReasoner / Biology-Inst…68 BioDesignBench
Benchmark:已停更
07 USPTO family08 Basenji/Enformer test set10 GuacaMol12 DUD-E / LIT-PCBA32 CrossDocked202041 BioML-bench44 FS-Mol
相邻领域
相邻领域:不在主分类内的评测
模型:结构/共折叠
AF2-Multimer:Google DeepMindAlphaFold 3BioEmu-2Boltz-1 / Boltz-1xBoltz-2:MIT、Recursion、Boltz P…Chai-1:Chai DiscoveryChai-2:Chai DiscoveryDiffDock:MIT CSAILESMFold2HelixFold-S1:BaiduIntelliFold-2:IntelliGen AIIsoDDE:Isomorphic LabsMassiveFoldNeuralPLexer3OpenComplex2OpenDDE:Aureka AI Research、Au…OpenFold3Pearl:Genesis Molecular AIProtenixRF3:University of Washington …RhoFold+ / DRfold2 / trRosett…RNAPro:NVIDIA、Stanford Univer…SeedFold:ByteDance SeedVina:Scripps Research
模型:小分子
ADMET-AIAQAffinity:SandboxAQBeacon:Inductive BioChemformer:AstraZenecaChemprop v2:MITEnchant v1 / v2ether0:FutureHouseKERMT:Merck & Co.、NVIDIAMiniMol:Valence LabsMolE:RecursionMoLFormer-XL:IBM ResearchNesso-1:Valence Labs、Recursio…ReaSyn v2:NVIDIA、KAISTREINVENT 4RetroDFM-RSaturn:EPFLTamGen:Microsoft Research AI …TerraBind:Terray TherapeuticsTxGemma:Google DeepMind、Googl…Uni-Mol2Uni-Mol3
模型:蛋白
AlphaProteoAMPLIFY:Mila、Polytechnique Mo…BindCraftBoltzGenChai-3:Chai DiscoveryClaude 蛋白设计研究DPLM-2:ByteDance Research、Nan…Dyno Psi-1 / Psi-PhiESM C:Evolutionary Scale、Chan…ESM3:Evolutionary Scale、Chan …EVOLVEproLa-Proteina:NVIDIALatent-X / X2:Latent LabsLucaOne:Alibaba Cloud、Sun Yat…Mosaic:Escalante BioPinal:Westlake UniversityPoET-2:OpenProtein.AIProfluent-E1:ProfluentProGen3:ProfluentProSST:Shanghai Jiao Tong Uni…Proteina-Complexa:NVIDIARFdiffusion2 / 3SaProt:Westlake University、We…SeedProteo:ByteDance SeedVenusREMxTrimoPGLM
模型:抗体
GerminalHCAbLM:Nona Biosciences、HBM H…IgGM / IgGM-FMJAM / JAM-2:Nabla BioOrigin-1:AbsciRFantibodytFold:Tencent AI for Life Sci…
模型:基因组/RNA
AlphaGenome:Google DeepMindAlphaMissense:Google DeepMindBioReasonBorzoi:Calico Life SciencesBulkFormerEvo 2:Arc Institute、NVIDIA、St…NTv3:InstaDeeppopEVE:Harvard Medical School…RIBOSPAN
模型:单细胞
AIDO Cell:GenBio AIC2S-ScaleCellFM:Sun Yat-sen University…Lingshu-CellscGPT / GeneformerscPRINT-2Stack:Arc InstituteSTATE:Arc InstituteTahoe-x1:Tahoe TherapeuticsTranscriptFormerX-Cell:Xaira TherapeuticsxTrimoSCPerturb / scFoundation
模型:分子生成
GenMol:NVIDIA
模型:文本与 agent
Biomni:Stanford University、Ph…Co-ScientistGPT-Rosalind:OpenAIIntern-SKosmos / Edison AnalysisMedGemma / Med-GeminiQuine:Microsoft ResearchRobin:FutureHouseSciReasonerTxAgent:Harvard Medical SchoolVERID:Google Research前沿通用大模型:Anthropic、OpenAI、Goog…

02 ProteinGym

整理 2026-11-18 · 来源与可靠度标注见正文
本文目录
  1. 概况
  2. 协议拆分与读法
  3. 测什么、怎么测
  4. 当前排名
  5. 报告过的模型
  6. 局限与注意
  7. 新模型怎么用
  8. 来源
  9. 更正记录

把两百余条公开深度突变扫描整理成统一套件,评测蛋白变异效应与适应度排序。静态且可刷分:平均 Spearman 掩盖 assay 异质性,低于自举标准误(约 0.01)的差距没有意义。

bench-02 · 模型在做什么:理解状态(表征与排序) · 谁判对错:已有参考答案 · 蛋白 · 核心 30 项 · 截至 2026-11-16

概况

字段 内容
名称 / 别名 ProteinGym;别名:ProteinGym v1、ProteinGym v1.3、PG_v1.3;有歧义、不自动链接:ProteinGym v0
家族 家族条目:ProteinGym v0 (inside the Tranception preprint) ;ProteinGym v1 (standalone benchmark, NeurIPS 2023 Datasets and Benchmarks) 。边界:v0 是 Tranception 预印本内的替换集;v1 起为独立基准,增加 indel 与临床子集。衍生的 ViroGym 与 R 客户端不计入。
模型在做什么 理解状态(表征与排序)
谁判对错 已有参考答案(5 条协议,逐条见下)
领域 蛋白
发布方 Harvard Medical School, Department of Systems Biology、University of Oxford, OATML group(学术实验室)
首次发布 †(未核实)(依据:家族最早成员:Tranception 预印本 arXiv v1 中的 ProteinGym v0;独立基准论文为 bioRxiv 2023-12-08。) 家族口径日期;独立基准首发为 2023-12-08
其他里程碑 最早公开证据 (Tranception 预印本中首次出现该基准名);预印本 v1 (独立基准 bioRxiv v1);代码发布 †(未核实)(仓库发布页标记的 PG_v1.3 数据版本(年份取自站内既有注记,页面只显示月日))
最近更新 †(未核实),数据发布:仓库提交补回缺失的基准文件;此前一次提交新增临床监督评测脚本,两者均未打新版本标签。此为最近一次有出处的事件,不代表此后没有更新
下一次预期 无公告(维护方未公告 v1.4 或新一代基准。)
规模 v1.3:替换 217 条 assay、indel 74 条,临床子集 2,525 个蛋白。 明细:替换型 DMS assay(v1.3) 217;替换型突变数(v1.3) 约 270 万;indel assay(v1.3) 74;indel 突变体数(v1.3) 约 30 万;临床子集蛋白数(数据卡另写 2,575)(v1.3) 2525;官方汇总表模型行数(含同一模型不同尺寸)(2026-11-16) 97
状态 ◐ 低频:活跃但低频,最近数据版本为 v1.3(2025 年)
wet lab 更新 累积:不做新实验;已发表 DMS 不定期并入,近期版本主要新增基线。
需自补 wet lab 断言真实泛化时需要
报告模型数 10 个计入(榜 7 · 自报 2 · 赛后复用 1)
当前排名 ▣ 榜单(见当前排名)
全站实体页 无(全站 /entities/ 体系中没有该 benchmark 的页面。)
截至 2026-11-16

协议拆分与读法

同一个 benchmark 名下常有多场规则不同的考试。下表把它拆成 5 条协议,逐条写明谁判对错、在用的模型和这个分数能回答什么。分类口径见怎么给 benchmark 分类。

协议 谁判对错 隔离 在用模型(已核实) 五维要点 能回答 不能回答
02a ProteinGym 监督微调·随机划分 已有参考答案 — 暂无已核实的模型 头部分差落在统计误差内;随机划分让同一位点的其它替换进入训练集,位点无关的 one-hot 基线已几乎追平。 能回答:同一蛋白已测过不少变体时,谁更能补全图谱其余的格子。 不能回答:训练中没见过的位点上谁更准——这条划分下 one-hot 基线也能到 0.582。
02b ProteinGym 监督微调·连续片段/模数划分 已有参考答案 — 暂无已核实的模型 按位点留出后 one-hot 基线几乎失效,深度模型显著领先,优势主要来自多序列比对与结构先验而非监督信号。 能回答:把已测位点的数据外推到同一蛋白未测位点时,哪些方法还剩预测力。 不能回答:换一个蛋白或另一种表型时谁更强——划分只在单条序列内部切位点。
02c ProteinGym 零样本·替换型突变扫描(217 个数据集) 已有参考答案 待核(零样本不等于没有预训练暴露) ESM C(榜)、ESM3(榜/自)、PoET-2(自)、Profluent-E1(自)、ProSST(榜)、SaProt(榜)、VenusREM(榜/自)、xTrimoPGLM(榜)、前沿 LLM(三) 头部约 0.518 且近两年未再抬升,领先来自比对与结构检索增强;纯单序列模型与经典比对基线统计上难分。 能回答:不做任何微调时,模型对单点替换的效应排序与实验测量的一致性。 不能回答:这对应多少湿实验命中率;也不能把单序列模型与检索增强模型放在一张表上横比。
02d ProteinGym 零样本·插入缺失与高阶突变 已有参考答案 待核 PoET-2(自) 头部比对齐基线高约 0.13,但与第二名的差距仅略大于统计误差,且榜首自 2023 年未被刷新。 能回答:能给插入缺失与高阶突变打分的那一小部分模型,排序能力与对齐基线相比如何。 不能回答:主流替换型模型在这类变异上的水平——多数无法打分,可比集合偏小。
02e ProteinGym 临床变异子集 已有参考答案 待核 PoET-2(自) 头部 AUC 0.920 且前四名差距小于统计误差,无训练参数的比对方法已追平;标签来源与模型训练存在循环。 能回答:对已收录的致病/良性标注变异,各模型的区分度比老工具高出多少。 不能回答:新发现的变异能否被临床采信——协议无时间留出,标签与训练语料重叠。

在用模型括号内:榜 = 主办方榜单,自 = 开发方自报,三 = 第三方评测;只列已核实的配对。五维 = 真值可靠性、基线状况、指标效度、饱和度、泄漏风险;"未评估"表示该协议尚未完成五维评审。

测什么、怎么测

  • 任务:在公开深度突变扫描上做零样本与监督的蛋白适应度、变异效应排序,另设临床子集。
  • 真值:已发表的 DMS 实验读数(生长、表达、结合、催化、热稳定等),临床子集用专家标注。
  • 主指标:零样本平均 Spearman
  • 次指标:NDCG、AUC、MCC、Top-K recall;监督 Spearman 与 MSE;临床子集 AUC
  • 版本陷阱:须写明数据版本与赛道(零样本/监督/临床);不同版本 assay 数与基线不同,分数不可跨版本比。

当前排名

状态:▣ 榜单

  • 指标:平均 Spearman(零样本,替换型 DMS)
  • 评测集 / 口径:ProteinGym v1.3, 217 substitution DMS assays, zero-shot
  • 快照日期:(旧:早于截至日 12 个月以上)
  • 榜单页面

当前第一:AIDO Protein-RAG (16B),0.518 (SE 0.0)(平均 Spearman(零样本,替换型 DMS);ProteinGym v1.3, 217 substitution DMS assays, zero-shot;榜单;;旧)

本站最佳:VenusREM(第 2 名)

说明:汇总表共 97 行;差距小于约 0.01 落在自举标准误内。部分模型只有作者自报或二手数值,不在官方表上。

模型 名次 数值 指标 评测集 / 口径 来源类型 日期 出处 说明
AIDO Protein-RAG (16B)(非本站模型) 1 0.518 (SE 0.0) 平均 Spearman(零样本,替换型 DMS) ProteinGym v1.3, 217 substitution DMS assays, zero-shot 榜单 出处 非本站模型;并列第一;汇总表最近变更 2025-06-13,读取于 2026-11-16
VenusREM 2 0.518 (SE 0.005) 平均 Spearman(零样本,替换型 DMS) ProteinGym v1.3, 217 substitution DMS assays, zero-shot 榜单 出处 与第 1 名分数并列,差距在自举标准误内
ProSST (K=2048) 3 0.507 (SE 0.006) 平均 Spearman(零样本,替换型 DMS) ProteinGym v1.3, 217 substitution DMS assays, zero-shot 榜单 出处 该模型的其他 K 值版本分列第 4、7、10、13、28
ESM3 open (1.4B) 14 0.466 (SE 0.006) 平均 Spearman(零样本,替换型 DMS) ProteinGym v1.3, 217 substitution DMS assays, zero-shot 榜单 出处 —
SaProt (650M) 17 0.457 (SE 0.007) 平均 Spearman(零样本,替换型 DMS) ProteinGym v1.3, 217 substitution DMS assays, zero-shot 榜单 出处 同一模型的 35M 版本列第 48
ESM-C (300M) 49 0.406 (SE 0.013) 平均 Spearman(零样本,替换型 DMS) ProteinGym v1.3, 217 substitution DMS assays, zero-shot 榜单 出处 同一模型的 600M 版本列第 51
xTrimoPGLM-3B-MLM 54 0.399 (SE 0.012) 平均 Spearman(零样本,替换型 DMS) ProteinGym v1.3, 217 substitution DMS assays, zero-shot 榜单 出处 该模型表现最好的版本;100B-int4 列第 74
Progen3 3B 59 0.392 (SE 0.008) 平均 Spearman(零样本,替换型 DMS) ProteinGym v1.3, 217 substitution DMS assays, zero-shot 榜单 出处 同一模型的 1B 版本列第 61

排名数据读取于 2026-11-16。分数原样照录,不换算、不跨 benchmark 比较。

报告过的模型

按关系类型分组;计数口径见配对矩阵。10 个计入(榜 7 · 自报 2 · 赛后复用 1)。

官方参赛 / 官方榜单(7)

  • ESM C:300M 与 600M 两个条目均由维护者运行;更新版权重未见单独条目(榜单,置信度高;出处)
  • ESM3:条目由 benchmark 维护者运行,对应开放小模型,不代表更大的 API 版本(榜单,置信度高;出处)
  • ProGen3:零样本替换 DMS 官方汇总表收录多个尺寸档;最大一档未收录(榜单,置信度高;出处)
  • ProSST:官方汇总表直接收录多个配置;它在「单序列加结构」一类里居前,但不是总榜第一(榜单,置信度高;出处)
  • SaProt:官方榜条目;仓库记 2024-04 曾居首位,现已不在头部,位次随版本变动(榜单,置信度高;出处)
  • VenusREM:官方汇总表直接收录;与另一检索增强模型同处头部一档,论文的 SOTA 表述属自报(榜单,置信度高;出处)
  • xTrimoPGLM:多个规格被收入 ProteinGym 零样本替换官方汇总表;100B 规格不优于自家较小规格,CLM 分支明显更低(榜单,置信度高;出处)

开发方按官方口径自报(2)

  • PoET-2:作者按官方协议在论文表格中自报,未在官方榜单上单独确认(自报)(自报,置信度高;出处)
  • Profluent-E1:替换突变 assay 的零样本打分,仓库只给曲线图,不给逐模型数值,官方汇总表上也无条目(自报,置信度中;出处)

赛后数据复用(1)

  • 前沿通用大模型:仅二手聚合的分数,家族条目而非单模型;依据仅为本站页面,未核实(第三方,置信度低,未核实†;—)

提及但不构成配对

  • EVOLVEpro:仅把其中 12 条 DMS 数据作为数据来源使用,显式记为非配对以免日后误加。(出处)

局限与注意

  1. 静态且可刷分:平均 Spearman 掩盖 assay 异质性,低于自举标准误(约 0.01)的差距没有意义。
  2. 分数与湿实验命中率之间没有直接证据;榜上名次不代表设计或选模能力。
  3. 数据公开后可被针对性调参,且无时间冻结;临床子集与以同一临床库训练的预测器存在循环风险。
  4. 指标之间互相矛盾:Spearman 与 NDCG 在各 assay 类别选出的最优模型不同。
  5. 覆盖面偏倚:病毒蛋白与含无序区的蛋白上多数方法系统性掉点。

新模型怎么用

下载参考文件,对每条 assay 的突变出分并用官方脚本计分,经仓库 PR 提交;无需自补湿实验。报告须写明数据版本、赛道、是否用 MSA 或结构输入,并同报自举标准误与 NDCG,按 assay 类型与分类群分列。要支持设计命中率结论,需自做前瞻 assay。

搭配:ClinVar hold-out protocol · CAGI · FLIP / FLIP2 · RNAGym · TraitGym

来源

  1. 官方基准站(官方网站)
  2. 独立基准论文 bioRxiv(NeurIPS 2023 Datasets and Benchmarks)(预印本)
  3. Tranception 预印本,首次出现 v0 替换集(预印本)
  4. 官方工具包(PyPI)(包仓库)
  5. 结构输入影响的第三方分析(第三方论文)

更正记录

以下为本轮核对中改过的字段,原值按记录照录。

字段 原 现 原因 出处 发现日期
latest_update 2026-01-12 2026-03-25 仓库最新提交为补回缺失基准文件,晚于此前记录的临床脚本提交。 依据 2026-11-16
first_release start year 2023 2022-05-27 at family level (v0 in the Tranception preprint), with the standalone benchmark at 2023-12-08 and the family boundary stated 日期审计:家族条目须区分预印本内的 v0 与独立基准,仓库创建日不得作首发。 依据 2026-11-16
n_models_reported 9 10 under the new relation taxonomy, counting established relations only 本轮重算报告模型数口径,与新的关系类型一致。 依据 2026-11-16

本文为个人研究笔记,结论基于成文时可获得的公开信息;带〔估算〕〔推断〕或⚠️的数字未经独立核实。