02 ProteinGym
把两百余条公开深度突变扫描整理成统一套件,评测蛋白变异效应与适应度排序。静态且可刷分:平均 Spearman 掩盖 assay 异质性,低于自举标准误(约 0.01)的差距没有意义。
bench-02 · 模型在做什么:理解状态(表征与排序) · 谁判对错:已有参考答案 · 蛋白 · 核心 30 项 · 截至 2026-11-16
概况
| 字段 | 内容 |
|---|---|
| 名称 / 别名 | ProteinGym;别名:ProteinGym v1、ProteinGym v1.3、PG_v1.3;有歧义、不自动链接:ProteinGym v0 |
| 家族 | 家族条目:ProteinGym v0 (inside the Tranception preprint) ;ProteinGym v1 (standalone benchmark, NeurIPS 2023 Datasets and Benchmarks) 。边界:v0 是 Tranception 预印本内的替换集;v1 起为独立基准,增加 indel 与临床子集。衍生的 ViroGym 与 R 客户端不计入。 |
| 模型在做什么 | 理解状态(表征与排序) |
| 谁判对错 | 已有参考答案(5 条协议,逐条见下) |
| 领域 | 蛋白 |
| 发布方 | Harvard Medical School, Department of Systems Biology、University of Oxford, OATML group(学术实验室) |
| 首次发布 | †(未核实)(依据:家族最早成员:Tranception 预印本 arXiv v1 中的 ProteinGym v0;独立基准论文为 bioRxiv 2023-12-08。) 家族口径日期;独立基准首发为 2023-12-08 |
| 其他里程碑 | 最早公开证据 (Tranception 预印本中首次出现该基准名);预印本 v1 (独立基准 bioRxiv v1);代码发布 †(未核实)(仓库发布页标记的 PG_v1.3 数据版本(年份取自站内既有注记,页面只显示月日)) |
| 最近更新 | †(未核实),数据发布:仓库提交补回缺失的基准文件;此前一次提交新增临床监督评测脚本,两者均未打新版本标签。此为最近一次有出处的事件,不代表此后没有更新 |
| 下一次预期 | 无公告(维护方未公告 v1.4 或新一代基准。) |
| 规模 | v1.3:替换 217 条 assay、indel 74 条,临床子集 2,525 个蛋白。 明细:替换型 DMS assay(v1.3) 217;替换型突变数(v1.3) 约 270 万;indel assay(v1.3) 74;indel 突变体数(v1.3) 约 30 万;临床子集蛋白数(数据卡另写 2,575)(v1.3) 2525;官方汇总表模型行数(含同一模型不同尺寸)(2026-11-16) 97 |
| 状态 | ◐ 低频:活跃但低频,最近数据版本为 v1.3(2025 年) |
| wet lab 更新 | 累积:不做新实验;已发表 DMS 不定期并入,近期版本主要新增基线。 |
| 需自补 wet lab | 断言真实泛化时需要 |
| 报告模型数 | 10 个计入(榜 7 · 自报 2 · 赛后复用 1) |
| 当前排名 | ▣ 榜单(见当前排名) |
| 全站实体页 | 无(全站 /entities/ 体系中没有该 benchmark 的页面。) |
| 截至 | 2026-11-16 |
协议拆分与读法
同一个 benchmark 名下常有多场规则不同的考试。下表把它拆成 5 条协议,逐条写明谁判对错、在用的模型和这个分数能回答什么。分类口径见怎么给 benchmark 分类。
| 协议 | 谁判对错 | 隔离 | 在用模型(已核实) | 五维要点 | 能回答 | 不能回答 |
|---|---|---|---|---|---|---|
| 02a ProteinGym 监督微调·随机划分 | 已有参考答案 | — | 暂无已核实的模型 | 头部分差落在统计误差内;随机划分让同一位点的其它替换进入训练集,位点无关的 one-hot 基线已几乎追平。 | 能回答:同一蛋白已测过不少变体时,谁更能补全图谱其余的格子。 | 不能回答:训练中没见过的位点上谁更准——这条划分下 one-hot 基线也能到 0.582。 |
| 02b ProteinGym 监督微调·连续片段/模数划分 | 已有参考答案 | — | 暂无已核实的模型 | 按位点留出后 one-hot 基线几乎失效,深度模型显著领先,优势主要来自多序列比对与结构先验而非监督信号。 | 能回答:把已测位点的数据外推到同一蛋白未测位点时,哪些方法还剩预测力。 | 不能回答:换一个蛋白或另一种表型时谁更强——划分只在单条序列内部切位点。 |
| 02c ProteinGym 零样本·替换型突变扫描(217 个数据集) | 已有参考答案 | 待核(零样本不等于没有预训练暴露) | ESM C(榜)、ESM3(榜/自)、PoET-2(自)、Profluent-E1(自)、ProSST(榜)、SaProt(榜)、VenusREM(榜/自)、xTrimoPGLM(榜)、前沿 LLM(三) | 头部约 0.518 且近两年未再抬升,领先来自比对与结构检索增强;纯单序列模型与经典比对基线统计上难分。 | 能回答:不做任何微调时,模型对单点替换的效应排序与实验测量的一致性。 | 不能回答:这对应多少湿实验命中率;也不能把单序列模型与检索增强模型放在一张表上横比。 |
| 02d ProteinGym 零样本·插入缺失与高阶突变 | 已有参考答案 | 待核 | PoET-2(自) | 头部比对齐基线高约 0.13,但与第二名的差距仅略大于统计误差,且榜首自 2023 年未被刷新。 | 能回答:能给插入缺失与高阶突变打分的那一小部分模型,排序能力与对齐基线相比如何。 | 不能回答:主流替换型模型在这类变异上的水平——多数无法打分,可比集合偏小。 |
| 02e ProteinGym 临床变异子集 | 已有参考答案 | 待核 | PoET-2(自) | 头部 AUC 0.920 且前四名差距小于统计误差,无训练参数的比对方法已追平;标签来源与模型训练存在循环。 | 能回答:对已收录的致病/良性标注变异,各模型的区分度比老工具高出多少。 | 不能回答:新发现的变异能否被临床采信——协议无时间留出,标签与训练语料重叠。 |
在用模型括号内:榜 = 主办方榜单,自 = 开发方自报,三 = 第三方评测;只列已核实的配对。五维 = 真值可靠性、基线状况、指标效度、饱和度、泄漏风险;"未评估"表示该协议尚未完成五维评审。
测什么、怎么测
- 任务:在公开深度突变扫描上做零样本与监督的蛋白适应度、变异效应排序,另设临床子集。
- 真值:已发表的 DMS 实验读数(生长、表达、结合、催化、热稳定等),临床子集用专家标注。
- 主指标:零样本平均 Spearman
- 次指标:NDCG、AUC、MCC、Top-K recall;监督 Spearman 与 MSE;临床子集 AUC
- 版本陷阱:须写明数据版本与赛道(零样本/监督/临床);不同版本 assay 数与基线不同,分数不可跨版本比。
当前排名
状态:▣ 榜单
- 指标:平均 Spearman(零样本,替换型 DMS)
- 评测集 / 口径:ProteinGym v1.3, 217 substitution DMS assays, zero-shot
- 快照日期:(旧:早于截至日 12 个月以上)
- 榜单页面
当前第一:AIDO Protein-RAG (16B),0.518 (SE 0.0)(平均 Spearman(零样本,替换型 DMS);ProteinGym v1.3, 217 substitution DMS assays, zero-shot;榜单;;旧)
本站最佳:VenusREM(第 2 名)
说明:汇总表共 97 行;差距小于约 0.01 落在自举标准误内。部分模型只有作者自报或二手数值,不在官方表上。
| 模型 | 名次 | 数值 | 指标 | 评测集 / 口径 | 来源类型 | 日期 | 出处 | 说明 |
|---|---|---|---|---|---|---|---|---|
| AIDO Protein-RAG (16B)(非本站模型) | 1 | 0.518 (SE 0.0) | 平均 Spearman(零样本,替换型 DMS) | ProteinGym v1.3, 217 substitution DMS assays, zero-shot | 榜单 | 出处 | 非本站模型;并列第一;汇总表最近变更 2025-06-13,读取于 2026-11-16 | |
| VenusREM | 2 | 0.518 (SE 0.005) | 平均 Spearman(零样本,替换型 DMS) | ProteinGym v1.3, 217 substitution DMS assays, zero-shot | 榜单 | 出处 | 与第 1 名分数并列,差距在自举标准误内 | |
| ProSST (K=2048) | 3 | 0.507 (SE 0.006) | 平均 Spearman(零样本,替换型 DMS) | ProteinGym v1.3, 217 substitution DMS assays, zero-shot | 榜单 | 出处 | 该模型的其他 K 值版本分列第 4、7、10、13、28 | |
| ESM3 open (1.4B) | 14 | 0.466 (SE 0.006) | 平均 Spearman(零样本,替换型 DMS) | ProteinGym v1.3, 217 substitution DMS assays, zero-shot | 榜单 | 出处 | — | |
| SaProt (650M) | 17 | 0.457 (SE 0.007) | 平均 Spearman(零样本,替换型 DMS) | ProteinGym v1.3, 217 substitution DMS assays, zero-shot | 榜单 | 出处 | 同一模型的 35M 版本列第 48 | |
| ESM-C (300M) | 49 | 0.406 (SE 0.013) | 平均 Spearman(零样本,替换型 DMS) | ProteinGym v1.3, 217 substitution DMS assays, zero-shot | 榜单 | 出处 | 同一模型的 600M 版本列第 51 | |
| xTrimoPGLM-3B-MLM | 54 | 0.399 (SE 0.012) | 平均 Spearman(零样本,替换型 DMS) | ProteinGym v1.3, 217 substitution DMS assays, zero-shot | 榜单 | 出处 | 该模型表现最好的版本;100B-int4 列第 74 | |
| Progen3 3B | 59 | 0.392 (SE 0.008) | 平均 Spearman(零样本,替换型 DMS) | ProteinGym v1.3, 217 substitution DMS assays, zero-shot | 榜单 | 出处 | 同一模型的 1B 版本列第 61 |
排名数据读取于 2026-11-16。分数原样照录,不换算、不跨 benchmark 比较。
报告过的模型
按关系类型分组;计数口径见配对矩阵。10 个计入(榜 7 · 自报 2 · 赛后复用 1)。
官方参赛 / 官方榜单(7)
- ESM C:300M 与 600M 两个条目均由维护者运行;更新版权重未见单独条目(榜单,置信度高;出处)
- ESM3:条目由 benchmark 维护者运行,对应开放小模型,不代表更大的 API 版本(榜单,置信度高;出处)
- ProGen3:零样本替换 DMS 官方汇总表收录多个尺寸档;最大一档未收录(榜单,置信度高;出处)
- ProSST:官方汇总表直接收录多个配置;它在「单序列加结构」一类里居前,但不是总榜第一(榜单,置信度高;出处)
- SaProt:官方榜条目;仓库记 2024-04 曾居首位,现已不在头部,位次随版本变动(榜单,置信度高;出处)
- VenusREM:官方汇总表直接收录;与另一检索增强模型同处头部一档,论文的 SOTA 表述属自报(榜单,置信度高;出处)
- xTrimoPGLM:多个规格被收入 ProteinGym 零样本替换官方汇总表;100B 规格不优于自家较小规格,CLM 分支明显更低(榜单,置信度高;出处)
开发方按官方口径自报(2)
- PoET-2:作者按官方协议在论文表格中自报,未在官方榜单上单独确认(自报)(自报,置信度高;出处)
- Profluent-E1:替换突变 assay 的零样本打分,仓库只给曲线图,不给逐模型数值,官方汇总表上也无条目(自报,置信度中;出处)
赛后数据复用(1)
- 前沿通用大模型:仅二手聚合的分数,家族条目而非单模型;依据仅为本站页面,未核实(第三方,置信度低,未核实†;—)
提及但不构成配对
局限与注意
- 静态且可刷分:平均 Spearman 掩盖 assay 异质性,低于自举标准误(约 0.01)的差距没有意义。
- 分数与湿实验命中率之间没有直接证据;榜上名次不代表设计或选模能力。
- 数据公开后可被针对性调参,且无时间冻结;临床子集与以同一临床库训练的预测器存在循环风险。
- 指标之间互相矛盾:Spearman 与 NDCG 在各 assay 类别选出的最优模型不同。
- 覆盖面偏倚:病毒蛋白与含无序区的蛋白上多数方法系统性掉点。
新模型怎么用
下载参考文件,对每条 assay 的突变出分并用官方脚本计分,经仓库 PR 提交;无需自补湿实验。报告须写明数据版本、赛道、是否用 MSA 或结构输入,并同报自举标准误与 NDCG,按 assay 类型与分类群分列。要支持设计命中率结论,需自做前瞻 assay。
搭配:ClinVar hold-out protocol · CAGI · FLIP / FLIP2 · RNAGym · TraitGym
来源
- 官方基准站(官方网站)
- 独立基准论文 bioRxiv(NeurIPS 2023 Datasets and Benchmarks)(预印本)
- Tranception 预印本,首次出现 v0 替换集(预印本)
- 官方工具包(PyPI)(包仓库)
- 结构输入影响的第三方分析(第三方论文)
更正记录
以下为本轮核对中改过的字段,原值按记录照录。
| 字段 | 原 | 现 | 原因 | 出处 | 发现日期 |
|---|---|---|---|---|---|
| latest_update | 2026-01-12 | 2026-03-25 | 仓库最新提交为补回缺失基准文件,晚于此前记录的临床脚本提交。 | 依据 | 2026-11-16 |
| first_release | start year 2023 | 2022-05-27 at family level (v0 in the Tranception preprint), with the standalone benchmark at 2023-12-08 and the family boundary stated | 日期审计:家族条目须区分预印本内的 v0 与独立基准,仓库创建日不得作首发。 | 依据 | 2026-11-16 |
| n_models_reported | 9 | 10 under the new relation taxonomy, counting established relations only | 本轮重算报告模型数口径,与新的关系类型一致。 | 依据 | 2026-11-16 |
本文为个人研究笔记,结论基于成文时可获得的公开信息;带〔估算〕〔推断〕或⚠️的数字未经独立核实。