66 MassSpecGym
从串联质谱反推分子结构:生成、检索、谱模拟三项挑战。生成挑战的 Top-1 准确率仍在 1% 到 2% 量级,离可用还很远。
bench-66 · 模型在做什么:预测给定对象的结果 · 谁判对错:已有参考答案 · 小分子 · 2026-11 新收录 · 截至 2026-11-18
概况
| 字段 | 内容 |
|---|---|
| 名称 / 别名 | MassSpecGym;全称:质谱分子发现与鉴定基准;别名:MassSpecGym v1.5 |
| 家族 | 否(v1 与 v1.5 是同一套数据的版本,不是家族成员。) |
| 模型在做什么 | 预测给定对象的结果 |
| 谁判对错 | 已有参考答案(1 条协议,逐条见下) |
| 领域 | 小分子(次领域:分子生成) |
| 发布方 | Institute of Organic Chemistry and Biochemistry of the Czech Academy of Sciences、Czech Technical University, CIIRC、Wageningen University and Research、University of Toronto、Aalto University、Eawag(学术实验室) |
| 首次发布 | (依据:官方软件包首个公开版本上传(论文预印本两天后)) |
| 其他里程碑 | 预印本 v1 (arXiv 2410.23326 v1);代码发布 (软件包首个公开版本 1.0.0) |
| 最近更新 | ,数据发布:数据仓库新增一份已对验证与测试集做过滤的预训练分子清单;2026 年 5 月另发过统一化学式写法的 v1.5。此为最近一次有出处的事件,不代表此后没有更新 |
| 下一次预期 | 无公告(组织方未公告新一轮或新数据版本的日期。) |
| 规模 | 23.1 万张高质量串联质谱、2.9 万个唯一分子;检索候选集每条谱最多 256 个分子。 明细:串联质谱张数(v1) 231,000;唯一分子数(v1) 29,000;检索挑战每条谱的候选分子上限(v1) 256;挑战数(各含一个给定化学式的加分版本)(v1) 3 |
| 状态 | ● 活跃:数据与结果表持续更新;在线榜单页面已停服 |
| wet lab 更新 | 静态:谱图来自公开谱库与一批自采数据,发布后不再新增轮次。 |
| 需自补 wet lab | 不需要 |
| 报告模型数 | 0 个计入 |
| 当前排名 | ▣ 榜单(见当前排名) |
| 全站实体页 | 无(全站 /entities/ 体系中没有该 benchmark 的页面。) |
| 截至 | 2026-11-18 |
协议拆分与读法
同一个 benchmark 名下常有多场规则不同的考试。下表把它拆成 1 条协议,逐条写明谁判对错、在用的模型和这个分数能回答什么。分类口径见怎么给 benchmark 分类。
| 协议 | 谁判对错 | 隔离 | 在用模型(已核实) | 五维要点 | 能回答 | 不能回答 |
|---|---|---|---|---|---|---|
| 66a MassSpecGym | 已有参考答案 | — | DiffMS(榜)、MADGEN(榜)、MIST(榜) | 划分严格切断了相似分子;检索式注释明显优于从头生成,而标准从头赛道所有方法的首选命中率几乎为零。 | 在结构相似度被严格切断的划分下,从碎片谱直接推结构离可用有多远,检索比从头生成高多少。 | 哪种方法在真实代谢组学流程里更有用——标准从头赛道准确率几乎全为零。 |
在用模型括号内:榜 = 主办方榜单,自 = 开发方自报,三 = 第三方评测;只列已核实的配对。五维 = 真值可靠性、基线状况、指标效度、饱和度、泄漏风险;"未评估"表示该协议尚未完成五维评审。
测什么、怎么测
- 任务:由一张串联质谱生成结构、从候选集中检索正确结构,或由结构反推谱图。
- 真值:已知结构的实验谱图,按分子编辑距离聚类后分折。
- 主指标:Top-1 准确率与命中率
- 次指标:分子编辑距离与指纹相似度;谱模拟的余弦相似度
- 版本陷阱:标准挑战与给定化学式的加分版本数字差一截,引用须注明是哪一种;v1.5 改了结构字符串写法,与 v1 的数字不宜混排。
当前排名
状态:▣ 榜单
- 指标:检索挑战标准候选集上的 Top-1 命中率
- 评测集 / 口径:MassSpecGym v1 retrieval challenge, standard candidate set
- 快照日期:
- 榜单页面
当前第一:JESTR,15.13 %(Top-1 命中率;MassSpecGym v1 retrieval, standard candidate set;榜单;)
说明:结果表由组织方收录各论文自报数值并经提交合并,不复跑推理;在线榜单页面已停服。
| 模型 | 名次 | 数值 | 指标 | 评测集 / 口径 | 来源类型 | 日期 | 出处 | 说明 |
|---|---|---|---|---|---|---|---|---|
| JESTR(非本站模型) | 1 | 15.13 % | Top-1 命中率 | MassSpecGym v1 retrieval, standard candidate set | 榜单 | 出处 | 非本站模型;组织方结果表收录的论文数值,无置信区间 | |
| MIST(非本站模型) | 2 | 14.64 % | Top-1 命中率 | MassSpecGym v1 retrieval, standard candidate set | 榜单 | 出处 | 非本站模型;原基准论文的基线,95% 区间 13.82-15.54 | |
| ESP(非本站模型) | 3 | 10.71 % | Top-1 命中率 | MassSpecGym v1 retrieval, standard candidate set | 榜单 | 出处 | 非本站模型;与第一名同篇论文报出 | |
| DiffMS(非本站模型) | — | 0.0230 | Top-1 准确率(给定化学式的加分版本) | MassSpecGym v1 de novo generation, bonus formula variant | 榜单 | 出处 | 非本站模型;生成挑战最好成绩也只到 2% 量级 |
排名数据读取于 2026-11-18。分数原样照录,不换算、不跨 benchmark 比较。
报告过的模型
按关系类型分组;计数口径见配对矩阵。0 个计入。
暂无模型与本 benchmark 构成配对。
局限与注意
- 生成挑战的 Top-1 准确率仍在 1% 到 2% 量级,离可用还很远。
- 结果表收录的是各论文自报数值,未由组织方复跑,部分条目没有置信区间。
- 在线榜单页面已停服,当前唯一可查的结果表在官方仓库里。
- 按分子编辑距离分折刻意加大泛化难度,分数不能直接读作日常鉴定的准确率。
- 谱图来自多个谱库与仪器,采集条件不统一,难度随加合物与碰撞能变化。
新模型怎么用
从公开数据仓库取谱图与官方分折,用配套框架训练并在测试折上评测,再按组织方的结果表格式提交合并请求。报告须写明是哪一项挑战、是否用了给定化学式的加分版本、候选集与数据版本,以及预训练分子是否对测试折做过过滤——组织方已为此单独提供过滤后的分子清单。可搭配 MoleculeNet。
搭配:MoleculeNet (+OGB) · USPTO family (+PaRoutes) · GuacaMol (+MOSES)
来源
更正记录
无。
本文为个人研究笔记,结论基于成文时可获得的公开信息;带〔估算〕〔推断〕或⚠️的数字未经独立核实。